ModelFuzz
AI Agent 运行时护栏,拦截并阻止因提示词注入导致的不安全工具调用
ModelFuzz 是一个 AI Agent 运行时安全护栏工具,通过在执行层拦截和阻止因提示词注入(Prompt Injection)导致的不安全工具调用,防止数据泄露和 Agent 被劫持。
核心功能: • 运行时护栏:在 Agent 执行工具调用时进行拦截,检查调用是否安全 • 提示词注入检测:识别外部恶意文档/邮件/网页中的注入指令,阻止其利用 Agent 自身工具发动攻击 • 数据泄露防护:阻止 Agent 向未经授权的外部端点发送敏感数据 • 装饰器集成:使用 @shield_tool 装饰器即可为任意工具函数添加安全护栏
安装使用: pip install modelfuzz
from modelfuzz import shield_tool
@shield_tool def http_post(url, body):
仅在策略允许时执行
requests.post(url, data=body)
威胁场景:提示词注入将 Agent 的自身工具反向利用——恶意文档中的一段指令可以让 Agent 向攻击者控制的服务器发送本应保密的文件内容、API 密钥或内部数据。
适用人群:为内部 AI Agent 接入外部工具(网页浏览、文件读取、API 调用等)的安全团队和 AI 开发者。
当前版本:v0.2.1,开源协议待确认。
团队信息
AI产品库
官方
由 AI 猎手自动发现
评论与建议
登录 后参与评论或提建议