JoySafety漏洞防护指南：全面解析大模型安全风险与解决方案

【免费下载链接】JoySafety JoySafety 项目地址: https://gitcode.com/gh_mirrors/jo/JoySafety

在生成式人工智能快速发展的今天，内容安全、数据泄露和提示词攻击等风险日益凸显。JoySafety作为京东开源的大模型安全框架，已在京东内部广泛应用于AI导购、物流客服、医疗问诊等场景，支持日均亿级调用和95%+的攻击拦截率，为企业提供成熟可靠的大模型安全防护方案。

大模型面临的核心安全风险

1. 提示词注入攻击

提示词注入是最常见的安全威胁之一，攻击者通过精心构造输入来诱导大模型执行未授权操作。JoySafety的最新提示词注入检测模型已升级为三分类架构，可精准区分：

• 正常请求
• 明确提示词注入攻击（恶意）
• 疑似提示词注入攻击（潜在风险）

2. 内容安全风险

大模型可能生成违反法规要求的内容，包括涉黄、涉政、暴恐等风险类别。JoySafety基于MacBERT的内容安全审核分类模型，能够自动识别并分类这些高风险内容。

3. 多轮对话上下文风险

在持续对话过程中，风险可能随着上下文累积而被放大。JoySafety提供multi_turn_detect功能，专门用于检测对话连贯性和上下文风险。

JoySafety漏洞防护核心解决方案

高效风险检测模型

JoySafety提供三个核心风险检测模型：

• 安全-bert模型：基于BERT架构的高精度内容分类模型
• 安全-fasttext模型：轻量级快速文本分类模型
• 多标签预测模型：支持多维度风险同时检测

这些模型在model_overview.md中有详细技术说明，可根据实际场景选择部署。

DAG工作流引擎

JoySafety采用DAG（有向无环图）架构，允许用户灵活配置风险检测流程。通过dag_api.md中定义的路由类型，可实现复杂的风险判断逻辑：

• groovy：通过Groovy脚本来判断风险
• keyword：基于关键词匹配的风险检测
• risk_end：检测到风险时立即终止流程

异步处理架构

针对传统同步识别模式的性能瓶颈，JoySafety提供"搭便车"方案，采用异步处理架构，充分利用网络等待时间实现高效内容识别，有效解决内容安全风险问题。

常见风险问题与解决方法

风险检测延迟问题

解决方案：利用JoySafety的高性能设计，包括异步检测、并行能力和风险聚合等机制，提升检测效率。可参考safety-basic/README.md中的性能优化建议。

模型部署困难

解决方案：

1. 尝试使用ModelScope替代HuggingFace下载模型
2. 参考模型配置说明中的详细部署步骤
3. 检查容器启动状态，使用docker compose logs {容器名称}查看日志排查问题

误报与漏报平衡

解决方案：通过DAG配置中的ignoreRiskCode参数，可自定义忽略特定风险码，实现精准的风险控制策略。详细配置方法见ABOUT_DAG.md。

快速开始使用JoySafety

1. 克隆仓库：

git clone https://gitcode.com/gh_mirrors/jo/JoySafety

2. 参考快速测试说明进行环境部署和测试

3. 根据业务需求，通过防御配置API自定义风险防护策略

JoySafety致力于构建完整的大模型安全解决方案，除当前开源的防护能力外，后续还将推出安全审核大模型和大模型安全评测服务，覆盖《生成式人工智能服务安全基本要求》中规定的5大类31小类风险场景。

如需了解更多细节，可查阅官方文档和常见问题与解决方案。

【免费下载链接】JoySafety JoySafety 项目地址: https://gitcode.com/gh_mirrors/jo/JoySafety