DeepEval终极指南：零基础掌握LLM评测神器

【免费下载链接】deepeval The Evaluation Framework for LLMs 项目地址: https://gitcode.com/GitHub_Trending/de/deepeval

DeepEval是一款开源的LLM评测框架，能让你轻松构建和迭代LLM应用，就像使用Pytest对LLM输出进行"单元测试"一样简单。它提供50多种基于研究支持的LLM评估指标，支持多模态，适用于RAG、智能体、聊天机器人等几乎所有使用场景，还能进行端到端和组件级别的评估。

快速安装：30秒上手LLM评测 🚀

在新建的虚拟环境中，只需运行以下命令即可完成安装：

pip install -U deepeval

如果想将测试报告集中保存在云端，可使用DeepEval的原生评估平台Confident AI：

deepeval login

核心功能：为什么选择DeepEval？

多样化评测指标，覆盖全场景需求

DeepEval拥有50多种评测指标，无论是基础的精确匹配（Exact Match），还是复杂的上下文相关性（Contextual Relevancy）、忠实度（Faithfulness）等，都能满足你的需求。这些指标大多有研究支持，且全部支持多模态。

你可以在deepeval/metrics/目录下找到所有指标的实现，例如精确匹配指标的代码就在deepeval/metrics/exact_match/exact_match.py。

灵活的测试用例设计

DeepEval支持多种测试用例类型，包括LLMTestCase和ConversationalTestCase等，能适应不同的LLM应用场景。你可以在deepeval/test_case/目录下查看相关实现。

强大的评估功能

通过evaluate函数，你可以轻松对测试用例和指标进行评估。其函数定义如下：

def evaluate(
    test_cases: Union[List[LLMTestCase], List[ConversationalTestCase]],
    metrics: Optional[
        Union[
            List[BaseMetric],
            List[BaseConversationalMetric],
        ]
    ] = None,
    # 其他参数...
) -> EvaluationResult:

这个函数位于deepeval/evaluate/evaluate.py文件中，是DeepEval评估功能的核心。

直观的可视化仪表盘

DeepEval提供了直观的仪表盘，让你可以清晰地查看评估结果。

这个仪表盘展示了测试用例的状态、输入、实际输出等信息，帮助你快速了解LLM模型的表现。

离线评估支持

DeepEval还支持离线评估，你可以在没有网络的环境下对LLM模型进行评测。相关功能在deepeval/tracing/offline_evals/目录下实现。

开始使用：简单示例

下面是一个简单的使用示例，展示如何使用DeepEval评估LLM模型的输出：

# 导入必要的模块
from deepeval.test_case import LLMTestCase
from deepeval.metrics import ExactMatchMetric
from deepeval.evaluate import evaluate

# 创建测试用例
test_case = LLMTestCase(
    input="What is DeepEval?",
    actual_output="DeepEval is an open-source evaluation framework for LLMs.",
    expected_output="DeepEval is an open-source framework for evaluating large language models (LLMs) and generative AI applications."
)

# 定义评估指标
metric = ExactMatchMetric(threshold=0.8)

# 进行评估
result = evaluate([test_case], [metric])

# 查看评估结果
print(result)

通过这个简单的示例，你可以快速了解DeepEval的基本使用方法。更多详细内容可以参考官方文档docs/docs/getting-started.mdx。

总结：提升LLM应用质量的必备工具

DeepEval作为一款强大的LLM评测框架，凭借其丰富的指标、灵活的测试用例设计、强大的评估功能和直观的可视化仪表盘，成为提升LLM应用质量的必备工具。无论你是新手还是有经验的开发者，都能快速上手并使用DeepEval来评估和优化你的LLM应用。

现在就通过以下命令克隆仓库，开始你的LLM评测之旅吧：

git clone https://gitcode.com/GitHub_Trending/de/deepeval

【免费下载链接】deepeval The Evaluation Framework for LLMs 项目地址: https://gitcode.com/GitHub_Trending/de/deepeval