论文地址：https://arxiv.org/abs/2406.02818

摘要：应对长上下文处理难题已成为大语言模型（LLMs）领域中的关键问题。目前主要有两种常见策略：
1）缩短输入长度，例如通过检索增强生成（Retrieval-Augmented Generation, RAG）获取相关片段；
2）扩展LLMs的上下文窗口限制。

然而，这两种策略各有局限：输入缩减无法保证覆盖所需的关键信息部分，而窗口扩展则常常难以聚焦于解决任务所需的重点内容。

为缓解这些限制，我们提出了 Chain-of-Agents（CoA），这是一种新颖的框架，利用多智能体之间通过自然语言的协作，实现信息聚合与跨模型的上下文推理，以应对长上下文任务。CoA 包含多个工作智能体，这些智能体依次交流，各自处理文本的不同分段内容，最终由一个管理智能体整合所有贡献，生成连贯的最终输出。

CoA 通过交替进行“阅读”和“推理”来处理整个输入文本，并通过为每个智能体分配较短的上下文，有效缓解了长上下文处理中的聚焦问题。我们在问答、摘要和代码补全等多种长上下文任务上对 CoA 进行了全面评估，结果显示其在多个强大基线（如 RAG、全上下文输入、多智能体LLMs）上取得了最高可达 10% 的显著性能提升。

研究背景

1. 研究问题：本文提出了一种名为“Chain-of-Agents”（CoA）的新框架，旨在解决大型语言模型（LLMs）在处理长上下文任务时的效率和准确性问题。CoA通过多代理协作来增强信息聚合和上下文推理能力，从而克服现有方法的局限性。当前处理长上下文的主要策略包括输入长度缩减和上下文窗口扩展，但这两种方法均存在不足。输入缩减可能导致关键信息的丢失，而窗口扩展则使模型难以有效聚焦于解决任务所需的信息。
2. 创新点：
   • 提出了“Chain-of-Agents”（CoA）框架，通过多代理协作来有效处理长上下文任务，展示了其在信息聚合和上下文推理方面的优势。
   • CoA框架避免了传统方法在长上下文任务中存在的输入减少和窗口扩展的缺陷，提供了一种新的解决方案。
   • 实验结果显示，CoA在多个长上下文任务（如问答、摘要和代码补全）上比现有基线方法提高了最多10%的性能，具有显著的效果。

研究方法

本文详细介绍了CoA框架的结构和工作机制：

1. 总体结构：CoA框架分为两个阶段：第一阶段是多个工作代理并行处理不同的文本块，第二阶段是管理代理整合所有工作代理的信息生成最终答案。

• 在第一阶段，每个工作代理接收来自前一个代理的信息和当前文本块，进行处理并生成“通信单元”（CU），该单元包含对当前任务的推理和总结。生成的CU将传递给下一个代理，形成信息链。
• 在第二阶段，管理代理接收最后一个工作代理的CU，结合所有代理的输入生成最终答案。生成过程可表示为：
  $$C{U}_i={\mathrm{LLM}}_{W_i}(I_W,C{U}_{i-1},c_i,q)$$

CoA的创新在于其代理之间的顺序通信，使得最后一个工作代理能够访问完整的输入信息，从而提高长上下文任务的处理能力。通过这种设计，CoA能够有效应对长上下文任务中的信息丢失和上下文聚焦问题。

2. 时间复杂度分析：与全上下文模型相比，CoA将时间复杂度从$O(n^2)$降低到$O(nk)$，其中$n$为输入令牌数，$k$为LLM的上下文窗口限制。这一改进显著提高了处理效率。

结果与分析

本文的实验结果表明，CoA在处理长上下文任务时表现优异：

1. 问答，摘要和代码任务：CoA在HotpotQA、MuSiQue和NarrativeQA等数据集上均表现出色，相较于传统基线模型，性能提升显著。
2. 长上下文模型比较：在与Claude 3的比较中，CoA在NarrativeQA和BookSum数据集上显著超越了使用200k上下文限制的模型，证明了其在长上下文任务中的优势。
3. 时间复杂度分析：CoA的时间复杂度分析显示，其在处理长上下文时的效率显著高于传统方法，尤其在面对大规模数据时表现更为突出。

总体结论

本文提出的Chain-of-Agents框架通过多代理协作显著提高了长上下文任务的处理能力。实验结果表明，CoA在多个基准测试中均表现优异，证明了其在信息聚合和上下文推理方面的有效性。未来的研究可以进一步探索CoA在其他复杂任务中的应用潜力，以及优化其通信机制以提高性能。