• 论文：https://www.nature.com/articles/s41467-024-52417-z

• 代码：https://github.com/MAGIC-AI4Med/MMedLM

摘要

最近的学术文献中，大型语言模型（LLMs）在医疗领域展示出巨大潜力。例如，闭源模型如GPT-4和MedPalm-2表现卓越，并成功通过了美国医师执照考试（USMLE）。同时，开源模型如Llama 2也为医学专业语言模型的开发提供了支持，如MEDITRON、PMC-LLaMA、MedAlpaca和ChatDoctors等，逐渐缩小与闭源同行的性能差距。然而，这些精密医疗语言模型主要集中在英语应用上，限制了其推广的潜力，未能充分惠及语言多样性受众。因此，该研究在努力开发一个开源、多语言的医疗语言模型。如下图所示，该研究的贡献是三重的：

首先，收集了一个面向自回归训练的多语言医疗语料库，旨在为反映医疗领域语言多样性和复杂性奠定坚实基础；

其次，为监测进展，提出了一个新的综合多语言医疗问答（QA）基准，支持对不同语言模型在零样本和微调设置下多选QA和推理能力的评估；

最后，通过对多种现有语言模型的测试评估，尤其是那些在MMedC上进一步训练的语言模型，通过这些全面的评估，提供了对模型能力的有价值的见解，促进对多语言医疗查询处理复杂性更深刻的理解。

方法

为了实现自回归训练，我们开发了一个大规模多语言医疗语料库（MMedC），汇集了超过255亿个涵盖主要六种语言的医疗相关标记：英语、中文、日语、法语、俄语和西班牙语。这一多样化的数据集由四个不同的来源编制而成：

(i) 我们设计了一个自动化管道从大众多语言语料库中过滤医疗相关内容，确保数据集的聚焦和相关性；

(ii) 我们策划并收集了多种语言的医学教科书，并通过精心设计的预处理如光学字符识别（OCR）、启发式数据过滤等转换为文本；

(iii) 为保证医疗知识的广泛涵盖，我们从一些开源医疗网站中加入文本，丰富了语料库的权威和综合性信息；

(iv) 我们整合了一些现有的小规模医疗语料数据集，进一步增强了我们的广度和深度。

据我们所知，MMedC代表了第一个多语言医疗领域的专用语料库。

对于基准评估的设定，开始于汇聚现有的跨六种语言的医疗多选问答数据集，如同于MMedC。我们进一步通过使用GPT-4增强它们的推理内容，丰富数据集以支持正确答案的解释。因此，我们增强的数据集涵盖53,566对问答，其中每种语言都提供独特的多选问答及随附的推理推断。这个广泛的收集囊括了从内科、生物化学、药理学到精神病学等多个医学领域。

实验

在评估阶段，我们对十一种现有支持多国语言的LLMs进行全面基准测试，包括GPT-3.5、GPT-4、Gemini-1.0、BLOOM、InternLM、InternLM 2, MedAlpaca、ChatDoctor、PMC-LLaMA、Mistral、BioMistral、MEDITRON、Llama 2 和 Llama 3，以及那些在MMedC上进一步训练的LLM。模型在三种不同设置下进行评估：零样本、参数高效微调（PEFT）和完整微调。考虑到评估推理质量的复杂性，在运用主流自动化指标之外，我们还结合了人类评级分数在我们的分析中。这种双重方法不仅提供了对每个模型性能的全面度量，还使我们能够深入探究自动化指标与人工评分之间的相关性，从而丰富了用于评估大型语言模型推理能力的方法。

在实验中，那些进一步在MMedC上进行自回归训练的模型一致展示出提升的性能，从而强调了我们编制的多语言语料库的重要性和有效性。最终模型MMed-Llama 3在多语言和仅英语基准上均表现最佳。我们将公开我们的数据集（除去有许可证限制的书籍，我们将提供一个书名列表）、代码库和训练模型，以促进未来的研究。此外，我们深知稳健评估指标准确性的重要性，尤其是在涉及复杂长句的医学文本生成时。为此，详细的人类评级结果也将针对个别案例公开发布。

数据统计

我们详细介绍了两个提出的数据集的统计数据，即，迄今为止最广泛的多语言医疗语料库MMedC，以及一个新的多语言医疗基准MMedBench。首先介绍多语言医疗语料库（MMedC），其主要来源于四个方面，即，从常规大规模多语言语料库中过滤医疗相关内容，医学教科书，医疗网站及现有的小规模语料库。在这些语言中，英语占据最大的份额为42%，而俄语最少，仅为7%。最后，详述了不同语言中四个不同来源对数据集的贡献。涵盖来自日常医疗信息到教科书和百科全书等专门知识的多样来源确保了医学知识的丰富性。

然后，为更好地评估多语言医疗模型的性能，我们进一步介绍了一个综合的多语言医疗问答基准（MMedBench）。总训练和测试案例的数量、答案选项的分布以及问答标记的平均长度。下图展示了这些基础特征，强调MMedBench包含了广泛的医疗问题类别。

相对评分

相对评分旨在通过相对比较对输出进行排名。具体而言，选择6个代表性模型并为每种语言采样50个案例。在人工评分中，对于每个案例，问答、选项、由每个模型生成的正确答案和推理展示给注释者，以及参考推理。注释者被要求根据以下三个评价标准对模型生成的推理进行排名：

• 准确性：

  模型正确选择答案的能力。

• 推理能力：

  模型展示逻辑推理的能力，不仅仅重复问题或选项，而是用合理推理支持其选择。

• 内在知识整合：

  模型需要有效整合和利用其内在的知识库，提供相关且有说服力的事实证据来支持其答案。

考虑到GPT-4在许多方面已接近人类表现，用GPT-4进行同样的模型排名。类似地，对于BLEU分数，亦通过比较绝对指标对模型进行排名。然后，对于所有排名结果，例如人工评分、BLEU评分和GPT-4评分，将分数反向分配给排名等级，例如顶排名获得6分，底排名获1分，以此量化每个模型的输出质量。

在MMedBench上的评估

本节展示了使用MMedBench对主要LLMs的综合基准测试，包括零样本、PEFT和全微调设置。评估主要关注模型在多选题上的准确性和生成推理能力。这些LLMs可分为四类：闭源LLMs、流行的开源LLMs、针对医学的开源LLMs，以及那些在我们的MMedC上进一步训练的模型。后三者均属于开源LLMs。

最初的分析集中在由OpenAI和谷歌开发的最先进的专有闭源LLMs，具体为GPT-3.5、GPT-4和Gemini-1.0 pro。这些模型仅通过公开的在线API在零样本设置下进行测试，因为无法进行进一步训练。鉴于闭源模型的训练数据保密，本评估还涵盖了一些开源LLMs，如Mistral、InternLM 2和Llama 3。这些开源LLMs的响应相对较差，使得在零样本设置下难以比较，因此在微调设置（PEFT和全微调）中进行比较。

在下表中可以看到，领域特定的医学大语言模型（LLMs）普遍在英语中展示出高准确率，但在除英语外的其他语言中性能显著下降。值得注意的是，经微调的PMC-LLaMA在英语中取得了47.53的准确率，尽管超越了其他同时代模型，但仍然显著落后于GPT模型。随着更先进的基础模型的发布，开源模型如Mistral、InternLM 2、Llama 3在MMedBench的训练集上微调后，表现有所提升，其平均准确率分别达到了60.73、58.59和62.79，超过了所有类似规模的先前模型。经过我们的专有MMedC数据集的额外自回归训练，性能得到了进一步增强。

特别是，我们的最终模型MMed-Llama 3较未经MMedC进一步训练的模型有显著提升，例如在全微调评估中，67.75（MMed-Llama 3）对比62.79（Llama 3）。类似的优势在PEFT设置中也存在，即较晚的LLMs表现更好，且在MMedC上训练带来了明显提升。结果表明，由8B参数构成的MMed-Llama 3在准确性上接近GPT-4的74.27，成为最具竞争力的开源模型。

除了多选题的问答任务之外，该研究还考察了各种LLMs的推理能力。为了便于比较，使用了一些自动化指标，包括BLEU和ROUGE，这些指标基于n-gram评估句子相似性。此外，还使用BERT-score，该指标使用预训练BERT模型提取高级语义特征，并运用余弦相似度评估语义。我们分别报告了每个模型在各种语言中的准确性，"Avg."表示六种语言在零样本、PEFT和全微调设置下的平均分数。此外，还列出了模型规模、发布时间，以及是否在我们的MMedC或MMedBench训练集上进行了进一步训练。该设置下的最佳结果以粗体显示。

为了分析推理能力，模型被指令详细说明其分析过程，以便于明确衡量推理能力。性能通过各种指标仔细评估，特别是ROUGE-1和BLEU-1分数在表2中呈现。其他指标的结果则在补充材料E中提供，全面展示了模型在不同评估框架中的表现。鉴于自动化指标在评估自由文本生成上的局限性，我们还通过相对人工评分来排名性能，并识别出最可靠的自动化指标，以便在未来深入评估。

具体来说，从MMedBench的测试集中，随机选择每种语言的50个测试案例，并结合六个著名模型生成的结果：MMed-Llama 3（我们模型）、Llama 3、InternLM 2、Bio-Mistral、MEDITRON、GPT-3.5。样本和相应模型输出的顺序被随机化以防止偏见。评估小组由来自上海交通大学和北京协和医学院的五名医学研究生组成，按准确度、推理能力和内部知识对输出进行排名。为便于准确评估，还提供了手动核实的参考。量化排名中，最高名次得分为6，最低为1，从而量化每个模型输出的质量。与此同时，我们使用GPT-4作为附加评估者，赋予其裁判角色对输出进行排名。如下图所示，比较分析显示MMed-Llama 3在人类（4.10）和GPT-4（4.73）评估中取得了最高分，与自动化机器指标显示的优越性能一致。值得特别指出的是，MMed-Llama 3在GPT-4评分中显著超过了其他模型，比第二名的InternLM 2高出0.89分。

英文公共基准测试评估

在此部分中，以MMed-Llama 3为基础，整合了额外的英语说明（源于PMC-LLaMA3），并在全英文的基准上进行与其他现有LLMs的比较。特别地，包含四个广泛使用的多选问答基准，即MedQA、MedMCQA、PubMedQA和MMLU（大规模多任务语言理解）-医学。关于这些基准的详细内容请参见章节。大致来说，MedQA和MedMCQA是临床考试，主要评估诊断或治疗能力，PubMedQA专注于生物医学学术问答，而MMLU-Medical是MMLU医学的子集，旨在评估对不同医学概念的基本知识。

如下表所示，MMed-Llama 3在英语基准上表现出行业最先进的性能，具体来说，我们分别在MedQA、MedMCQA和PubMedQA上取得了4.5%、4.3%和2.2%的性能提升。类似地，在MMLU上，我们的模型在大多数结果中比其他开源模型表现更好，甚至显著超越了强大的GPT-3.5，例如72.59对比67.69。

我们针对数据集构建过程的影响进行了分析，如下表所示。我们的消融研究在全微调设置下，对MMedLM、MMedLM 2和MMed-Llama 3进行测试，使用InternLM、InternLM 2和Llama 3作为基础模型。总体来看，三种模型所观察到的结果大多是一致的，因此以下将主要讨论MMed-Llama 3。

在此，将HQ-Data（高质量数据）与US-Data（未指定来源数据）区分开来。HQ-Data包括经过人工验证的书籍和网站的内容，而US-Data则是从一般语料过滤出医学相关内容。下表详述的结果表明，为模型提供全面推理结果使多选题的平均准确率提高了4.06点，从58.72上升至62.79。然而，仅在MMedC的英语部分进行额外的自回归训练，并未带来整体的准确性提升。我们推测这是由于在英语上的过度拟合，导致英语表现出色，而在其他语言上的结果则下降（补充材料中提供更多细节）。通过将自回归训练扩展到整个多语言医疗语料库，问题得以大幅缓解，显著提升了最终结果。这不仅包括将选择准确性提升至64.40，还通过BLEU-1和ROUGE-1分别提高了0.48和0.54点。此外，自动收集的US-Data的加入进一步将准确性从64.40提高到67.75，表现出了3.35点的显著增幅。在推理能力上也可以观察到性能提升，即在BLEU-1上提升0.29，在ROUGE-1上提升0.16。

实验结果

从实验结果中，可以得出以下几个关键结论。

首先，在MMedC上的自回归训练是有效的。表中的数据显示，MMedLM、MMedLM 2和MMed-Llama 3在它们的原始基线模型，即InternLM、InternLM 2和Llama 3上显示显著提升，体现了MMedC在提供领域特定知识方面的有效性。此外，这些性能提升表明现有LLMs的预训练语料库在面对多语言医学背景时存在局限。研究结果强化了像MMedC这样的专业语料库的必要性，以弥补这些差距。

其次，融入更多数据通常是有效的。在探讨不同数据源如何影响语言模型性能时，结果表明，包括高质量的多语言数据（HQ-Data）可以带来显著的性能提升。此外，即使较质量低于显式医学相关来源的过滤数据也有效。此改善强调了在MMedC中整合多样数据类型的价值。

第三，整合推理进行微调是有效的。在MMedBench（训练集）上微调时，观察到整合推理数据与多选预测可以增强特定任务的表现。如表显示，在监督微调阶段，结合正确答案及其推理不仅使LLMs能够输出推理句子，还使InternLM、InternLM 2和Llama 3在MMedBench（测试集）上的多选准确率分别提高了2.33%、2.42%和4.07%。这表明两个任务紧密相关，强化了共同训练多选预测和推理任务的重要性。

第四，强大的基础LLMs提升最终结果。在MMedBench上观察到，通常后发布的更强的LLM骨干能提升多语言医学问答的最终结果。随着更先进LLMs的发布，其预训练语料库显著扩展，逐渐涵盖更多语言。尽管非英语语言仅占总量一小部分，但总体语料库的庞大规模使模型在训练过程中接触到大量多语言文本，显著提升其多语言能力。以Llama 2、Mistral和Llama 3比较为例，后者比前者表现要好。这样的多语言语言能力的增强也能提升在医学领域中的适应性（MMedLM vs. MMedLM 2 vs. MMed-Llama 3）。这一观察表明应更关注建立医学的开源数据集，使未来的工作能更好地利用一般LLMs的快速进步。

研究影响

此外，通过启动多语言医学LLMs的开发，该研究可以促进以下关键研究方向：

促进通用医学人工智能（GMAl）发展。GMAl致力于开发可以直接应用于广泛医疗场景的多模态AI模型，其中LLMs常用作人机界面。用多语言的LLM取代以英语为中心的LLM可更好地利用全球数据源，从而扩大可用的多模态训练数据，并提高对其他模态的表示能力。

改善检索增强生成。幻觉（错误信息）被认为是现有LLMs，尤其在医学领域中的主要问题。一个潜在的解决方案是开发检索增强架构。关键动机是通过从额外的知识库中检索事实，生成的LLMs输出可以避免大多数严重的事实错误。然而，到目前为止，大部分努力都集中在英语上，极大地限制了检索增强方法在其他语言中利用医学知识。发展多语言LLMs可以有利于检索过程，大大丰富潜在的可用知识库。

临床影响

除了研究影响外，开源多语言医学LLMs还可以满足临床实践的以下需求：

缓解语言障碍。在许多医疗系统中，患者与医护人员之间的语言障碍可能妨碍有效沟通，导致误解、误诊和照护不足，使大多数人难以获得高质量医疗资源。多语言医学LLMs可以促进实时翻译和解释，确保患者能够有效传达其症状并理解诊断和治疗选择。

减少文化和法律敏感性。多语言医学LLMs可以训练识别和处理不同国家之间的文化或法律细微差别和敏感性。理解文化背景和法律差异可以显著增强对医学LLMs的信任，带来更好的健康结果。

帮助医学教育。这些模型也可以根据教育进行定制，特别是在缺乏医学教育者或资源的地区。通过提供多语言的教育材料和模拟，多语言医学LLMs可以帮助标准化医学培训，确保全球一致的服务质量。

潜在局限

尽管该研究主要专注于构建多语言医学语料库并增强LLMs在医学上的能力，但仍存在几个局限。

首先，鉴于相当一部分数据是通过网络爬取获得的，语料库中可能含有噪音数据，这是医学语言模型（LLMs）开发中的一个关键挑战。未来将探索更多严格和全面的安全控制以对潜在偏见加以监管。

其次，关于可解释性，尽管努力通过额外推理能力来增强模型，以帮助用户理解最终决策，但在为LLM架构（如用于卷积块或MLPs的模型）开发可解释性方面仍未被充分探索。

第三，数据集中的语言并未覆盖全部世界人口。未来期待包括更多语言，如德语和阿拉伯语。特别是常见的爬取数据集包含超过167种语言，利用过滤管道可以高效提取医学相关术语。此外，多数语言中存在支持地方医学教育的医学文献，整合这些资源到方法中还可以进一步丰富训练语料库。此外，随着通用LLMs越来越强大，虽然未能准确回答各语言的医学问题，却可以有效重写参考句或翻译到其他语言，这在相对简单的任务上可作为增强策略，为非常低资源语言增强数据。

最后，考虑到计算成本，最终模型规模为8B，未来将调转训练进程到更大的架构（结合检索增强）上，以期可能获得更好结果，同时缓解幻觉问题。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】