Hugging Face

微软本周公布Orca 2，号称为参数仅130亿的小模型，可经由模仿更大语言模型的推理方法，在测试中也显示推理能力不输给大它10倍的模型。

Orca 2是微软今年年中推出第一代Orca後，探索参数在100亿以下的小型语言模型的最新成果。目前微软已经在Hugging Face上开源70亿和130亿参数的Orca 2供研究或试用。

微软指出，LLM如GPT-4及PaLM等具有很强的推论能力，以便回答复杂问题，生成解释，或解决多步骤推论的任务。但较小模型往往欠缺这类能力，这也是微软Orca 2专案的目的；他们希望利用对LLM的知识来提升小模型的能力。

Orca 2的2个版本都是由Llama 2基础模型以大量合成资料客制训练而成。训练Orca 2的资料集是由更强大的教师模型（teacher model）生成。这些资料是教师模型在详细指令甚至多次询问後的回应结果。研究人员希望学生模型（Orca 2）学习这些回应的推论过程及策略。最後，教师模型教导Orca 2多项推理技巧，包括多步处理、回忆－推理－生成，撷取－生成，以及直接回答方法，也教它为不同任务选择不同解决策略。

在训练成後，研究人员利用15种标竿测试，包括近100种任务及超过3.6种不同零样本测试用例，来评估Orca 2。标竿测试涵盖语言理解、常识推理、多步骤推理、数学解题、阅读测验、摘录重点、贴近真实性，以及有毒内容的生成及辨识。

评估结果显示，Orca 2效能大幅超越同样大小的模型，包括第一代Orca，而在处理复杂推论的零样本环境测试中，表现和5到10倍大的大型语言模型（LLM）接近，甚至超过。

图片来源／微软

微软研究人员指出，Orca 2的成功关键在於使用多种推论策略，找出不同任务最适用的解决方案，以及使用高品质的合成资料作为後续训练（post-training）。虽然Orca 2承袭基础模型及其他模型共通的限制，不过Orca 2突显了小模型也能具备良好的推理能力，以及可控、可专化，也更具安全性。