IT之家 5 月 9 日消息，阿里巴巴开源了 ZeroSearch 大模型，官方称其无需搜索即可激励搜索能力。
IT之家附阿里对该模型的介绍大意如下：
我们提出了一种名为 ZeroSearch 的强化学习框架，通过不依赖真实搜索引擎来提升大型语言模型（LLM）的搜索能力。
在监督式微调的基础上，我们将 LLM 转化为一个能够生成相关或噪声文档的检索模块，响应查询。
为了更好地激发模型的推理能力，我们引入了课程化展开机制，通过让模型面对越来越复杂的检索任务，逐步培养其思考能力。
我们在多个领域内外的数据集上进行了大量实验，结果显示，ZeroSearch 在没有任何 API 费用的情况下，优于基于真实搜索引擎的模型。
此外，它能够很好地在不同规模的基础型和指令微调型 LLM 上泛化，并支持多种强化学习算法。
官方披露的信息显示，在 7 大问答数据集评测中，其性能与谷歌搜索相当甚至实现超越（70 亿参数模型得分为 33.06 vs. 谷歌 32.47），且成本降低 87.93%。
通过 SerpAPI 使用谷歌搜索训练 64,000 个查询的费用大约为 586.70 美元，而使用 14B 参数的模拟 LLM 在四个 A100 GPU 上训练仅需 70.80 美元。
目前，ZeroSearch 已在 Qwen-2.5、LLaMA-3.2 等多个主流模型家族中完成验证。研究团队已将全部代码、数据集及预训练模型开源至 GitHub 和 Hugging Face。
开源地址：Alibaba-nlp/ZeroSearch
0 条