4 月 19 日消息,科技媒体 The Information 昨日(4 月 18 日)发布博文,报道称 meta Platforms 在 AI 竞赛中面临巨大成本压力,2024 年曾向微软、亚马逊等竞争对手寻求资金支持,用于训练其旗舰大语言模型 Llama。
IT之家援引该媒体报道,meta 内部因担忧资源需求,发起“Llama Consortium”的提议,meta 甚至提出让潜在投资者参与 Llama 未来功能的开发,以吸引合作。
消息人士透露,初期反应并不热烈,正式资金协议是否达成仍不明朗。这一尝试凸显了构建领先 AI 系统的巨额成本,即便是拥有雄厚财力的 meta 也感受到压力,显示出生成式 AI 领域的高风险。
meta 近期公布的 Llama 4 系列模型进一步凸显其技术雄心与成本挑战。其中,Llama 4 Scout(总参数 109B,活跃参数 17B)面向单 GPU 使用,具备超大的 1000 万 token 上下文窗口,可一次性处理约 750 万字内容。而 Llama 4 Maverick(总参数 400B,活跃参数 17B,128 个专家)则针对更大规模任务。
两款模型均采用 Mixture-of-Experts(MoE)架构,通过激活特定子网络提升效率。此外,meta 内部还开发了参数高达 2 万亿的 Llama 4 Behemoth,用于训练小型模型,需动用多达 3.2 万块 GPU。
meta 的资金寻求与 Llama 模型在其业务中的核心地位密切相关。Llama 4 发布后迅速集成到 WhatsApp、Instagram 和 Facebook 的 meta AI 功能中,并通过亚马逊 SageMaker JumpStart 和微软 Azure AI Foundry 等云平台提供商用许可。
同时,meta 在竞争中采取强硬姿态,阻止苹果的 Apple Intelligence 功能在其 iOS 应用中使用,迫使用户转向基于 Llama 的 AI 工具。
【来源:IT之家】
0 条