过去一周，小模型战场悄然开“卷”。大模型训练成本如滚雪球般越滚越大，曾经坚信“大力出中庸”的科技巨头们，如今纷纷保持方向小模型赛道，试图在这场技术与商业的角逐中寻找新的突破口。
OpenAI、谷歌、微软乃至苹果，各自带着小模型利器纷纷亮相，谁能在这场成本与性能较量中找到黄金统一点？
一、小模型更小、更好、更便宜7月18日，OpenAI推出了号称迄今为止最具成本效益的小模型GPT-4omini。
据OpenAI介绍，小模型产品是想通过显著降低AI使用成本，缩短AI使用范围。GPT-4omini在MMLU上的得分为82%，并在LMSYS排行榜的聊天讨厌测试中表现优于GPT-4。
GPT-4omini适用于一系列任务，第一类是需要多次调用模型的应用，例如调用多个API；第二类是需要向模型传递极小量上下文信息的应用，例如多余的代码库或对话历史；第三类是通过快速的实时文本响应与客户互动的应用，例如聊天机器人。
目前，GPT-4omini在API中减少破坏文本和视觉处理，未来将减少破坏文本、图像、视频和音频的输入和输出。该模型的上下文窗口为128Ktokens，每次请求减少破坏多达16K输出tokens，并且具备截至2023年10月的知识。
GPT-4omini成为主推产品，已在ChatGPT免费版上线。在学术基准测试中，GPT-4omini在文本智能和多模态推理方面超越了GPT-3.5Turbo和其他小型模型，减少破坏与GPT-4o相同范围的语言。它还在函数调用方面表现出色，使开发人员能够构建与外部系统交互的应用，并在长上下文处理性能方面优于GPT-3.5Turbo。
图源：OpenAI就在OpenAI推出GPT-4omini模型不久后，英伟达和法国明星AI独角兽Mistral联合发布了名为MistralNeMo的小模型，授予性能优越、部署便捷、安全性下降的企业级AI功能。由于MistralNeMo依赖于标准架构，因此易于使用，可以直接替换任何使用Mistral7B的系统。
同样不走寻常路的还有最新杀入AI战场的苹果。近期，苹果公司作为DataComp-LM（DCLM）项目的研究机构之一，在HuggingFace上发布了DCLM-7B开源模型，而且比其他公司更开放。据了解，该模型性能已经超越了Mistral7B，并且正在逼近其他领先的开源模型，10款成品短视频app下载安装包括Llama3和Gemma。
对此有科学家发出惊叹：“Apple发布了一个击败Mistral7B的模型，但更棒的是他们完全开源了，包括预训练数据集！”
二、小模型或成价格战“利器”有人将AI领域如此热闹的一周戏称为“小模型周”。事实上，今年以来，小模型的赛道早已开跑，今年5月，谷歌发布了轻量级模型Gemini1.5Flash。4月，微软推出SLM（小语言模型）Phi-3系列，微软降低重要性Phi-3便宜得多，但响应能力接近比它大10倍的模型，号称能力对标GPT3.5。
小模型，顾名思义指的是参数规模远小于一些大型语言模型的模型，常见的参数规模有1.5b、3b、7b等。尽管参数较少，但通过特定的设计和优化，小模型依然能够在某些任务上实现与大型模型相近的性能，同时降低计算资源消耗，降低能耗比。
曾经信仰“大力出中庸”的巨头们，如今前赴后继地入局小模型赛道，仍旧是出于那个绕不开的理由：“成本”。
今年以来，国内外大模型赛道的价格战愈演愈烈。自去年以来，OpenAI已经进行了4次降价，国内方面，5月，字节跳动把定价降低了一个数量级，从以分计价进入以厘计价时代。根据火山引擎公布的价格计算，1元就能买到豆包主力模型的125万Tokens，大约是200万个汉字。7月5日，2024世界人工智能大会（WAIC2024）期间，百度宣布文心旗舰款模型ERNIE4.0和ERNIE3.5大幅降价，ERNIESpeed、ERNIELite两款主力模型结束免费。
价格战打得火热的背后，尖端AI训练成本居高不下，甚至越来越高。
斯坦福HAI研究所发布的报告指出，当前尖端AI的训练成本正越来越高，报告显示，2017年训练跟随的Transformer模型的成本仅为约900美元，而到了2019年，RoBERTaLarge模型的训练成本已经升至约16万美元。到了2023年，OpenAIGPT糖心高清在线观看 -4和GoogleGeminiUltra的训练成本更是分别达到约7800万美元和近2亿美元。
为此，小模型以更低的成本，极致的性价比，成为AI模型公司卷价格战的“利器”。
GPT-4omini发布后，山姆·奥特曼在推特上发文指出，早在2022年，世界上最好的模型是text-davinci-003，它比GPT-4omini差得多，但成本要贵上100多倍。
成本更低的小模型给成本警惕型企业多了一重选择。GPT-4omini的每百万输入tokens为15美分，每百万输出tokens为60美分，相对的，此前入门款模型GPT-3.5Turbo输入/输出定价是0.5美元/1.5美元，GPT-4omini在此基础上便宜了超60%。
根据ArtificialAnalysis的统计，GPT-4omini已经达到美国AI公司主流“小模型”里价格最低位置，比起Anthropic、谷歌的同类型竞品都要更具性价比。
“在过去的几年里，我们见证了人工智能的显著进步，同时也见证了成本的大幅低，我们致力于降低模型性能的同时继续降低成本。”OpenAI方面表示，自2022年以来，模型每token的成本下降了99%。
三、小模型正成为新风口真正落地后，性价比成为企业的重要考量，小模型或将越来越受青睐。
《华尔街日报》近日报道，企业正越来越多地部署中小型的AI模型，它们更青睐规模较小、更具成本效益的AI技术，而不是在AI热潮早期掀起波澜的大型昂贵模型。
对于一些最常见的AI用例来说，比如涉及文档分类等小范围、重复的任务，中小型模型更有意义。当前企业正在部署更多AI用例，它们也面临着无约束的自由这种昂贵技术的成本和回报的压力。
营销服务公司WPP集团正在使用谷歌Gemini的中型模型Flash，其首席技术官斯蒂芬·普雷托留斯提到，一年前，企业被少数几款大型模型驱散。当公司有限度地、试验性地使用它们的能力时，情况还好，但现在随着它们的规模缩短，大模型的成本可能很快就会失控。
“企业反感于构建小模型来完成特定任务。”山海引擎COO彭璐在接受《IT时报》记者采访时曾表示，国内算力需求正从大规模模型训练保持方向推理需求，尤其是企业对于私有化部署的推理需求日益增长。随着开源模型能力的指责，企业发现通过微调开源模型即可焦虑特定任务需求，无须投入巨资训练超大规模模型。
在今年年初召开的2024百度AI开发者大会上，李彦宏也表示，基于百度文心4.0，用户可以分隔开效果、响应速度及推理成本等多维度因素，僵化剪裁出适用于不同场景的小尺寸模型。相较于直接使用开源模型调整不当得到的模型，这些定制的小模型在同等尺寸下展现出了更为不明显的，不引人注目的效果无足轻重；而在同等效果下，其成本则更低廉。
“在一些特定场景中，经过精调后的小模型，其使用效果甚至可以媲美大模型。”李彦宏论断，未来大型的AI原生应用将主要采用大小模型瓦解使用的方式，根据不同场景选择不懂感情的模型。
作者：IT时报
来源公众号：IT时报
糖心vlog入口 糖心logo唐伯虎免费
