OpenAI o1开辟“慢思考”,国产AI早已集结在CoE“组团”先出发
脑极体
OpenAI o1发布之后,复杂逻辑推理能力惊艳业界,数理能力达到博士水平。比如此前一直困扰LLMs的“9.9和9.11谁更大”问题,就在o1时代得到了解决。
于是有了一种说法:这一轮AI浪潮,中国越追赶越落后,跟OpenAI的差距越来越大。
现实情况真的如此吗?我们不必急着下结论,不妨一起来思考三个问题:
近年来以大模型为主的通往AGI之路,究竟是怎么发展的?
中国AI在世界一流技术路线上到底发展到哪一步了?
以及面对o1,国产AI能应对吗、怎么应对?
毋庸置疑,OpenAI此前一直称得上是AI技术创新的“火车头”。从ChatGPT至今,OpenAI用一个又一个模型证明了,通往AGI的三个技术方向:
1.GPT路线。从ChatGPT到GPT 4o,这一路线的核心是用模型对token流进行统计建模的通用技术,token可以是文本、图像、音频、动作选择、分子结构等。最新的4o就是多模态融合的代表。有业内专家表示,这一路线更贴切的名字可能是“Autoregressive(自回归)Transformer”之类的,
2. Sora路线。Sora和GPTs一样,都使用了Transformer架构,为什么单独作为一支呢?因为展现了一种对现实世界复杂现象的建模能力。图灵奖得主、Meta公司首席科学家杨立昆(Yann LeCun)认为,Sora可能是摆脱了人类专家所谓的一些知识干预后,更接近世界本源的,更准确的一种建模方式。
3. o1路线。GPTs也好,Sora也好,都是概率模型,以损失推理效率为代价,因此理论上永远会出现偏差,具体表现为“幻觉”、不可靠性。怎么让模型具备真正的逻辑推理能力呢?o1路线通过Inference 的方法,基于强化学习(RL)能力,使用CoT思维链将复杂问题拆解,并让多个子模型来协作解决,相当于复杂Prompt的自动化,极大地提高了模型的推理能力,确实在LLMs难以搞定的数理问题和复杂任务上有很好的表现。
不难看到,两年以来OpenAI引领的三个方向,只要目标明确,中国AI都是可以攻下的。目前,国产类GPT和类Sora模型,无论是底层架构、具体技术、落地产品,其实并不逊色于OpenAI的模型,很快就缩小了技术代差。
这也说明了一件事,每一次OpenAI明确了方向,结果并不是“越追赶越落后”,反而可以让中国AI聚焦并集中资源,进行有效研发,进一步缩小差距。
具体到o1,我们认为也将延续上述走向,国产AI很快会完成突破。那么,目前业界准备得怎么样了呢?
“在通往AGI的路上,已经没有任何阻碍”,这句话来形容o1的意义,并不夸张。如此跨越式的突破,国产AI真的做好准备了吗?我们深入技术本质,去追根溯源。
OpenAI联合创始人、科学家Greg Brockman,在博客中剖析了o1的底层逻辑。他写道:OpenAI o1是我们第一个通过强化学习训练的模型,在回答问题之前会深入思考。模型进行系统 I 思考,而思维链则解锁了系统 II 思考,可以产生极其令人印象深刻的结果。
所谓系统 II 思考,指的是人脑依赖逻辑和理性分析,进行的慢速复杂推理。可以与负责快速直觉决策的系统 I 相互配合,来实现更好的模型性能。
360集团创始人周鸿祎则表示,OpenAI o1遵循的可能是“双系统理论 Dual Process Theory”,核心在于两种系统并非独立而是协同运作。由此推测,其内部构建的更加智能的模型或许是 GPT和o系列结合思维链的融合系统,前者用于“快思考”,后者实现“慢思考”。而CoE(Collaboration-of-Experts,专家协同)架构则集合了数量更多的大模型和专家模型,是通过思维链和“多系统协同”的方式实现“快思考”和“慢思考”。
熟悉国内AI的读者可能发现了,“慢思考”这个说法怎么这么眼熟呢?
没错,如何提升机器的认知智能是AI界长盛不衰的话题,而“慢思考”这个创意也并非OpenAI独创。早在今年7月底举办的ISC.AI2024大会上,周鸿祎就提过,360将“用基于智能体的框架打造慢思考系统,从而增强大模型的慢思考能力,把多个大模型组合起来解决业务问题”。
所以,大家可以放心的是,在技术创新高度依赖全球智力碰撞的今天,没有一种技术思路是可以被垄断的,甚至中国AI界提出“慢思考”更早。
当然,大家可能担心的是,理念先进是一回事,是否具有相应的工程能力,打造出一个基于系统II思考的模型又是另一回事。具体到产品上,国产AI是否已经做好打造类o1模型的准备呢?我认为,三个条件已经具备了:
1. 路线一致。模型的底层框架,是长期积累、厚积薄发的结果,国内360就和o1的技术架构保持着一致性。360首创的CoE架构8月1日正式发布,所谓CoE,就是Collaboration-of-Experts,专家协同,让多个模型分工协作、并行工作,执行多步推理。CoE架构与o1的理念一致、方法类似,却比o1发布的时间更早,足以证明国产AI在技术方向上并没有落后,早已开始探索。
2. 产品落地。目前o1仍是preview预览版本,用户体验的实际效果与官方用例有差距,而且使用也受到限制,o1-mini对ChatGPT Plus用户的每周限制为50个提示词。技术再好,用不到也是“期货”。这一点上,国产AI的产品化优势就体现出来了,比如CoE架构已经在360AI搜索中落地应用,让AI搜索在面对不确定或复杂输入时表现出更好的稳定性,输出更准确、更具有时效性和权威性的内容。基于CoE架构的360AI搜索,也超越Perplexity AI,快速成长为全球最大的AI原生搜索引擎,并且还在以月增速113%的极高速度成长。
此外,360AI浏览器的AI助手,也可以非常直观地让用户体会到模型竞技场、多模型协作等功能。由于CoE架构已经接入了百度、腾讯、阿里巴巴、智谱AI、Minimax、月之暗面等 16 家国内主流大模型厂商合作打造的 54 款大模型产品,用户可以任意选择3款大模型,进行多模型协作,以此达成比单个大模型回答问题好得多的效果。第一个做专家,对提问进行第一轮回答;第二个做反思者,对专家的回答进行纠错和补充;第三个做总结者,对前两轮回答进行优化总结。在很多的实测例子中,第一个专家模型即使回答错误,反思模型和总结模型都能够在后续的协作过程中修正,与人类在做出重要决策的思维活动很像。
3.能力领先。可能还会有人问,国产大模型在数据、算法、算力上和Open AI都还有差距,这是实际情况,CoE“人多力量大”真的能赶上o1吗?这一点,我们可以用实测来检验一下。
用业内著名的复杂逻辑推理题,比如假期调休题、9.9和9.11比大小等问题,同时询问GPT-4o、o1-preview、360AI浏览器,会发现360的多模型协作,可以集各家所长,确实能起到“组团”打怪的效果。比如问“我爷爷的兄弟的儿子的老婆的妹妹的儿子,是我的什么”,360多模型和O1-preview都答对了,而4o 答错。众人拾柴火焰高,多模型协作力量大的优势又一次得到了验证。
总的来说,国产AI通过CoE架构进行协同,表现确实大多优于4o,与o1互有胜负。目前只是起点,CoE这个路线被验证可行,未来随着思维链、慢思考、协作模式带来模型推理能力的大幅提升,国产混合模型的能力也可能逐渐媲美o1。
所以,他强由他强,清风拂山冈。OpenAI o1的确拆除了AGI路上的阻碍,但国产AI也并没有临渊羡鱼,而是早已织好了网,集结在CoE这一路线。
难道国产AI永远都只能跟在OpenAI身后亦步亦趋,做一个追随者吗?
当然不是。中美AI的场景不同、产业禀赋不同、技术落地土壤不同,也造就了各自的优势所在。
诚然,OpenAI每一次都是新方向的开拓者、领头人,但也可以发现,Sora、o1都带有“期货”色彩,至少仍然难以被规模化使用。其中既有产品成熟度的问题,也有成本高、企业落地难度大的挑战。比如有AI创业公司用o1解决实际业务问题时,发现Token数极大,成本极高,几乎无法在现有业务中长期使用。有的创业公司为了平衡成本,甚至会放弃使用最新版本的模型。
这一点来看,o1也给了国产AI在自身优势上更进一步的机会,主要体现在:
1.基座模型的价值再次被肯定。此前头部通用大模型厂商都多少进入到了“卷不动”的迷茫期,o1让市场再次看到了基座模型的逻辑推理能力对于业务的价值是最关键的,是这一轮AI浪潮的核心,不容有失。这对于发力基座模型的厂商来说,是一个很好的消息,产业界和社会各界的信心进一步增强,有利于国产通用大模型继续提高领先性。
2.技术产品化的优势被放大。相比Sora视频生成、4o语音交互,o1的产品化路径更不清晰,如何回收成本将是OpenAI的一大挑战。这一点上,更重视大模型产品化、应用化的国产AI,或许会为类o1模型更快找到落地途径。
以CoE架构的产品化为例,落地产品360AI搜索,已经实现了商业闭环,商业化收入已经覆盖了对应的推理成本。这是因为,此前CoE模型就很重视在加快推理速度的同时,降低API接口和Token的使用成本。
3. AI创新与智能经济的加速。“比起AGI更重视ROI”,国产AI的务实特点,一度被认为技术信仰不如OpenAI强大。但远大的AGI目标,是靠一个个行业的AI化支撑起来的,这也是这一轮AI浪潮不会再次化为泡沫的根本。那么,千行百业智能化就不得不谈ROI,因为企业引入AI都是有成本的,从这一点上,国产AI走得更扎实。今年国产大模型纷纷“提效降费”,中小AI企业和开发者的Token使用成本和创新成本都在下降。
在此基础上,随着CoE等类o1模型的升级,让AI深入行业、解决具体业务问题有了更大的价值,RL+CoT进一步降低了Prompt提示工程的门槛,这为中国智能经济的增长,又打开了一个新的周期。
总结一下,通往AGI和智能时代的道路没有捷径,中国AI要一步一个脚印去丈量。两年、三条路证明了360等中国AI的先锋队已经在新的技术路线上组队出发。
凡走过的,必留下足迹;凡努力过的,必将收获。从LLM到CoE,中国AI绝不会缺席这一轮技术浪潮。