强人工智能的第一步?巨头混战ChatGPT

Ai芯天下

    前言:
    ChatGPT一次运算的成本高达450万美元,OpenAI公司净亏损高达5.45亿美元,如若不是背后大股东微软源源不断的输血支撑,OpenAI的ChatGPT早黄了。
    作者 | 方文三
    图片来源 |  网 络
    
    新春佳节后,巨头们宣布类ChatGPT进展
    2月,微软宣布推出由ChatGPT支持的最新版本人工智能搜索引擎必应和Edge浏览器。
    微软股价大涨4.2%,市值飙升800亿美元。
    几乎同时,谷歌也将整合新的人工智能到搜索引擎中。
    宣布人工智能对话式机器人Bard正在内测,并在未来几周内向大众提供服务。
    百度将于3月在中国推出类似ChatGPT的人工智能聊天机器人[文心一言]。
    百度港股涨幅快速扩大,截至收盘大涨15.33%。
    腾讯、阿里、华为也纷纷宣布正在申请人工智能人机对话专利。
    360也于近期在互动平台上表示,计划尽快推出类ChatGPT技术的demo版产品。
    ChatGPT的出现提升了自然语言处理能力的上限,打开了人工智能技术商业化落地且成为消费端爆款的大门,因此具有划时代的意义。
    
    差异化战略,股价两重天
    2022年12月底,谷歌深感来自ChatGPT的压力,迅速抽调员工开展ChatGPT竞品产品的研究。
    谷歌已向AI初创公司Anthropic投资了近4亿美元,Anthropic正在进行ChatGPT竞争产品的测试,这家公司成立于2021年,创始团队正是来自于ChatGPT的开发商OpenAI。
    谷歌宣布将推出名为Bard的AI聊天机器人,这款产品是基于对话应用语言模型(LaMDA)的实验性AI程序,目前已经开展测试,并在几周内向公众开放。
    
    微软更是迅速响应,加快了相关应用的研发。
    近日,微软宣布将ChatGPT整合至全线产品中,并扩大与ChatGPT所有者OpenAI的深度合作。
    推出由ChatGPT支持的,融入GPT-3.5语言技术的最新版本人工智能搜索引擎Bing(必应)和Edge浏览器。
    微软推出了集成ChatGPT技术的新版搜索引擎New Bing和浏览器Edge,这也成为微软在搜索引擎领域对抗谷歌的重要武器。
    
    像谷歌和Meta这样的大公司肯定会有一定优势,因为他们拥有人力、技术和财力资源。
    因此,这些公司在市场上有足够的空间,这将是一场新的比赛,尤其是在深度和正确性方面。
    相较之下,微软和亚马逊选择的应对策略是与OpenAI结盟,试图借其东风。
    Bard作为对抗ChatGPT而推出的关键对标产品,可谓是备受关注。
    按照谷歌的宣传,Bard是一项实验性对话式AI服务,由LaMDA提供支持,并运用到了谷歌的大型语言模型和网络信息构建。
    可万万没想到,赶了个晚集的谷歌却在自己的发布会上翻车了。
    发布会中展现的错误答案后,谷歌股价大跌7.68%,一夜之间市值缩水约7202亿元,是截止到目前AI犯过的最贵的错误。
    
    出圈背后有AIGC的功劳
    AIGC的核心变革,发生在内容层,位于数据层之上。
    AIGC在绘画和会话等方面突破的重要性,在人工智能领域相当于2016年,阿尔法狗战胜人类围棋冠军的价值。
    ChatGPT最大的意义是让人们看到了一个更加智能高效时代的轮廓。
    ChatGP本身也是AI技术迭代到一定阶段后的产物。
    服务器+网络开启了人人上网的时代,而算力+算法将开启人人上算的时代。
    AI将以场景、应用、内容来创造用户的新需求。
    AIGC技术主要涉及两个方面,自然语言处理(NLP)和AIGC生成算法,AIGC投资方向主要包括软硬件与数据集。
    以ChatGPT为代表的大型语言模型(LLM)将会成为未来巨头争夺的重点。
    ChatGPT展示了巨大的应用潜力,完全不局限于创作文本或者图像。
    距离AIGC真正落地以及实际应用还有很远的路。
    目前ChatGPT更像一个[玩具],还不是生产力工具。
    西部证券则预测,AIGC或在2023年迎来发展大年,来到两年前自动驾驶的应用突破拐点。
    
    实现ChatGPT的最大亮点也是最大难点
    ChatGPT需要把大模型尽量变成小模型或者稀疏模型,且大模型的训练和使用成本都很高。
    除了模型之外的另一个难点在于如何实现ChatGPT后半段的人工过程变成自动训练。
    ChatGPT是在大模型的基础上,加入了很多人类反馈。这需要大量的人工,而这部分工作目前是至关重要的。
    截至目前,OpenAI已经总计获得超过110亿美元的融资,微软、谷歌风投、马斯克等均曾出手投资,而且其目前并未盈利。
    如此巨额的投入恐怕今天的互联网巨头也只能望而却步。
    但从另一个角度来说,这也给了创业型团队机会。通过不断深入挖掘某项技术,瞄准特定的细分赛道能够切到一块蛋糕。
    
    高算力带火芯片行业
    ChatGPT的注册用户便已经过亿,海量的用户访问曾多次导致ChatGPT官网因为访问数太多而宕机。
    这意味着,OpenAI要想保证用户体验,它就必须得加大算力的投入。
    而这就需要大量芯片的支持了,这无疑直接给本已快陷入沉寂的芯片市场注入了一剂猛药。
    ChatGPT的总算力消耗约为3640PF-days,ChatGPT已导入了至少1万颗英伟达高端GPU。
    而花旗集团预估,ChatGPT将可能促使英伟达相关产品在12个月内销售额达到30亿至110亿美元。
    ChatGPT的大火将促使算力需求大大增加,350瓦推理芯片会成为常态,技术上会推动大模型压缩到达一个新高潮,同时企业和个人的服务有许多可以基于类似技术构建。
    高性能计算芯片是一切AI的底层基础,目前AI芯片主要有通用GPU算力芯片和ASIC专用芯片两大类型。
    或许在ChatGPT的帮助下,芯片行业将迎来新一轮的市场红利期。
    
    ChatGPT带来AI技术范式革新
    相比其他大模型,ChatGPT在AI的技术路线和训练方式上的变革,带来了业界意料之外的突破。
    ①ChatGPT有一个非常强大的技术底座,也就是InstructGPT模型。
    此前,GPT与BERT模型路线一直在竞争,2018年时BERT模型先赢了,但GPT模型参数和数据规模越做越大。
    最终结合人工反馈增强学习(RLHF),在ChatGPT上取得了重大突破,效果上反超了BERT模型路线。
    ②ChatGPT引入了强化学习机制,在新版本上引入了人工标注的数据,通过人类的反馈,有针对性地进行优化。
    其中的难度在于,建立怎样的强化学习机制。过去业界也尝试了强化学习机制,但很多都不太成功,ChatGPT在这件事上取得了突破。
    ③ChatGPT在数据质量和多样性上非常讲究。
    ChatGPT强化学习的数据量并不大,但对数据多样性、标注体系都有精巧的设计,让数据发挥出了强大的作用。
    
    成本导致国内与国外路线不同
    ChatGPT的重点在于创造,通过大量的语料训练和强大的纠错能力,对素材进行消化、整理和再输出,这和过去国内关注的云计算或视觉技术是完全不同的思考方式。
    而导致上述分别的原因也很直接,那就是成本。
    ChatGPT背后有着海量的资料库和庞大的算力做支撑,变现方式目前来看却只有向企业提供服务,替代部分人工作业这一种。
    对于产品化而言,即使再将成本下降10倍,这个商业模式也是无法成立的,因为这个成本与人类相比没有优势。
    背后的支撑是人工智能大模型
    当前的人工智能大多是针对特定的场景应用进行训练,生成的模型难以迁移到其他应用, 属于[小模型]的范畴。
    整个过程不仅需要大量的手工调参,还需要给机器喂养海量的标注数据,这拉低了人工智能的研发效率,且成本较高。
    [大模型]通常是在无标注的大数据集上,采用自监督学习的方法进行训练。
    在其他场景的应用中,开发者只需要对模型进行微调,就可以满足新应用场景的需要。
    这意味着,对大模型的改进可以让所有的下游小模型受益,大幅提升人工智能的适用场景和研发效率。
    因此大模型成为业界重点投入的方向,Open AI、谷歌、脸书、微软, 国内的百度、阿里、腾讯、华为和智源研究院等纷纷推出超大模型。
    特别是OpenAI GPT 3大模型在翻译、问答、内容生成等领域的不俗表现,让业界看到了达成通用人工智能的希望。
    当前ChatGPT的版本为GPT 3.5,是在GPT3之上的调优,能力进一步增强。
    业界普遍预测,GPT4将在今年推出,并具备更强大的通用能力。
    
    ChatGPT的产业未来与投资机会
    ①ChatGPT模型的出现对于文字/语音模态的 AIGC 应用具有重要意义,会对AI产业上下游产生重大影响。
    从下游相关受益应用来看,包括但不限于无代码编程、小说生成、对话类搜索引擎、语音陪伴、语音工作助手、对话虚拟人、人工智能客服、机器翻译、芯片设计等。
    从上游增加需求来看,包括算力芯片、数据标注、自然语言处理(NLP)等。
    ②随着算法技术和算力技术的不断进步,ChatGPT也会进一步走向更先进功能更强的版本,在越来越多的领域进行应用,为人类生成更多更美好的对话和内容。
    
    核心技术之一是Transformer
    Transformer技术是近几年人工智能技术最大的亮点之一。
    谷歌于2017年提出的一种采用注意力机制的深度学习模型,可以按输入数据各部分重要性的不同,而分配不同的权重。
    Transformer的精度和性能上都要优于之前流行的CNN(卷积神经网络)、RNN(循环神经网络)等模型。
    大幅提升了模型训练的效果,让人工智能得以在更大模型、更多数据、更强算力的基础上进一步增强能力。
    目前人工智能已经找到解决方案的问题,也只是可计算问题的一小部分。
    
    如果说传统的机器学习或人工智能是在水下一米的深处探索,那么深度学习的出现将人们带到了一百米的深水区;
    而在Transformer、GPT等架构后,从业者们直接能抵达深度超过万米的马里亚纳海沟。
    过去5年中,大规模预训练语言模型受到业内越来越多的重视。
    今天,全世界的人工智能研究有很多方向,也产生了大量的成果。
    但是严格来说,所有这些最令人惊艳的结果, 90%以上是基于Transformer迭代来的这些大模型技术得到的。
    目前几乎所有的AI任务和项目,都会和大语言模型技术有关联,它已经代表了AI界最主流的科研和技术迭代方向。
    未来,ChatGPT与更多的AI、云计算等信息技术的集成创新,将创造改变生产力曲线的工具,成为经济发展新动力。
    
    结尾:
    ChatGPT勾起人们对步入强人工智能时代的联想,即人工智能具有自己的意向性来设定目标。
    虽然强人工智能本身还存在诸多争论,但是分析人士普遍认可,人工智能的发展大年与信息时代新阶段将至。