智客公社

标题: GPT会是AI算法模型的终极答案吗？ [打印本页]

作者: dreamxyp@56.com 时间: 2023-5-4 15:27
标题: GPT会是AI算法模型的终极答案吗？
ChatGPT在全球AI产业、技术领域带来的良好示范效应，有望推动AI算法模型结束当前的技术路线分叉，并不断向以GPT为主导的大语言模型（LLM）靠拢，加速全球AI产业“工业化”时代到来。中期维度，大语言模型领域“暴力美学”预计仍将是我们不断逼近通用人工智能的最可能路线，基于此基准假设，模型算法架构将遵从渐进的学术研究步伐，高质量数据集、工程实践能力、核心人才、资本将成为大模型研发领域的核心竞争壁垒。而面对当前GPT等大语言模型在问答可靠性、推理能力等层面缺陷，复杂问题分解、链接外部知识&工具等增强语言模型（ALM）方式将是可行的方式，比如ChatGPT插件等。作为中期最具确定性的产业方向之一，我们持续看好全球AI领域的投资机会，并建议持续聚焦芯片、算力设施、模型架构&工程实践、应用场景等核心环节。

▍报告缘起：

ChatGPT在全球市场的成功，以及由此引致的全球主要科技企业在AI领域的军备竞赛，正在加速全球AI产业的发展速度。AI算法模型作为产业的核心环节，其本身的技术路线，将直接决定AI产业链最终形态，以及各产业环节的分工协作方式、价值分配结构等，对AI算法模型技术路线的系统分析、前瞻性判断，是构建AI产业中期投资逻辑的核心基础。在本篇专题中，我们主要回答：AI算法模型是否会朝GPT方向进行收敛、算法模型核心竞争壁垒、算力是否会成为AI产业潜在约束因素，以及如何引入新的知识&工具，以克服当前大语言模型的潜在缺陷等。

▍技术路线：大语言模型（LLM）有望实现主导，并不断向GPT方案靠拢。

在过去近10年里，人工智能模型经历了从小模型到以Transformer为代表的大模型的转变，我们根据行业发展的历史总结为以下四个阶段。

1）2017年前，以深度学习为核心的小模型占据主流：这类模型以LSTM及CNN模型作为典型的特征抽取器，根据特定领域标注数据训练，在一些任务上可以达到接近人类的水准。但是硬件算力不够导致针对其他领域重新训练成本过高，让其通用型任务的完成情况很差。

2）2017年到2020年，以谷歌Bert为代表的双向预训练+Fine Tuning（微调）的Transformer模型横空出世成为了人工智能的主流方向。谷歌团队人员发表的《Attention is all you need》论文开创了Transformer模型，重新统一了自然语言模型(NLP)的研究范式。这类模型以预训练的方式学习语言学特征，大幅简化了过去NLP繁琐的研究种类。Transformer作为特征提取器效果好于CNN、LSTM模型等，让AI首次能在语言任务的部分场景中追平人类。

3）2020年到2022年，产业界与学术界继续沿着Transformer的道路前景，但开始尝试不同于Bert的其他Transformer架构，通过预训练无监督学习的方法不断增加模型大小成为了这一时段的主流。以1750亿参数的GPT-3为代表，各大互联网巨头不断尝试增加模型体积以获得更好的效果。GPT-3为代表的自回归+Prompting的方法开始展现产品化能力的优越性，与Fine-tuning方法的Bert模型成为两条道路。

4）2022年至今，ChatGPT的成功证明了GPT模型的Prompting道路的正确性，同时也强调了数据质量的重要性。ChatGPT最重要的成功是在产品化上更进一步：ChatGPT在模型精度上并没有飞跃性的突破，但从Few Shot prompt（需要输入范例示范）转换到Instruct（用人类语言描述想做什么）更加贴合用户的习惯。

▍竞争壁垒：数据、工程实践、人才、资本等。

回顾过去近十年人工智能模型的发展，我们发现进入人工智能模型研发的门槛越来越高。从Bert开始到GPT-3再到谷歌的PALM，网络中的公开语言数据源已经在被尽可能地利用（论坛、新闻、维基百科等等），而模型的进一步优化对数据质量的要求也越来越高。

我们认为优质的私有数据源将在未来3-5年里人工智能模型的精度优化上发挥更重要的作用。爬虫难以爬取的社交媒体数据、保存在后台的用户偏好数据、代码托管数据等仍具有开发空间，这也将成为数据获取端的优势，而结合这些私有数据生成的合成数据将进一步放大这些公司数据端的优势。

此外随着模型体量仍然在成倍数增加，大量的前期资本投入是阻碍新入者的重要因素。在过去五年内，我们看到人工智能模型的独角兽都在寻找互联网科技大厂作为其背后的依靠，主要因为1）能够得到充足而短时间内不求产出的资金支持，2）依靠互联网大厂的公有云等相关资源进一步降低成，本3)获取互联网大厂长期以来所积累的优质数据源。这也是我们看到为什么在过去五年内人工智能头部厂商逐渐从开源走向闭源，利用其资源优势来打造差异化的AI模型，而落后者更希望通过开源的模式以求缩小与头部厂商的距离。

研发团队的工程能力是决定公司在大语言模型竞争力的另一个重要因素。随着语言模型的体积不断增加，在研究方法上现今千亿量级的模型与之前几十亿量级的小模型发生了本质变化，个体工程师没有能力通过自有资源积累对大模型的学习经验。一个合格的大模型研发团队需要依靠大公司的资源支持才能积累对模型调试、优化、实际部署等各个环节足够的经验。优秀的工程人才稀缺以及培养难度让没有经验的新公司进入更为困难，如何招募到一个大模型领域经验丰富的专家并在其影响力的基础上招募来自于大公司的有一定工程经验的团队将成为新入公司的核心问题。

▍算力成本：单位成本持续保持快速下降趋势。

根据我们之前系列报告的测算，尽管人工智能模型的总研发投入持续在提高，但主要原因来自于模型体积的倍数式增长，而人工智能模型的单位成本保持下降趋势。

在推理端以相同模型为例，在2020年根据Stanford讲师Mourri的测算，训练GPT-3的成本约为460万美元。而至2022年底，根据我们的重新测算训练同样的GPT-3模型在两年后成本仅需要150万美元，成本下降了66%以上。在模型推理端以ChatGPT为例，根据我们在2022年底的测算，ChatGPT生成一次回答的成本约在1-2美分之间。而从3月2日OpenAI对ChatGPT API的定价出，0.2美分每1000tokens的定价对应为百亿参数级别的模型。结合ChatGPT在训练过程中所使用得Reward Model（奖励模型，记录了人类偏好）应为千亿参数级别的模型，这也意味着OpenAI将其在千亿参数模型中所学习到的能力通过类似于蒸馏（distillation）的方式浓缩进了百亿参数的模型中，快速降低了成本消耗。根据目前用户在社交媒体的反馈结果看，这个百亿参数模型的能力以及追平甚至超越了先前的大尺寸模型。

因此无论是模型推理端或训练端，我们都观察到单位成本在持续保持下降的趋势，而总成本的持续提高来源于模型大小的持续增加以及用户数量的增加。当未来模型大小与日活用户数接近阈值后，成本端的优化将会收束模型整体成本的膨胀，也提供给一些中小公司切入垂直领域的机会，最终形成：AI巨头提供泛用性模型以及服务主要ToC需求，中小公司切入特定垂直行业并根据需求做微调优化模型的格局。

▍未来展望：通过插件等扩展大语言模型（LLM）能力边界。

目前小公司虽然没有能力研发底层的大语言模型，但其可以通过微调的形式服务垂直领域的需求。我们认为OpenAI三月份在ChatGPT中推出的插件接口是为了接入小公司的微调成果的一次尝试：第三方厂商将可以自有的数据源及部分算法作为ChatGPT之上的插件，ChatGPT可以调用插件中的外部API接口来获得信息。插件提供者使用 OpenAPI 标准编写 API ，然后这个API会被编译成一个prompt向 ChatGPT 解释如何使用 API 来增强其答案。当用户选择对应插件后，如果 ChatGPT 认为应该从 API 获取信息，它将发出请求并在尝试回应之前将信息添加到上下文中。通过插件接口这一模式简化了小公司对大语言模型微调的难度，并丰富了基于大语言模型之上的环境生态。同时通过复杂问题分解、链接外部知识&工具（比如插件）等增强语言模型方式，亦能有效解决现有大语言模型在问答可靠性、信息及时性等方面的固有缺陷。

▍风险因素：

AI核心技术发展不及预期风险；科技领域政策监管持续收紧风险；全球宏观经济复苏不及预期风险；宏观经济波动导致欧美企业IT支出不及预期风险；AI潜在伦理、道德、用户隐私风险；企业数据泄露、信息安全风险；行业竞争持续加剧风险等。

▍投资策略：

ChatGPT在全球AI产业、技术领域带来的良好示范效应，有望推动AI算法模型结束当前的技术路线分叉，并不断向以GPT为主导的大语言模型（LLM）靠拢。中期维度，大语言模型+“暴力美学”预计仍将是我们不断逼近通用人工智能的最可能路线。作为中期最具确定性的产业方向之一，我们持续看好全球AI领域的投资机会，并建议持续聚焦芯片、算力设施、模型架构&工程实践、应用场景等核心环节。

（陈俊云为中信证券前瞻首席分析师）

欢迎光临智客公社 (http://bbs.cnaiplus.com/)