GPT-4验证大模型进阶之路 国产厂商开始迎战

本报记者 曲忠芳 李正豪 北京报道
火爆全球的通用对话机器人ChatGPT,在上线仅三个半月后,迎来了新的“进化”。3月15日,美国人工智能公司OpenAI推出了大型多模态模型GPT-4。相比于ChatGPT使用的GPT-3.5架构,GPT-4不仅接受文本输入——文本输入上限被提升到2.5万字,更重要的是新增了支持图像输出;在律师考试、生物竞赛等模拟测试中,GPT-4的成绩大幅提升。另外,在26种语言测试中,GPT-4的表现也优于GPT-3.5,其中英语的准确率从70.1%上升到85.5%,中文的准确率则达到了80.1%。
OpenAI官方透露,其团队花了六个月时间来使GPT-4更加安全一致。在内部测试中,相比GPT-3.5,GPT-4减少了82%对于被禁止内容的请求响应,而产生真实响应的可能性提高了40%。与此同时,OpenAI联合创始人、总裁格雷格·布洛克曼在视频中还演示了GPT-4诸如总结文章、报税、写代码、作诗等功能。
针对GPT-4的训练数据规模及其用于训练的硬件信息等问题,《中国经营报》记者通过电子邮件联系OpenAI官方采访询问,但截至发稿,暂未得到回复。
ChatGPT被业界称作“大力出奇迹”——通过更大规模数据训练、更强算力支撑、基于人类反馈的强化学习等生成更具通用性、且智能水平前进一大步的模型。那么,ChatGPT、GPT-4及其所验证的大模型之路对国产AI企业有哪些启发?国产厂商该如何抓住新一轮AI机遇?针对这些问题,多家AI企业在接受本报记者采访时给出了自己的回答。
被验证的大模型之路
OpenAI方面表示,GPT-4是其在扩展深度学习领域的“最新里程碑”,是在微软Azure人工智能超级计算机上训练的。截至目前,GPT-4仅面向ChatGPT Plus付费订阅用户使用,开发人员可通过API接口(应用程序编程接口)构建应用程序或服务。但同时,包括语言学习软件Duolingo、跨境支付工具Stripe、视障辅助应用Be my eyes等App已内置GPT-4,此外,国际金融服务公司摩根士丹利、冰岛政府、非营利教育组织“Khan学院”等也与OpenAI在应用GPT-4方面达成合作。
OpenAI方面也表示,“GPT-4仍存在许多已知的限制,我们正在努力解决,如社会偏见、幻觉、敌对提示等。”
需要指出的是,OpenAI最早于2018年6月推出GPT,后于2019年2月、2020年5月分别升级推出了GPT-2、GPT-3,三代GPT的参数量分别为1.17亿、15亿、1750亿,预训练数据量分别为约5GB、40GB、45TB。从ChatGPT使用的GPT-3.5架构开始,OpenAI没有再公开参数量和预训练数据量,本次推出的GPT-4也仅提供了一份98页的相关论文。OpenAI首席执行官山姆·阿尔特曼在推特发文透露“正在开源OpenAI Evals”,这是一款用于自动评估AI模型性能的框架,目的在于收集开发者的建议与意见。
上海人工智能研究院技术总监沈灏告诉记者,ChatGPT印证了大模型是一个比较明确的道路,国内外在行业大模型领域都已做了一些工作,通用大模型会更难一些,但这是比较明确的战略方向。
在北京社会科学院研究员王鹏看来,大模型之所以称之为大,主要涵盖几个要素:一是大模型的运算量基础非常高,能够支撑大量数据运算;二是大模型构造复杂,本身要经过多层次的学习、深度学习;三是牵扯到的系统非常复杂,同时对算力资源的需求高。做大模型,相当于“打好地基”,从国家社会经济长远发展的层面,要想支撑起大的行业、产业,要在人工智能领域实现长足的进步、保持长效的竞争优势,必然要训练大模型。重点推进相关科研攻关方向,具有深远的影响和意义。
“ChatGPT预训练语言模型的出色表现吸引了广泛的关注,吸引了科技大厂的加码布局。不过这里有一个误区,许多人认为只要参数足够多,模型足够大,也能够训练出与ChatGPT水平类似的AI产品,其实不然。如果算法存在差异,或者训练步骤和数据不同,结果可能也不会一样。即使做大模型,也不代表同样的高水平,创新需要差异化,不宜一哄而上。ChatGPT使用的大模型,除了参数高,还使用了微软Azure超级计算机、英伟达先进GPU芯片做算力支持,训练过程中创新性地引入了利用人类反馈强化学习机制,这是许多大模型难以超越它的原因。”深度科技研究院院长张孝荣如是说道。
- 除《中国经营报》署名文章外,其他文章为作者独立观点,不代表中国经营网立场。
- 未经本网授权,任何单位及个人不得转载、摘编或以其他方式使用上述作品,违者将被追究法律责任。
- 凡本网注明“来源:中国经营网” 或 “来源:中国经营报-中国经营网”的所有作品,版权均属于中国经营网(本网另有声明的除外)。
- 如因作品内容、版权和其他问题需要同本网联系的,请在30日内进行。
- 有关作品版权事宜请联系:15210887578 邮箱:banquan@cbnet.com.cn