DeepMind通过拥有2800亿个参数的模型来测试大型人工智能语言系统的极限

该公司新开发的人工智能语言模型被命名为Gopher

语言生成是目前人工智能领域的一大热门。有一类称为“大型语言模型”（即LLM）的系统能够实现各种强大的功能，包括改进谷歌搜索引擎、打造文本界面的奇幻游戏等。但这些项目也存在严重的缺陷，比如会生搬硬套一些涉及性别歧视和种族主义的语言，以及无法通过逻辑推理测试。这就带来了一大问题：只靠增加数据和算力能否克服这些弱点？或者说，这种技术范式是否即将遇到瓶颈？

Alphabet的人工智能实验室DeepMind在2021年12月8日发表了三篇研究论文，其中就探讨了这个课题。该公司得出的结论是，进一步扩大这些系统的规模应该能带来长足的改进。DeepMind研究科学家告诉记者：“该论文的一项关键发现是，大型语言模型仍在进化，其能力仍在增强，这一领域还没有进入停滞期。”

DeepMind经常将工作成果运用到谷歌产品中。它建立了一个拥有2800亿个参数的语言模型，将其命名为Gopher，用来探究这种LLM的能力。参数的多少是衡量一种语言的模型大小和复杂程度的直观标准。在这方面来说，Gopher比OpenAI的GPT-3（1750亿个参数）更大，但不如一些更具实验性的系统，比如微软和英伟达的Megatron模型（5300亿个参数）。

在人工智能领域，一般来说是越大越好的，因为更大的模型通常能提供更高的性能。DeepMind的研究证实了这一趋势，并表明扩大LLM的规模确实能在一些最常见的基准测试（例如情感分析和汇总）中提供更高的性能。然而，研究人员也提醒，要解决语言模型固有的一些问题，不能只依靠数据和计算。

该研究员说：“我认为目前看来，这个模型肯定会以各种方式失败。其中一部分因素在于，模型无法充分理解它所读取的内容，而且我感觉，对于这一类问题，我们只是寄希望于通过更多的数据和更大的规模来改善性能。”

但他又补充说，还存在“其他类别的问题，比如模型没能摆脱老一套的偏见，或者模型被欺骗而给出不实信息。而对于这些问题，DeepMind认为扩大规模也不是解决办法。”他指出，在这些情况下，语言模型将需要“额外的训练程序”，比如来自真人用户的反馈。

为了得出这些结论，DeepMind的研究人员针对152项语言任务或基准测试，评估了一系列不同大小的语言模型。他们发现在一般情况下，模型越大，能提供的结果就越好。而在科学家选择的大约80%的测试中，Gopher具有最先进的性能。

在另一篇论文中，该公司还调查了与部署LLM相关的各种潜在危害。举例而言，系统可能使用有毒语言、分享错误信息、被用于恶意目的（例如分享垃圾邮件或广告宣传）。随着人工智能语言模型的部署范围越发广泛（例如作为聊天机器人和销售代理），上述所有问题都会显得越发重要。

但值得注意的是，在评估机器学习系统时，基准测试的性能并不是终极标准。在最近的一篇论文中，一些人工智能研究人员（其中两人来自谷歌）探讨了基准测试的局限性。他们指出，这些数据集的范围终归是有限的，无法与现实世界的复杂性相提并论。要测试这些系统，唯一可靠的方法就是看实际应用中的表现——新技术都不外乎如是。而借助大型语言模型，我们将很快看到更多这样的应用。

稿件来源：https://www.theverge.com/2021/12/8/22822199/large-language-models-ai-deepmind-scaling-gopher

最后

以上就是顺心鸭子为你收集整理的DeepMind通过拥有2800亿个参数的模型来测试大型人工智能语言系统的极限的全部内容，希望文章能够帮你解决DeepMind通过拥有2800亿个参数的模型来测试大型人工智能语言系统的极限所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。