绕晕了！9.11 大还是 9.9 大，难倒一批 AI 大模型？

2024-07-19 02:50 84 阅读 0 评论 56 点赞

声明：本文来自于微信公众号CSDN（ID:CSDNnews），授权靠谱客转载发布。

「9.11和9.9，哪个大?」

对于不少习惯了更新软件版本号的程序员而言，不少人的第一反应就是:当然是9.11大。但是如果没有限定场景，只是单纯地提出上面这个问题时，结果必然是相反的。

没想到，将这个问题抛给前能答疑解惑、后能挑战各种高数难题的 AI 大模型时，各种“翻车”情况也随之出现了。

国外大模型:9.11vs9.9，哪个大?

具体的事情要从一位名为 Riley Goodside 工程师的推文谈起。

值得一提的是，Riley Goodside 是 AI 数据标注赛道“独角兽”Scale AI 公司的一名 staff prompt engineer，这个岗位的职责具体是指在生成式 AI 和自然语言处理领域内，专门设计和优化提示（prompt）的人。这个角色要求深入理解如何构建有效的 Prompt，以引导 AI 模型生成所需的输出。

几个小时前，Riley Goodside 连发几条推文分享了自己的一些发现，即用「9.11and9.9- which is bigger?」为 Prompt 输入给各家大模型时，如当前业界公认最先进模型之一的 ChatGPT4o 的输出是:

9.11比9.9大。

再来看看 Gemini Advanced 的表现，同样“翻车”:

9.11>9.9

虽然 Claude3.5Sonnet 最终也未能逃过这个模糊问题带来的“坑”，但是其给出的解释中，一度就要回答正确了，其写道:

“两个数字中的整数部分（9）都是相同的，所以我们需要比较小数部分。

在9.11中，十分位是1/10（或0.1）。在9.9中，十分位是9/10(或0.9)。

由于9/10大于1/10，乍看之下可能觉得9.9更大。”

没想到接下来画风急转，Claude3.5Sonnet 有似是有理有据地说:

但是，我们还需要考虑百分位。

9.9可以写成9.90以显示百分位。

现在我们可以清楚地看到9.11大于9.90（或9.9），因为在百分位上，1大于0。

因此，9.11是较大的数。

最终在正确的答案上渐行渐远:

这个简单的问题也让不少人联想到前几天国内关于《歌手2024》「终极袭榜赛」竞演结果的排名。

当时有不少网友就13.8%和13.11%哪个大的问题争论了起来。

在纠正不了「某些已形成思维定式」的用户想法之后，甚至有人搬出了教材给出解释，“在最新人教版小学四年级数学下册课本中，我们可以找到相关知识点:比较两个小数的大小，先看它们的整数部分，整数部分大的那个数就大;整数部分相同的，十分位上的数大的那个数就大;十分位上的数也相同的，百分位上的数大的那个数就大..."

在今天 Riley Goodside 分享 AI 大模型回答这一问题的表现时，来自 Google 前工程师、Allen AI 研究员 Bill Yuchen Lin 也将比较的数值换成了13.11和13.8，再次问及大模型，没想到答案还是出错了。

其评价道，「数学奥林匹克竞赛对人工智能来说更容易，但常识仍然很难。」

同时，他还表示，“这种常识性 AI 失败案例，让我不禁想起@YejinChoinka的 TED 演讲:《为什么 AI 既聪明得令人难以置信，又愚蠢得令人震惊》（https://www.ted.com/talks/yejin_choi_why_ai_is_incredibly_smart_and_shockingly_stupid）”。

换个 Prompt，答案会不会不一样?

不过，也有人质疑作为 Prompt 工程师的Riley Goodside 的提问方式，“它（大模型）对词序敏感![我相信你也知道]如果你把数字放在问题后面，他们就会答对[google 和 openai，anthropic 则不然]。你使用斜线也是有意混淆视听吗?”