研究称，AI搜索工具平均出错了约60%，Grok 3高达94%！

AI搜索服务向用户传递错误信息，且无视出版社的排除请求。

哥伦比亚新闻评论（Columbia Journalism Review）旗下的陶氏数字新闻研究中心（Tow Center for Digital Journalism）的一项新研究发现：用于新闻搜索的生成式AI模型存在严重的准确性问题 —— 错误率高达 60%。

据悉，该研究对 8 款具备实时搜索功能的AI驱动搜索工具进行了测试，结果发现，AI模型在回答有关新闻来源的查询时，平均超过 60% 的答案是错误的。

研究人员 Klaudia Jaźwińska 和 Aisvarya Chandrasekar 在报告中指出，现在大约每 4 个美国人中就有 1 人使用AI模型来替代传统搜索引擎。鉴于研究中发现的高错误率，不仅引发了对 AI 可靠性的严重担忧。

在测试的平台中，错误率差异显著。Perplexity 在 37% 的测试查询中提供了错误信息，而 ChatGPT 搜索在被查询的文章中，错误识别了 67%（200 篇中的 134 篇）。Grok 3 的错误率最 高，达到了 94%。

在测试中，研究人员将实际新闻文章的直接节选内容输入到人工智能模型中，然后要求每个模型识别文章的标题、原始发布者、发布日期和网址（URL）。他们在这 8 种不同的生成式搜索工具上共进行了 1600 次查询。

这项研究突出了这些AI模型的一个共同趋势：当缺乏可靠的信息支撑时，这些AI模型不是选择“诚实”，而是经常给出“编造”的内容 —— 一些看似合理，却存在错误或猜测性的回答。研究人员强调，所有测试的AI模型都存在这一问题，并非个例！

更离谱的是，这些AI工具的付费高 级版本有时表现甚至更差。Perplexity Pro（每月 20 美元）和 Grok 3 的高 级服务（每月 40 美元）比它们的免费版本错误率更高，但它们却十分自信。虽然这些付费模型的正确回答数量较多，但当它们面对“不确定的问题”时，不仅不会像免费版本那样“容易崩溃”，而且更喜欢给出一些“自以为是”的回答，这样导致了它们总体错误率比免费版还要高。

除此之外，研究人员还发现了另一个问题，某些AI模型无视了 “机器人排除协议（Robot Exclusion Protocol）” —— 出版社利用相关协议来防止未经授权的访问。举个例子，虽然《国家地理》（National Geographic）明确禁止 Perplexity 的网络爬虫访问，但 Perplexity 的免费版本还是精准识别出了《国家地理》付费内容中的 10 篇节选文章。

与此同时，即使这些AI模型引用了来源数据，但它们也常常只会将用户引导至雅虎新闻（Yahoo News）等平台上的内容集，而非内容的原始出处。即使在发布者与人工智能公司有正式许可协议的情况下，这种情况也会发生。

编造来源成为了又一个大问题。谷歌 Gemini 和 Grok 3 的内容引用来源中，超过50%会将用户引入一个虚假或无效的网址中，这也是“错误答案”的主要来源。在对 Grok 3 的 200 次引用测试中，有 154 次出现了引用来源链接无效的情况。

这也让出版商们叫苦不迭。阻止AI爬虫吧，他们还是会自行“引用”内容，且不标注你的来源；允许它们访问吧，又会导致版权所有的内容被不断重复使用，依旧无法将流量引回自己的网站。

《时代》（Time）杂志的CEO马克・霍华德（Mark Howard）怒斥“现在是AI产品（表现）最糟糕的时候。”同时，他也对一些用户提出了批评：如果有任何一个用户会对这些免费产品抱有100 %准确率的幻想，那他们应该感到羞愧。

对于这项研究，OpenAI 和微软都给予了反馈，承认收到了这些研究结果。OpenAI 指出，它承诺通过摘要、引用、清晰的链接和归属引用等方式为发布者带来流量，以此来支持发布者。微软则表示，它遵守 “机器人排除协议” 和发布者的指令。但除此之外，别无他话。

（举报）