Galileo发布Luna，重新定义GenAI评估，成本降低97%、速度提升11倍

2024-06-22 10:40 142 阅读 0 评论 94 点赞

划重点:
⭐ Galileo 推出 Luna，一套革命性的 Evaluation Foundation Models，重新定义企业 GenAI 评估，速度、成本和准确性均突破前所未有的境界。
⭐ Luna 的创新核心在于其专为特定评估任务设计的小型语言模型，大幅提升了速度、成本和准确性。
⭐ Luna 不仅速度更快、成本更低，还可在没有传统基准数据集的情况下运行，极大地简化了评估流程。

靠谱客（kaopuke.com）6月22日消息:企业人工智能技术领先者 Galileo 近日发布了一款名为 Luna 的全新产品，这一革命性的 Evaluation Foundation Models 套件重新定义了企业对 GenAI 系统的评估方式。Luna 承诺在速度、成本和准确性方面进行了前所未有的突破。

“Galileo 推出 Luna，旨在解决当前 GenAI 评估方法的局限性，这些方法通常速度缓慢、成本高昂，而且往往不准确。”Galileo 联合创始人兼首席执行官 Vikram Chatterji 在接受 VentureBeat 采访时表示。“推动我们开发 Luna 的初衷源自对在生产环境中进行超低延迟、成本效益高和高准确性评估的需求。”

Luna 的研发标志着 Galileo 取得了重要的里程碑，该公司自2021年初成立以来一直处于企业 GenAI 的最前沿。公司对推动人工智能评估边界的执着可从 Luna 的开发过程中窥见端倪，该过程历时近一年，进行了密集的研发工作。

Luna，Galileo 划时代的 Evaluation Foundation Models 套件，在接收器操作特征曲线下面积（AUROC）得分的基准比较中胜过了领先的人工智能评估方法。更高的 AUROC 值达到了0.78，表明 Luna 在评估企业生成式人工智能系统的准确性方面更胜一筹，超越了 GPT-3.5、Trulens Groundedness 和 RAGAS Faithfulness 等竞争对手。

Luna 创新的核心在于其专为特定评估任务设计的小型语言模型，精心为幻觉检测、语境质量评估、数据泄漏防护和恶意提示识别等任务量身定制。这种专业设计使得 Luna 在速度、成本和准确性三个关键指标上表现卓越。

“Luna 通过几项创新的方式超越了 GPT-3.5在速度、成本和准确性方面，”Chatterji 解释道。“Luna 利用专为特定评估任务量身定制的小型语言模型，大大降低了计算开销和成本。这种设计选择使得评估的成本比使用 GPT-3.5低97%，速度则比使用 GPT-3.5快11倍。”

然而，这并不仅仅是关于速度和成本。Luna 还以行业领先的准确性脱颖而出，在检测幻觉、提示注入、个人可识别信息（PII）等方面，其性能比以往方法高出多达20%。“多头小型语言模型和智能分块等先进技术确保 Luna 模型更好地保持上下文并提供更准确的评估，”Chatterji 补充道。

在对评估100万次查询的月度成本进行比较时，Galileo 的 Luna 大幅低于其他方法，仅需每月175美元。Luna 的专为特定评估任务设计的小型语言模型实现了超低成本的评估，使其比 GPT-3.5（每月6248美元）、RAGAS Faithfulness(每月7994美元)和 Trulens Groundedness(每月16641美元)等替代方案高效率低至97%。

Luna 最引人注目的一个方面是其能够在不需要传统基准数据集的情况下运行。通过利用在多样、领域特定数据集上微调的预训练评估模型，Luna 消除了创建定制测试集的耗时和昂贵过程。这一创新简化了评估流程，减少了对大量人工生成数据的依赖。

Luna 的潜在应用广泛，Chatterji 强调了它在需要人工智能评估具有高可靠性和速度的行业中的相关性。“Luna 在需要大规模应用、吞吐量大的企业应用中尤为强大（比如每月数百万次查询）。我们发现在医疗保健、金融和电信等行业，财富100强企业特别喜欢使用 Luna。” 他说道。

Galileo 的 Luna 在人工智能评估方面提供了无与伦比的速度，处理单个查询的延迟仅为0.232秒。这较之其他方法，例如 GPT-3.5的2.5秒、Galileo Chainpoll 的3.0秒、Trulens Groundedness 的3.4秒和 RAGAS Faithfulness 的5.4秒，有了显著提升。Luna 的专为特定评估任务设计的小型语言模型实现了超低延迟的评估，使其比竞争方法快至多达11倍。