英特尔第五代至强处理器通过 AISBench 人工智能服务器系统性能测试，成为首家通过大语言模型 (LLM) 推理性能测试的企业。
在 AISBench 2.0 评估下，第五代至强处理器在 ChatGLM V2-6B（60 亿参数）和 Llama2-13B（130 亿参数）模型上表现突出，满足轻量级 LLM 的实时推理需求。
具体性能表现如下：
- ChatGLM V2 模型通用推理（输入输出序列 256）：每秒 2493 个 token
- ChatGLM V2 模型通用推理（输入输出序列 2048）：每秒 926 个 token
- Llama2 模型通用推理（输入输出序列 256）：每秒 513 个 token
- Llama2 模型通用推理（输入输出序列 2048）：每秒 132 个 token
AISBench 2.0 测试结果证明了英特尔至强在轻量级 LLM 推理方面的卓越性能。
基于至强的服务器可构建通用 AI 系统，用于数据预处理、模型推理和部署，提供 AI 性能、效率、准确性和可扩展性的结合。
英特尔至强还支持“开箱即用”部署部分 AI 工作负载，降低总体拥有成本，为企业提供更佳的优势。
（举报）
发表评论取消回复