百度全面升级百舸 AI 异构计算平台 4.0、千帆大模型平台 3.0

2024-10-26 16:12 48 阅读 0 评论 32 点赞

感谢靠谱客网友西窗旧事、HH_KK 的线索投递！

靠谱客 9 月 25 日消息，2024 百度云智大会今日在北京召开，百度在大会上宣布全面升级百舸 AI 异构计算平台 4.0、千帆大模型平台 3.0 两大 AI 基础设施，并升级代码助手、智能客服、数字人三大 AI 原生应用产品。

百度智能云事业群总裁沈抖表示：“2024 年大模型的产业落地正在加速，目前在千帆大模型平台上，文心大模型日均调用量超过 7 亿次，累计帮助用户精调了 3 万个大模型，开发出 70 多万个企业级应用。过去一年，文心旗舰大模型降价幅度超过 90%，主力模型全面免费。”

升级百舸 4.0

为满足企业落地大模型从集群创建、开发实验，到模型训练、推理的全旅程算力需求，百度智能云升级发布百舸 AI 异构计算平台 4.0，面向万卡、十万卡集群全面升级算力管理能力。

集群创建阶段：百舸 4.0 预置了主流的大模型训练工具，能够实现工具层面的秒级部署，并将万卡集群运行准备时间从几周缩减至 1 小时。
开发实验阶段：企业需要针对业务目标对不同架构、参数的模型进行多次测试，进而制定最佳模型训练策略，保障后续训练的性能和效果。百舸 4.0 全新升级的可观测大盘，能够对多芯适配、集群效能、任务自动容错等方面进行全方位监测。
模型训练阶段：百舸 4.0 能够自动筛查集群状态，并基于对 GPU 故障的预测，及时转移工作负载，降低故障发生频次。此外，百舸故障秒级感知定位、Flash Checkpoint 模型任务状态回滚等技术，能够减少集群故障处置时间。

百度官方表示，目前百舸在万卡集群上实现了有效训练时长占比 99.5% 以上。此外，百舸 4.0 通过集群设计、任务调度、并行策略、显存优化等一系列升级，整体性能相比业界平均水平提升 30%。

在模型推理环节，百舸则通过架构分离、KV Cache、负载分配等一系列加速方法，实现了模型推理的降本提效，尤其在长文本推理方面，推理效率号称提升超过 1 倍。

百舸 4.0 号称已经构建了十万卡级别的超大规模无拥塞 HPN 高性能网络、10ms 级别超高精度网络监控，以及面向十万卡集群的分钟级故障恢复能力。

千帆 3.0，三大服务升级

为了满足企业客户对模型调用、模型开发、应用开发的需求，百度智能云发布千帆大模型平台 3.0。

模型调用方面：升级后的千帆平台，不但可以调用包括文心系列大模型在内的近百个国内外大模型，还支持调用语音、视觉等各种传统的小模型。过去一年，文心旗舰大模型降价幅度超过 90%、主力模型全面免费。

模型开发方面：对于需要定制、微调专属模型的客户，千帆 3.0 不仅提供了大模型工具链，还支持 CV、NLP、语音等传统模型的开发，并实现数据、模型、算力等资源的统一纳管和调度。

模型投入使用后，千帆平台还支持企业将应用中产生的数据，经过采样评估、人工标注、对齐或微调等方式反馈给模型，形成数据飞轮。

应用开发方面：针对企业落地大模型的高频应用场景，千帆 3.0 从检索效果、检索性能、存储扩展、调配灵活性四方面对企业级检索增强生成（RAG）进行了升级；针对企业级 Agent 的开发，千帆 3.0 增加了业务自主编排、人工编排、知识注入、记忆能力以及百度搜索等 80 多个官方组件支持。

此外，本次大会还发布了智能化低代码应用开发平台“AI 速搭”，通过自然语言对话就能进行企业级应用开发。

代码助手、智能客服、数字人升级

为了满足企业直接选购成熟 AI 应用的需求，百度智能云面向数字人、智能客服、代码提效，升级了三大 AI 原生应用产品，靠谱客汇总升级内容如下：

1、基于文心大模型重构的 AI 原生智能客服应用“客悦”：

在用户复杂意图理解、多模态信息交流等方面实现了大幅提升，让智能客服变得更聪明、更拟人。
“问题自助解决率”是智能客服领域最关键的考核指标，当前业内平均水平是 80%，升级后，客悦将这一指标提升至 92%。
目前，客悦已累计帮助企业客户服务超过 1.5 亿人次，交互超过 5 亿次。

2、基于大模型能力，新升级的曦灵数字人 4.0：

支持根据文字快速生成不同妆造、不同行业特色的 3D 数字人形象和视频。本次大会期间，曦灵平台宣布：将 3D 超写实数字人的价格从万元降价至 199 元。
全新升级的 4D（3D + 时间维度）自动绑定技术和创新模态迁移技术，还解决了传统 2D 数字人动作僵硬的问题，可以实现人物在不同角度、形体、表情的高度一致，即使是面部微表情也能做到自然、逼真。

3、全新升级的全流程 AI 代码提效工具“文心快码”：

本次大会，文心快码业界首发「企业级代码架构解释」、「企业级代码审查」两项全新功能。企业级代码架构解释能在项目接手初期，实现工程架构的智能解读，帮工程师快速理解业务逻辑；而企业级代码审查则能传承资深工程师的编码经验，智能辅助程序员查缺补漏。
此外，针对市面上通用代码助手缺乏对企业历史代码库的理解的痛点，文心快码全新升级的「企业级代码辅助能力」能够深度理解企业代码库，快速学习企业过往的代码与规范，让生成的代码更贴近企业的要求。
目前，文心快码已经服务超过 1 万家企业客户，整体研发效率提升 20%。