靠谱客（kaopuke.com）6月23日消息:快手公司推出了一款名为可灵的全新国产视频生成大模型，它采用了与Sora相似的技术路线，并结合了快手自研的技术创新。这款模型能够生成长达2分钟、30fps、1080p分辨率的超长视频，并支持多种宽高比。不同于实验室的Demo或视频演示，「可灵」是快手推出的产品级应用，并已在快影APP中正式开启邀测。
可灵大模型能够在想象中天马行空，同时在描绘运动时符合真实的运动规律，准确刻画复杂、大幅度的时空运动。它不仅能模拟真实物理世界的特性，生成符合物理规律的视频，还能处理与真实物理世界的交互，例如在视频中展现小男孩吃汉堡时齿印的变化。
可灵采用了原生的文生视频技术路线，替代了图像生成加时序模块的组合，这是它能够生成视频时间长、帧率高，并准确处理复杂运动的关键。快手大模型团队着重考虑了模型设计、数据保障、计算效率以及模型能力的扩展这四大核心要素。
在模型设计方面，可灵采用了类Sora的DiT结构，用Transformer代替了传统扩散模型中基于卷积网络的U-Net，并通过自研的3D VAE网络和全注意力机制（3D Attention）提升模型的建模能力。
数据构建方面，快手大模型团队构建了完备的标签体系，精细化筛选训练数据，并研发了视频描述模型，以生成精确、详尽、结构化的视频描述。
运算效率方面，「可灵」使用了传输路径更短的flow模型作为扩散模型基座，并采用分布式训练集群和算子优化等手段提升硬件利用率。
模型能力扩展方面，「可灵」支持自由的长宽比，并研发了基于自回归的视频时序拓展方案，同时还支持多种控制信息输入。
可灵大模型的应用不仅限于视频生成，快手还基于此模型推出了其他应用，如"AI舞王"和"AI唱跳"，并即将推出图生视频功能。
快手在大模型技术方面动作迅速，已与多个高校或科研机构合作发布了多项关键技术，为可灵大模型积累了深厚的技术沉淀。现在，快手的文生视频功能已正式亮相，期待其在短视频场景中的应用落地。
对AI视频创作感兴趣的用户，可以在快影APP中体验可灵大模型的功能。
官网地址:https://kling.kuaishou.com/
（举报）
发表评论取消回复