数字人视频生成技术正迅速成为增强人机交互体验的核心手段之一。然而，现有方法在实现低延迟、多模态控制与长时序一致性方面仍存在显著挑战。大多数系统要么计算...
2025-09-17 0
快手可灵团队MIDAS：压缩比64倍、延迟低于500ms，交互生成新突破
排行榜
2025年09月17日 15:44 0
admin
数字人视频生成技术正迅速成为增强人机交互体验的核心手段之一。然而，现有方法在实现低延迟、多模态控制与长时序一致性方面仍存在显著挑战。大多数系统要么计算开销巨大，无法实时响应，要么只能处理单一模态输入，缺乏真正的交互能力。
为了解决这些问题，快手可灵团队（Kling Team） 提出了一种名为 MIDAS（Multimodal Interactive Digital-human Synthesis）的新型框架，通过自回归视频生成结合轻量化扩散去噪头，实现了多模态条件下实时、流畅的数字人视频合成。该系统具备三大核心优势：
- 64× 高压缩比自编码器，将每帧压缩至最多 60 个 token，大幅降低计算负荷；
- 低于 500ms 端到端生成延迟，支持实时流式交互；
- 4 步扩散去噪，在效率与视觉质量间取得最佳平衡。
该项研究已被广泛实验验证，在多语言对话、歌唱合成甚至交互式世界建模等任务中表现出色，为数字人实时交互提供了全新解决方案。
- 论文标题：MIDAS: Multimodal Interactive Digital-humAn Synthesis via Real-time Autoregressive Video Generation
- 论文地址：https://arxiv.org/pdf/2508.19320
- 主页地址：https://chenmingthu.github.io/milm/
核心创新
1. 多模态指令控制机制
MIDAS 支持从音频、姿态到文本等多种输入信号。通过一个统一的多模态条件投影器，将不同模态编码到共享潜在空间，形成全局指令令牌，构建 frame-by-frame 的 chunk 注入，引导自回归模型生成语义和空间一致的数字人动作与表情。
2. 因果潜在预测 + 扩散渲染
模型可嵌套任意类似大语言模型的自回归架构，逐帧预测潜在表示，再由一个轻量级扩散头进行去噪和高清渲染。这种设计既保证了生成的连贯性，也大幅降低了计算延迟，适合实时流式生成。
3. 高压缩率自编码器（DC-AE）
为实现高效的自回归建模，团队设计了压缩比高达 64 倍的 DC-AE，将每帧图像表示为最多 60 个令牌，支持分辨率最高达 384×640 的图像重建，并引入因果时序卷积与 RoPE 注意力机制保障时序一致性。
4. 大规模多模态对话数据集
为训练模型，研究者构建了一个约 2 万小时的大规模对话数据集，涵盖单人、双人对话场景，涵盖多语言、多风格内容，为模型提供了丰富的语境与交互样本。
方法概要
- 模型架构：采用 Qwen2.5-3B 作为自回归主干网络，扩散头基于 PixArt-α /mlp 结构。
- 训练策略：引入可控噪声注入，通过 20 级噪声桶和对应嵌入，缓解自回归模型在推理阶段的曝光偏差问题。
- 推理机制：支持分块流式生成，每块 6 帧，可实现 480ms 级别的低延迟响应。
效果展示
1. 双人对话生成
系统可实时处理双人对话音频流，生成与语音同步的口型、表情和倾听姿态，支持自然轮流对话:
双工对话示例
2. 跨语言歌唱合成
在没有显式语言标识的情况下，模型精准实现中文、日文、英文歌曲的唇形同步，生成视频可达 4 分钟无显著漂移:
多语言歌唱合成效果
3. 通用交互世界模型
通过在 Minecraft 数据集上训练，MIDAS 可响应方向控制信号，展现出良好的场景一致性与记忆能力，验证了其作为交互式世界模型的潜力:
Minecraft 环境下的交互生成示例
总结
MIDAS 在双边对话、多语言生成等任务中，MIDAS 均实现实时生成（<500ms 延迟), 并且扩散头仅需 4 步去噪，在效率与质量间取得最佳平衡，支持长达几分钟的连续生成，且质量衰减显著低于基线方法。
MIDAS 不仅为实时数字人生成提供了端到端的解决方案，更探索了多模态自回归模型在交互式媒体生成中的潜力。其模块化设计允许灵活扩展至更多模态与控制信号，为虚拟人直播、元宇宙交互、多模态 AI 智能体等应用奠定了技术基础。
团队表示，未来将进一步探索更高分辨率、更复杂交互逻辑下的生成能力，并推进系统在真实产品环境中的部署。
文中视频链接：https://mp.weixin.qq.com/s/2pfS1zGF8OBeVtjtmosnYw
相关文章
- 详细阅读
-
传马云“强势回归”阿里巴巴(09988) 主导AI及外卖大战详细阅读
智通财经APP获悉，据报道，阿里巴巴(09988 创办人马云淡出公众视野数年后，如今重返阿里巴巴园区。报道称，马云在集团的直接参与度达到5年来最强，最...
2025-09-17 0
-
天天贵阳麻将开挂软件详细阅读
今天给各位分享天天贵阳麻将开挂软件的知识，其中也会对进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！苹果手机怎么授权游戏苹果手机...
2025-09-17 0
-
麦肯锡预计未来五年AI数据中心需求将增长3.5倍，为英伟达带来6万亿美元机会详细阅读
来源：环球市场播报麦肯锡的一项新分析预计，到2030年，全球对人工智能专用数据中心容量的需求将增长3.5倍，这可能为芯片巨头英伟达创造数万亿美元的市场...
2025-09-17 0
-
预制菜的优势和劣势都在工业化上详细阅读
“几乎全都是预制菜，还那么贵！”2025年9月，罗永浩对餐饮品牌西贝的这一指责，瞬间将预制菜推上舆论风口浪尖。西贝创始人贾国龙则断然否认：“西贝没有一...
2025-09-17 0
-
机器人轻量化材料，铝镁合金概念梳理详细阅读
一. 铝镁合金概览铝镁合金是一种以铝为基体、镁为主要添加元素（含量8%-12%），并添加锰、硅、锌、铬等微量元素的轻量化合金材料。（1）核心特性：密度...
2025-09-17 0
-
中特估+消费电子+CPO+半导体+低空经济+氢能源+环保等详细阅读
中国船舶：是中国船舶工业的领军企业，在国内造船市场占据重要地位。富信科技是国内外少数全产业链半导体热电技术解决方案提供商之一；产品具有节能环保、制冷制...
2025-09-17 0
-
自主研发“中国方案”：山东电建三公司戈壁“铸”光盾详细阅读
9月12日，新疆克拉玛依戈壁滩落日熔金，在乌尔禾区风城油田重37井区的高温光热利用先导试验工程（简称“风城油田光热项目”）现场，所有人员严阵以待，注视...
2025-09-17 0
发表评论