机器之心编辑部

视频生成大模型的刚刚竞争焦点，正从单纯的磅袭“画质优劣”转向“实时互动能力”。

过去一年多，视频生成实时时代主流视频大模型的迈入迭代路径高度趋同：提升分辨率、延长生成时长、交互优化运动一致性、刚刚增强指令可控性。磅袭用户输入提示词，视频生成实时时代模型完成推理后输出固定长度的迈入视频，这已成为行业默认的交互工作流。

然而，刚刚实时交互场景提出了全新的磅袭挑战。

视频通话、视频生成实时时代实时陪伴、迈入虚拟偶像、交互互动直播等应用，无法仅依赖离线生成一段成片。用户会不断提问、打断或引导角色做出新反应；角色也需在对话中持续理解语音、调整动作、维持形象，并将反馈实时呈现。

换言之，视频模型不仅要生成质量高，更要具备“随时听得懂、秒级有反应、长时间不掉线”的能力。

在此背景下，生数科技将 Vidu S1推向实时交互这一全新赛道。

在 2026 全球数字经济大会上，生数科技创始人朱军正式发布了全新实时交互模型 Vidu S1。该模型由朱军教授的 00 后博士生张金涛领衔研发。Vidu S1 是生数科技通用世界模型在实时交互式生成领域的重要布局。

Vidu S1 旨在重塑数字人创建流程，推动视频模型从“离线成片”向“可对话、可响应、可持续在线”的实时交互演进。其核心能力包括：
* 语音实时控制：通过语音实时调控视频生成内容。
* 无限长实时生成：支持长时间连续互动，画面稳定不崩坏。
* 高性能实时交互：支持 540P (960×540) + 25FPS（最高 42FPS）。
* 自定义初始化：支持自定义初始图像与音色。

尤为关键的是，这套实时交互能力可在消费级显卡上运行。

从“离线建模”到“首帧即交互”

传统数字人制作类似小型工程项目：需准备素材、建模或训练、适配口型与动作，周期从几分钟到一天不等。

Vidu S1 采用纯生成式路线，省去了离线建模和角色训练环节。用户仅需上传一张首帧图，模型即可快速理解角色身份、外观及风格，并在交互中实时生成表情、口型、动作与姿态。结合自定义音色，数字人可保持形象与声音的高度统一。

从“上传素材等待训练”到“上传首帧直接交互”，个性化数字人的使用门槛大幅降低。

我们提前体验了 Vidu S1 的效果。上传一张近期爆火的负鼠表情包，简单设置后，一个会说天津话的负鼠角色即刻出现。它不仅能接话、顺着话题聊天，还能听懂动作指令：如比赞、摸鼻子、眨眼睛，均能在画面中实时呈现。

Vidu S1 并非对现有能力的常规升级，而是为实时交互式视频模型确立了新的技术基准。

AI 视频的下半场已现端倪：生成质量仍是基础，但实时交互能力正成为新的分水岭。

从离线生成到实时交互：Vidu S1 定义新基准

1. 交互范式转变：从单向播放到双向互动

传统视频生成遵循“输入提示 -> 模型推理 -> 输出成片”的单向逻辑，用户无法在生成过程中介入或修改。

Vidu S1 彻底改变了这一范式：
* 实时对话：支持语音甚至摄像头画面与角色实时互动。用户说话，模型即时理解语义并同步生成视觉反馈。
* 边理解边生成：非先成后播，而是像视频通话一样流式输出。
* 动态调整：用户可随时更改指令，模型即时调整后续画面，无需重新发起生成请求。
* 场景感知：开启摄像头后，模型可识别画面中的人物数量、动作状态等物理环境信息，并给出实时反馈，超越单纯的语音指令响应。

2. 从“驱动口型”到“驱动行为”

多数数字人产品仍停留在音频驱动口型阶段，动作有限且痕迹明显，缺乏真实感。

Vidu S1 基于实时视频生成架构，不仅能识别语音内容，更能理解对话中的语义和情绪，实时生成匹配的表情、手势及完整肢体动作，而非调用固定动作库片段。

语音指令实时跟随：从“语音驱动口型”迈向“语音驱动行为”，实现听得懂、动得准、反馈自然。

实时生成无限时长：全球领先的无限时长实时互动视频大模型。

支撑这一能力的是 自回归扩散模型 (AR + Diffusion)架构：模型基于历史画面及当前语音、指令上下文，实时预测并生成下一帧。这种逐帧生成方式天然支持实时打断和改写，新指令可即时体现，无需等待整段视频生成完毕。

3. 无限时长实时生成

Vidu S1 首次实现无限时长的实时视频生成。即使连续生成数小时，画面依然保持稳定，无快速漂移或崩坏现象。

长时间连续互动不仅要求“持续生成”，更需保持角色身份稳定、动作自然连贯，并持续接收指令。Vidu S1 率先实现了生成式视频互动的无限时长稳定运行。

4. 540P+25FPS 背后的模型与系统协同

在实时交互中，分辨率和帧率直接决定用户体验。视频通话、直播等场景要求持续输出、快速响应且长时间帧率稳定。

Vidu S1 提供 540P (960×540) 分辨率、25FPS 帧率（最高支持 42FPS）的实时生成能力，处于行业前列。

540P + 25 FPS 实时交互：支持高分辨率实时视频互动生成（最高 42 FPS）。

实现该指标得益于模型架构与系统工程的协同优化：

• 模型侧：基于生数科技 TurboDiffusion[1] 推理加速框架，采用少步生成、低比特注意力 SageAttention[2]、稀疏注意力 SLA[3] 和 SpargeAttention[4] 等技术，大幅降低单帧计算成本，使消费级显卡也能实现 540P/25FPS（最高 42FPS）实时生成。
• 系统侧：基于 TurboServe[5] 推理部署引擎，实现高效推理请求调度。系统持续记录用户输入、角色状态和历史画面，动态调度计算资源。

通过模型推理与流式服务的协同，Vidu S1 实现了从“生成更快”到“持续在线、稳定输出、实时响应”的跨越。

540P + 25FPS (最高 42FPS) 使实时视频生成模型具备了进入视频通话、直播、实时陪伴、互动游戏及 XR 场景的基础门槛，满足了传统离线模型无法应对的延迟稳定性和长时间在线需求。

5. 自定义角色：任意图片与音色创建数字人

用户可在体验页面上传图片创建角色。无论是真人、动漫、萌宠、游戏角色还是虚拟形象，均可作为初始角色；声音层面支持系统音色或自定义录制。

这进一步降低了数字人创建门槛：
* 普通用户：可用宠物、插画或自创人物生成互动角色。
* 企业用户：可通过 API 接入品牌 IP、虚拟客服、数字主播、游戏 NPC 或教育陪练。

Vidu S1 的应用场景已超越数字人产品，延伸至 AI Character、互动内容及实时视频基础设施。

更多技术细节请参阅技术报告：https://jt-zhang.github.io/files/Vidu_S1.pdf

实测体验：女孩、学长、狐妖、蒙娜丽莎被“唤醒”

Vidu S1 已开放公开试玩（https://www.vidu.cn/vidu-stream），支持自定义初始图像实时互动，并开放 API 平台。我们进行了实际测试。

内测体验地址：
* 国内地址：https://www.vidu.cn/vidu-stream
* API 地址：https://platform.vidu.cn/live/landing
* 客户端：手机应用商店搜索「Vidu AI Pro」下载最新版，进入 APP 点击「Vidu S1」体验。

预置角色测试

用户选定预置角色后，可通过麦克风直接发出语音指令，角色实时回应并生成表情、口型和动作。

• 动作指令：要求“举起网球拍”，数字人自然调整姿态，抬手挥拍。
  
• 手势指令：要求“双手胸前比心”，手部位置、身体姿态和表情衔接自然，语音已延伸为行为控制信号。
  
• 闲聊交互：语气自然，节奏符合真实交流，能顺着问题展开并调整表情状态，增强“在场感”。
• 精细动作：推眼镜、撩头发等细微动作完成度较高。
  
• 情绪感知：角色展现高交互智能，能主动引导话题、避免冷场，对开放性问题应对自如。“比心”、“施法”等动态指令完成度高，“生气”等微表情管理精准。
  

自定义角色测试

用户上传图片创建角色，可选择系统音色或录制声音，实现视觉与声音的个性化统一。

• 创建速度：上传图片并完成设置后，新角色几乎立即进入对话状态。
  
• 经典形象复活：上传《蒙娜丽莎》图片，角色不再保持静态微笑，而是根据语音开口说话，生成口型、表情及轻微动作（如抬手、生气表情），自然度极高。
  

自定义角色覆盖真人、动漫、萌宠等形象。对于内容创作者，一张历史画像、插画、品牌 IP 或风格化角色图，均可快速转化为可对话、可表演、可持续互动的数字角色。

结语：视频生成模型的下一站是实时交互

过去，视频大模型服务于内容创作，用户关注清晰度与美观度。未来，视频大模型将进入实时交互场景，用户将关注：
* 能否实时听懂需求？
* 能否秒级反应？
* 能否长时间保持角色一致性？
* 能否接入直播、陪伴、游戏和 XR？

这些问题无法由传统离线视频生成解决。

实时交互模型让视频从“播放对象”变为“交流对象”，数字人从“会说话的形象”进化为“可语音驱动、感知环境、持续生成行为的在线角色”。

这正是 Vidu S1 定义的行业位置。

从率先提出 U-ViT 架构，到率先发布实时交互模型，生数科技始终走在视频大模型技术演进前沿。其技术布局不仅展现了研发实力，也验证了对 AI 视频发展方向的前瞻判断。

未来，行业竞争将不再局限于生成质量，而是围绕实时响应、角色一致性与长期在线能力展开。随着流式视频模型和 AI Character 的发展，数字人将从内容生产工具，进化为下一代人机交互入口。

参考文献：
[1] TurboDiffusion: Accelerating Video Diffusion Models by 100-200 Times.
[2] SageAttention: Accurate 8-Bit Attention for Plug-and-play Inference Acceleration.
[3] SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention.
[4] SpargeAttention: Accurate and Training-free Sparse Attention Accelerating Any Model Inference.
[5] TurboServe: Serving Streaming Video Generation Efficiently and Economically.

文中视频链接：https://mp.weixin.qq.com/s/eIuLWSG6_9RknAIVjO3mQA