VAST开源实时世界模型EdenLive,单张RTX 5090上720P生成超24FPS
VAST发布并开源实时世界模型EdenLive,在单张RTX 5090、720P条件下5B模型生成速度超过24FPS,端到端延迟为百毫秒级。
AI 编撰 · 内容基于所列来源,重要信息请以原文为准

VAST发布并开源把代码、数据集或硬件设计公开给所有人免费使用。机器人公司常用开源来换取开发者和科研生态的支持。◆ 小白科普 · 现身实时世界模型AI 模型的简称,指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令,输出动作。◆ 小白科普 · 现身EdenLive,并同步开放模型AI 模型的简称,指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令,输出动作。◆ 小白科普 · 现身权重、推理代码、技术报告与端到端指「从眼睛到手」由一个 AI 模型直接完成的技术路线:输入画面和指令,直接输出动作,中间不再由工程师人工拆分步骤。◆ 小白科普 · 现身Demo。据VAST介绍,EdenLive首次在实时生成前提下同时实现任意参考输入、任意画风生成和长时连续运行。
据VAST公布的数据,在单张消费级显卡Nvidia RTX 5090、720P条件下,EdenLive的5B模型AI 模型的简称,指经过训练、能从输入算出输出的程序。机器人的模型输入画面和指令,输出动作。◆ 小白科普 · 现身生成速度超过24FPS,可持续生成分钟级画面;从用户输入操作到对应画面出现,端到端指「从眼睛到手」由一个 AI 模型直接完成的技术路线:输入画面和指令,直接输出动作,中间不再由工程师人工拆分步骤。◆ 小白科普 · 现身延迟为百毫秒级。系统由上游交互系统维护交互规则与世界状态,EdenLive依据参考画面将状态变化实时渲染为精细画面。
该模型采用“解耦世界状态与视觉渲染”的技术路线,这一设计在VAST今年6月初公开的Project Eden研究预览中已明确提出,EdenLive是其中聚焦实时生成式渲染的阶段性成果。据VAST介绍,其数据管线覆盖2D、3D简化场景、引擎渲染和真实视频等多种来源的成对数据;团队配置覆盖3D、视频生成与系统工程方向。
应用层面,EdenLive可用于交互式游戏预览、场景与动画预览、视频重渲染与换皮,以及具身数据增强:将真实人类操作画面转为机器人视角,替换机械手,并调整物体、材质和颜色,同时保持原视频中的操作动作。VAST表示,现阶段高频激烈交互、多角色身份保持、小物体精细控制和长时生成视觉一致性仍有提升空间,并将同步开源Game Prototype Turbo。