谷歌DeepMind发布世界模型Genie 4,首次实现音视频同步生成

据报道,谷歌 DeepMind 于当地时间周二推出新一代世界模型 Genie 4,目前处于研究预览阶段。这一模型能生成拟真度更高的可交互虚拟世界,用户在模拟运行过程中输入提示词就能改动场景,它还首次做到与虚拟世界同步的实时音频,涵盖音乐、环境音与可交互对话。

谷歌DeepMind发布世界模型Genie 4,首次实现音视频同步生成

相比一年多前以研究预览形式发布的 Genie 3,新模型的画面更接近真实,新增音频能力,编辑方式也更自由,天气、镜头角度、人物与物体都能实时调整。单次生成的场景可以维持两分钟连贯不变,是前代的两倍,物理表现更稳,虚拟人物也更像真人。

Genie 4 与 Gemini 的配合进一步加深。在这套流程里,Gemini 承担导演的角色,负责拆解步骤、校验画面,Genie 4 负责把内容渲染出来。谷歌在机器人项目中的一项实验就让 Gemini 4 Argon 把任务拆成若干步,再由 Genie 4 实时仿真,相当于在真机测试之前先在虚拟环境里验证方案。

商业化落地方向仍集中在游戏、交互式学习和机器人。首批可信测试者还发现了电影原型制作的用途,实时生成的价值在于创意构思与分镜阶段能快速试错。团队也承认短板:运行时间拉长后细节容易漂移,音频准确性与画面内文字清晰度还没有稳妥的解决办法。

接下来几周,Genie 4 会陆续向谷歌 AI Ultra 订阅用户、Genie 项目以及 Gemini 接口和 AI Studio 的早期合作方开放。

原创文章,作者:Google,如若转载,请注明出处:https://www.kejixun.co/article/766138.html

Google的头像Google认证作者

相关推荐

发表回复

登录后才能评论