headphones
谷歌Veo 3惊艳全网!AI视频生成进入“音画同步”时代
货币探险家
货币探险家
authIcon
资深研究
Follow
Focus
AI视频生成新纪元!谷歌Veo 3上线:一句话生成带BGM、对白、环境音的完整影片。社交平台已经涌现大量“尝鲜”视频。
Helpful
Not Helpful
Play

谷歌于周二发布了Veo 3,一款具备音视频生成能力的AI工具,能够生成视频并同步加入音效。

这款人工智能工具是OpenAI Sora的直接竞品,其一大亮点是能够将音频元素与视频内容无缝整合。谷歌表示,Veo 3可以生成包括角色对白和动物声音在内的音频内容。

谷歌DeepMind产品副总裁伊莱·柯林斯(Eli Collins)周二在一篇博客中表示:

“Veo 3在文本和图像提示、现实物理效果以及精准唇形同步方面表现出色。”

谷歌Veo 3实现音画同步生成功能,标志着AI视频生成技术的重大突破。Veo 3能够根据提示词生成高质量视频,同时自动生成与画面同步的对白、唇动对齐、拟真环境音效以及情绪氛围音轨。其底层技术V2A(Video-to-Audio)通过将视频像素转化为语义信号,结合文本提示生成同步音频波形,从而实现了音画同步。

Veo 3的音画同步功能基于对物理世界的深刻理解,能够实时生成与画面匹配的声音,例如脚步声、烹饪声等,而不是后期拼接。此外,Veo 3还能精准捕捉画面情绪,渲染氛围音效,甚至在多角色、多种风格的复杂场景下表现出色。在长提示词理解与事件流生成方面,Veo 3也能处理复杂的事件流,生成逻辑连贯、多步骤执行的视频片段。

这款音视频AI工具从周二起向美国用户开放,订阅者需加入谷歌新推出的Ultra订阅计划,月费为249.99美元,主要面向深度AI爱好者。同时,Veo 3也将在谷歌的企业级AI平台Vertex AI上向用户开放。

目前,X社交平台上已经涌现大量用户“尝鲜”的视频。比如,镜头跟随一只腊肠犬穿过客厅,跑出敞开的前门,来到门廊。它站在顶层楼梯上,俯瞰着周围的景色,这时一辆冰淇淋车驶过。视频中伴随小狗冲出门口的的脚步声、冰淇淋车驶过的声音。

在X用户分享的另一个Veo3生成的视频中,一匹马走进酒吧,视频伴随马蹄声、马叫声以及酒保说话的声音。

这个新产品的推出正值生成式AI在图像和视频创作领域的应用日益普及。OpenAI首席执行官奥特曼曾透露,其旗下ChatGPT 4o的图像生成功能因过度受欢迎,甚至一度令计算芯片“过热”,公司不得不暂时限制该功能使用。

此外,谷歌还宣布对Veo 2进行更新,新增支持通过文字提示对视频中物体进行增删的功能。同时,谷歌开放了其AI音乐生成模型Lyria 2,供YouTube Shorts创作者及Vertex AI企业客户使用。

Open the app to read the full article
DisclaimerAll content on this website, hyperlinks, related applications, forums, blog media accounts, and other platforms published by users are sourced from third-party platforms and platform users. BiJieWang makes no warranties of any kind regarding the website and its content. All blockchain-related data and other content on the website are for user learning and research purposes only, and do not constitute investment, legal, or any other professional advice. Any content published by BiJieWang users or other third-party platforms is the sole responsibility of the individual, and has nothing to do with BiJieWang. BiJieWang is not responsible for any losses arising from the use of information on this website. You should use the related data and content with caution and bear all risks associated with it. We strongly recommend that you independently research, review, analyze, and verify the content.
Comments(0)

No comments yet

edit
comment
collection
like
share