大模型时代音视频智能研究全景综述：9大权威机构深度解析

AI领域正经历一场深刻的范式转移：模型能力正从单一的“视觉理解”或“语音识别”，迈向原生、同步的“音视频智能”。从GPT-4o的实时多模态对话，到Veo-3、MovieGen、Seedance 2.0等模型直接生成带原生音轨的视频，再到OpenVLA这类机器人模型实现“听音辨物”，一个清晰的趋势已然成型。音视频处理，正从大模型的附加功能，演进为其核心的基础能力。

面对这一快速融合的领域，一份系统性的研究图谱至关重要。近期，由新加坡国立大学、牛津大学、多伦多大学、微软研究院等九家顶尖机构联合发布了一份重量级综述。据我们所知，这是首份系统性梳理“音视频大模型”全景的综述报告。它通过一张跨越十年的技术演化树，整合了分散的研究脉络，提出了统一的分类框架，勾勒出三条发展主线，并指明了六大未来方向，为整个领域提供了一份精准的“学术地图”。

一、首份“音视频大模型”全景图

近年来，AI模型最关键的突破之一便是突破了模态的壁垒。从2024年GPT-4o将语音、视觉、文本统一于单一模型主干，到2025年Veo-3、MovieGen以“生成带原生音轨的视频”为目标，再到2026年Seedance 2.0、HappyHorse等模型实现多模态条件输入与同步输出。与此同时，Qwen-Omni将多模态对话推向了流式实时交互，而OpenVLA、π0等机器人模型，则开始整合语音指令、视觉感知与环境声响进行决策。

然而，学术研究的版图却长期处于割裂状态。自动语音识别、数字人生成、拟音合成、视频配音、音频驱动视频、音画编辑、音视频问答……每个子领域都自成体系，拥有独立的范式、评测标准和术语体系。

正是在此背景下，这份九机构联合综述首次尝试为“音视频大模型”绘制完整全景。其核心价值在于，将音视频智能提升至与纯文本大模型同等重要的基础能力高度进行审视，旨在推动其从零散的任务集合，走向统一、连贯的研究框架。

二、十年演进：从“对齐”到“融合一体”

报告开篇便呈现了一张清晰的2016–2026音视频智能演进树，将过去十年的发展划分为四个关键阶段：

阶段一（2016–2018）：音画对齐。 此阶段的核心是“对齐”，代表性工作如L3-Net、Wa v2Lip等，致力于解决唇音同步等基础对齐问题。语音对话系统也多采用“语音识别+大语言模型+语音合成”的级联架构。

阶段二（2019–2022）：规模化表征。 随着XDC、VATT等大规模对比学习方法的兴起，模型学会了从海量数据中提取更强大的跨模态表征。同时，AudioLDM、MusicGen等单模态生成模型开始爆发，SpeechGPT、Qwen-Audio等“音频原生”的大语言模型也崭露头角。

阶段三（2023–2024）：音视频创造。 研究重心转向生成。无论是MBT、A V-HuBERT等理解模型，还是Diff-Foley、MusicInfuser等生成模型，都开始探索以单一模态为条件，生成或控制另一模态。“A V控制器”的概念开始流行。

阶段四（2024–2026）：全能模态与具身智能。 这是当前的前沿。ImageBind、Qwen-Omni等模型追求原生融合的多模态能力；MovieGen、Veo-3、Seedance 2.0等致力于端到端的同步音视频生成；而GPT-4o、OpenVLA等模型，正将视听能力与实时交互、具身决策深度结合。

报告特别指出，从阶段一到阶段四，六大核心挑战始终贯穿：音画同步、时序一致性、可控生成、评测体系、实时延迟、安全与合规。这些问题不会因模型规模扩大而自动消失，反而会随着应用场景从短视频扩展到长视频、实时交互乃至智能体，而变得更为复杂和关键。

三、统一框架：感知、创造、交互

为整合分散的领域，报告提出了一个统一的三主线分类法，这是其核心贡献之一。

主线一：理解世界（感知）。 涵盖所有从音视频信号中提取和理解信息的任务。包括经典的音视频语音识别、唇语识别、活跃说话人检测、声源定位，以及更复杂的音视频事件理解、跨模态检索和音视频问答。当前，基于大语言模型的长时间视频理解与因果推理，正成为新的前沿。

主线二：创造世界（生成）。 这是当前最活跃的领域。报告将其细分为四类：条件生成、跨模态生成、联合音视频生成以及音画编辑。从为视频配音，到用音频驱动生成视频，再到直接生成带原生音轨的视频内容。报告特别强调，真正“原生联合”的音视频生成才刚刚起步。尽管MovieGen、Veo-3等模型已能实现，但在跨身份、长时序、复杂物理场景下的高保真同步生成与精细化编辑，仍是待解的难题。

主线三：与世界交互。 这条主线包含两个分支。一是“音视频对话”，其形态从早期的级联式系统，演进到audio-native大模型，再到如GPT-4o般的原生多模态实时对话。二是“具身智能与机器人”，涉及基于视听信号的导航、场景理解与操作，对应着SoundSpaces、OpenVLA等研究方向。报告指出，交互的本质是带状态的闭环——感知、推理、行动必须在延迟和用户意图的约束下持续运行，这也解释了为何全能模态与具身模型会在当前时代交汇。

四、技术基石：表征、生成与架构范式

如果说三条主线回答了“做什么”，那么技术基石章节则回答了“怎么做”。报告将技术栈拆解为三大块：

表征。 核心是如何将音频和视觉信号高效地转化为模型可处理的格式。在大模型语境下，关键问题已从“特征能否对齐”升级为“采用何种分词方式，才能最高效地将音视频信号嵌入大语言模型”。

生成。 报告系统梳理了VAE、GAN、扩散模型、自回归模型、掩码自回归模型五大生成范式的能力边界与组合方式。尤其关注了扩散模型/流匹配的演进、自回归模型在视听领域的进展，以及混合架构的最新动向。

以大语言模型为中心的架构范式。 报告将当前主流的大模型架构归纳为几种典型范式：编码器+大语言模型、大语言模型+生成器、统一的感知-生成模型，以及智能体系统与视觉语言动作模型。这对于工业界构建“音视频版GPT-4o”而言，无异于一份架构选型速查表。

五、应用版图：从内容创作到物理世界

音视频大模型的能力，正在催生一个庞大的应用生态。报告将其归纳为六大方向：

1. AIGC与创意内容。 从视频配音、拟音合成、跨语言唇形同步，到配乐与音画编辑，再到直接生成带原生音轨的短视频场景。

2. 数字人与社交交互。 从2D唇形同步，到3D神经渲染的高保真全身数字人，技术正在不断拉近虚拟与真实的距离。

3. 人本服务。 以音频大模型为核心的对话助手、会议转录、AI教学和无障碍辅助工具，正在提升各类服务的智能化水平。

4. 沉浸式体验与元宇宙。 空间音频推理、视听神经辐射场等技术，结合极低的延迟要求，旨在构建下一代沉浸式交互环境。

5. 具身AI与机器人。 让机器能够通过视听感知进行导航、理解场景并执行操作，是迈向通用机器人的关键一步。

6. 泛在感知与安全治理。 在智慧城市、工业物联网中发挥监控与分析作用，同时其深伪检测、水印与合规技术，也是防范技术滥用的重要盾牌。

六、未来六大研究主轴

报告并未止步于现状梳理，而是前瞻性地提出了六大未来研究主轴。这并非简单的待办事项清单，而是旨在构建将音视频智能与“通用多模态学习”区分开来的结构性能力：

1. 因果事件与声源关联。 在延迟、遮挡、多声源混合的复杂场景下，实现事件级乃至因果可解释层面的音画对齐。

2. 视听世界模型。 将音视频作为理解物理世界几何、材质、动力学和功能的互补证据，其中空间音频推理是关键能力。

3. 长程视听上下文记忆。 构建流式、分层、可选择、可溯源的记忆机制，而非简单延长上下文窗口。

4. 因果干预与可控生成。 实现对物体、声音、身份、情绪、时空关系的局部、因果且同步的编辑与控制。

5. 验证器与奖励生态。 超越FAD、CLIP分数等传统指标，发展面向物理合理性、长程一致性和任务效用的新型评估体系。

6. 交互式与负责任的人工智能。 在低延迟、隐私、版权、数据合规等硬约束下，构建可信赖的实时协作系统。

这六条主轴，每一条都精准对应着工业界正在探索的产品方向，从视频理解搜索、世界模型、长上下文助手，到AI影视后期、质量评估和实时具身智能体。

七、对行业意味着什么

从产业视角看，这份综述提供了几个关键启示：

首先，它提供了一套统一的“研发坐标系”。 无论团队聚焦于视频生成、数字人、多模态助手还是机器人，都能在这张全景图中找到自己的技术定位和相邻技术栈，从而明确技术借鉴与融合方向。

其次，它指明了下一阶段的竞争焦点。 未来的较量不再局限于“能否听或看”，而在于“能否在统一架构下，实现长程推理、原生音画同步生成与实时闭环交互”。GPT-4o、Veo-3、OpenVLA等模型正从不同路径逼近这一目标。

再者，评测体系面临重塑。 传统指标在评估音画同步和音频质量上的局限性已被系统讨论。未来，更注重任务效用、物理合理性与安全可溯源的多元评测体系将成为主流。

最后，安全治理已成为基础设施。 深度伪造防御、版权保护、隐私合规与水印技术，不再是锦上添花，而是产品化部署中不可绕过的核心环节。

对于任何涉足音视频大模型、多模态交互、内容生成或具身智能的团队而言，这份综述都值得深入研读。其配套持续更新的Awesome-A VI资源库，也将成为跟踪领域进展的重要窗口。

来源：互联网