AI视频实用教程：多人对口型制作全攻略

一段关于虚拟偶像MV的实战经验分享已经引起不少关注，相信很多朋友已经开始上手尝试了。

当时评论区有个问题很普遍：对口型怎么解决？

说实话，早期阶段，基本是靠“抽卡”——疯狂生成素材，然后逐帧核对，剪辑出与歌词勉强匹配的片段。仔细看，口型对不上的问题依然存在。

不过最近，工作流得到了关键升级。借助Seko，这个问题被彻底解决了。拿成片来说，制作时间缩短到原来的三分之一，效果反而更上一层楼。

更新版本的教程这就奉上。

最近Seko又进行了一次重要升级：支持同一画面内三人对口型，还上线了分镜画布，图像修改功能也更顺手了。

先用一个男女对唱MV做了测试，社群中的反馈也很好。

这篇教程以男女对唱MV案例为主线，复杂度更高，能覆盖的操作细节也更多。虚拟偶像MV 2.0的提高技巧在第二部分，可以直达。

直接进入主题，保姆级教程启动。

男女对唱MV

今天重点讲解如何用Seko为已生成的音乐配画面。

工作流分为几个环节：确认主体—将主体与歌词输入Seko—确认分镜—用Seko对口型—生成其他素材—导出视频—在编辑器中进行二次调整（调整画面顺序、对音轨、加转场和字幕）。

如果没有现成的主体，可以尝试这样给Seko下指令。

在Seko中做视频有两种方案：

一是选择画风而不指定主体。这种方式全程依赖文生图，一致性容易发散，不太适合长视频。

二是固定主体，不选画风。视频会严格按照参考主体生成，保持高度一致性，但主体素材质量不佳时，会直接影响最终效果。

Seko的生图模型在角色塑造上表现不错。按照指令选择画风并贴上歌词后，策划页面自动生成了合适的男女主角。

这一步并非必须。如果有现成的主角设定图，可以直接创建主体。

回到Seko首页，创建这两个主体并更新提示词，代入主角来生成视频。

点击发送后进入策划页面。Seko会自动设定美术风格、场景、音乐风格，并按歌词内容批量生成几十个分镜。

这里有两个检查要点：

一是确认配音角色和台词是否已去除。AI有时会漏掉这部分指令，可以在左下角窗口发指令要求去掉。

二是对于设置了主体的策划案，可以在生成分镜前选择生图模型。制作成片时选了即梦4.0，还有Nano、Seko IDX、Flux.1 Kontext Pro可选，可以根据兴趣自行尝试。

将整首歌的歌词贴入，时长2分钟，Seko直接生成了77个分镜。分镜数量越多，后期可选的画面空间就越大。

实际视频只做了半首歌，但多贴歌词就能获得更多相关画面，省去了自己写提示词和反复抽卡的时间。

进入视频编辑器后，每个分镜目前都是图片形式。系统有时会自动生成字幕，如果上一步没去掉配音，这里也会有配音，可以分别关闭字幕和配音。

接下来检查图片是否需要修改。比如这一张，女主的脸上有光斑需要去除，可以点击画布编辑。

对局部不满意的地方进行涂抹消除。

还支持局部重绘、元素添加、裁剪，想改什么改什么。

也可以直接调整提示词重新生成。

为了方便大致对齐音轨，可以将已生成好的歌曲上传。注意，目前只支持上传5MB以下的音频文件。网上有很多在线压缩网站，基本都是免费的。

接下来开始操作对口型。这里用到的是商汤自研的对口型模型SekoTalk。

在图片分镜上方有对口型功能选项，进入编辑页面后，将这段视频对应的音频片段剪出，上传并添加描述，然后生成视频。

多人对口型操作类似：选择一幅两人同框对唱的画面，分别上传两人的演唱音频，在音轨中调整顺序。

对于不需要对口型的视频，确认分镜素材没问题后，可以在左侧点击【转视频】。Seko会自动根据分镜内容写好视频生成提示词，还可以在这一区域调整视频长度和生成模型。

重复上述步骤，操作完所有分镜素材并转成视频，导出后与原音轨对齐时间轴，调整画面顺序、添加字幕和转场动画，双人对唱MV就制作完成了。

虚拟偶像MV 2.0

在探索完双人对唱玩法后，开始对虚拟偶像MV进行升级。

整体步骤相同，这里分享四个进阶技巧。

1、引入单人多视角多图

之前的教程已经讲解了如何生成高一致性的人物图片素材。用Midjourney生成原创偶像角色后，再利用Nano获得不同角度的素材：正面特写、侧面半身、全身。

观察到Seko带主体的生成逻辑是图生分镜再生成视频，想到可以给单人角色提供不同角度的素材，以丰富画面分镜视角。这些素材都是用Nano跑出来的，本身具有一致性基础，整个视频就能保持高度一致。

与之前一样，创建主体并在提示词中引用。

注意，全身素材质量不高时，比如有些模糊、人只占据画面十分之一，会导致后续全身视频质量下降。因此，原始素材尽可能使用主体占据更高画面比例的高清素材。

2、对口型时加入细节描述

页面上虽标注选填，但在这里添加描述是有效的。这样可以让头发飞舞起来。

3、对视频片段加速

导入视频编辑软件二次加工时，可以对选定片段加速。根据画面与歌词卡点，通常加到1.5倍到2倍速。有时AI运镜较慢，加速后效果更自然逼真。

4、使用更多的分镜切换

在Seko中生成单一画面默认时长为5秒。做唱跳MV时，频繁切换运镜会更有动感，需要更多素材填充。既可以像之前那样多输入歌词，从后面找合适素材填充前面的片段，也可以在Seko中再开一个项目，用相同的提示词同步生成分镜，大幅提升视频制作效率。

写在最后

在撰写这篇文章的前一天，Veo3.1发布，OpenAI也推出了更强的Sora2。

刚开始看到这些效果时，确实有些焦虑——做MV这个选题会不会显得尴尬？

但跑完案例后意识到，完全不会。工作流和教程依然有价值。

目前，自动生成视频的上限是25秒，在官方渠道需要开通200美元一个月的ChatGPT会员才能运行。想用这两个模型为指定歌曲配MV基本不可能——它们都自带音效，很难与自己的音乐匹配。中文画面生成乱码也是外国模型的老大难问题。

而Seko现在这套视频Agent方案，接入多家生图模型与视频模型，以最适合做视频的交互方式组合出现，实实在在地提升了视频制作效率。

今天探索出的这条路径，一定能帮助很多人解决实际问题。

从社群讨论来看，目前各家工具都比较麻烦，一站式平台往往需要不断抽卡再拼接才能得到长视频。但现在，用Seko就能一键生成长视频了。

当然，要想获得更好的效果，还需要掌握一些调整技巧，比如今天文章里提到的这些。

目前这样的工具组合，正在将AI漫剧、AI MV、AI短剧的工业化运作一步步推向现实。生产力的变革可能会改变许多人的轨迹。

这也是今天升级MV生成工作流的重要原因。做AI内容，如果不可控、没有实际应用场景，仅仅是自娱自乐是没有意义的。

所以，目标不是成为只会呼喊“xxx发布了很厉害”的博主，而是提供真实、有用的内容。可以慢一点，但希望这些内容具有长期价值。

如果今天的内容也有用，那就太好了。

来源：互联网