扣子多模态语音+图片输入交互设计实战指南

先交代一个很多人忽略的关键点：想让AI助手同时听懂你说的话、看懂你拍的照片，并把这两者结合起来理解真实意图——比如对着一张模糊的电路板照片问“这个焊点是不是虚焊”——必须先开启【多模态输入支持】开关。否则，上传的语音和图片会被自动过滤掉或者转成干巴巴的文本描述，根本发挥不出多模态的优势。

你大概见过不少这类场景：用户上传一张截图，同时说“帮我看看这个聊天记录里价格改没改”，结果模型要么只回答语音部分、要么只描述图片本身，完全没把两者串到一起。这不是模型能力不行，而是流程配置没到位。

准备多模态输入环境

登录扣子官网，进入工作空间后，点击左侧导航栏的【Bot】→【新建 Bot】，选择【空白模板】。

进入Bot基础设置页，必须确保【多模态输入支持】这个开关已经打开。如果关着，后续上传的一切图片和语音都会被系统静默过滤掉——不是报错，不是提醒，而是直接消失。从实际运行来看，这个开关是很多新手踩坑的第一站，一定要记住。

配置语音与图片双通道接收节点

进入Bot的【工作流】编辑页，先把默认的那个单一开始节点删掉，然后拖入两个并行触发节点。这里有两条路可以走：

方法一：直接用系统预制的双模态入口。点击【+ 添加节点】→【触发器】→选择【多模态输入（语音+图片）】。这个节点会自动生成一个统一的输入槽，用户可以同时上传1张图加1段音频，或者只传其中一种。

方法二：手动组合双触发器。分别添加【语音输入】触发器 和【图片输入】触发器，让他们并列放置。但要特别留心：这时候需要在后续节点用【条件分支】来判断当前到底哪种输入存在。否则，如果用户只传了一张图、没录语音，语音那个路径会一直傻等超时，卡到最后啥也出不来。

关键区别就在这里：预置节点会把语音ASR结果和图像OCR/CLIP特征向量在底层做好对齐融合；手动组合方式下，这两路数据默认互不相干，想对齐还得额外写Python插件做语义匹配。

构建跨模态理解流程

接下来是关键环节。

第一步：连接多模态理解节点。从刚才的【多模态输入（语音+图片）】节点拖线到【大模型节点】，模型建议选【豆包·1.5·Pro·32k】或【Qwen-VL-7B】——后者原生支持图文联合推理，效果上会更稳一些。

第二步：设置输入变量映射。在大模型节点的配置里，把“语音转文字结果”映射到变量 audio_text ，把“图片语义描述”映射到变量 image_caption ，然后手动拼接提示词。举个例子：

“用户语音说：；对应图片显示：。请综合判断真实需求。”

这一步的变量名一定要拼写一致，否则模型就读不到相应的输入，相当于白配。

第三步：启用上下文感知增强。找到【启用多轮模态上下文】选项并勾上。假设用户第一次上传了一张图问“这个焊点有没有问题”，第二次又上传新图说“和刚才那个对比”，这时模型就能自动调取前序图片的视觉特征向量参与本次推理，而不是只靠文字描述去猜。不开启的话，所有图片输入都会被压缩成一句固定格式的AI生成描述，细节纹理、空间关系这些关键信息全丢了。从实践来看，这个开关才是真正决定AI能不能“看图说话”的分水岭。

调试与验证双模态响应效果

点击右上角【测试】按钮，在弹出面板里先点麦克风图标录制3秒语音，再点图片图标上传一张含文字的截图（比如微信聊天记录），然后发送。

观察返回结果：它是不是同时引用了语音中的关键词（比如“虚焊”）和图片中的可视线索（比如“右下角银色焊点发暗”）？如果它只能复述语音或者只能描述图片，说明大模型节点没正确绑定双变量，得返回第二步检查映射字段名是否拼写一致。

需要提醒的是，这一步必须拿真实的音画组合来测试。纯文字模拟触发不了多模态对齐机制，测了等于白测。

来源：互联网