多模态 Multimodal

不光能读写文字，还能看图、听声音、生成图片和视频的 AI。"模态"就是信息的样子：文字、图片、声音、视频，各算一种。

也叫：多模态大模型、多模态 AI

不光能读写文字，还能看图、听声音、生成图片和视频的 AI。"模态"就是信息的样子：文字、图片、声音、视频，各算一种。

先知道：大模型

你可能会这样说、这样问

“能不能拍张照片给 AI，让它帮我整理成文字？”

我拍张照片发给豆包，它就能看懂，这就是多模态吗？

对，这是最常见的一种：你给它图片，它用文字回答。反过来，你用文字描述、让它画图（文生图）或者让一张图动起来（图生视频），也是多模态。

是不是所有 AI App 都能看图、出图？

不一定。能不能看图、听语音、出图、出视频，要看这个 App 里用的模型和它做了哪些功能。同一个 App 里，有时还得切到专门的"图像""视频"入口。

打个比方

以前的 AI 像只能发短信的同事，你得把一切都打成字给他；多模态的 AI 像能视频通话的同事：拍给他看、说给他听都行，他还能直接画张草图回给你。

本页有 6 节，点开跳到任意一节

能交给它什么，能拿回什么

对比项	只会文字的 AI	多模态的 AI
你能给它的	打字、粘贴文字	再加上照片、截图、扫描件、语音、视频
它能交回的	一段文字	再加上图片、语音、视频
上班常见的用法	改稿、写纪要	拍手写白板出纪要、截图问报错、拍纸质表格转成电子表格、做海报配图

严格来说

有的产品是一个模型自己就能看图、听声音；有的是 App 把几个专门的模型（看图的、出图的、转语音的）拼在一起。对你来说用起来差不多，但不同功能的效果、次数限制可能不一样。

误区拍照转出来的表格，直接就能用

看图也会认错，手写字、模糊的数字尤其容易错。转完要对着原图核一遍数字，关键的合计自己再算一下。

误区截图里的东西随便发

截图很容易顺带拍进别人的姓名、手机号、聊天记录。发之前先裁掉或打码（见脱敏）。

误区AI 出的图，拿来就能对外发

对外发布要标明是 AI 生成的（见AIGC）；别人的脸和声音，没经本人同意不用；商用前看一眼平台协议。

我拍了一张手写的会议白板照片。请把上面的内容整理成会议纪要，分成结论、决定、待办三部分；看不清的字标"（看不清）"，不要猜。整理完，把你不确定的人名、数字单独列出来，方便我对着照片核。

选择题 · 选一个你觉得最像的

下面哪件事，需要 AI 有"多模态"的本事？

‹ 上一个：知识截止日期 · 入门必懂第 9 / 20 个

也可以看看：大模型、脱敏、幻觉

办公 101 · 第 05 课 · AI 办公实战拍照转表格

办公 101 · 第 06 课 · AI 视觉创作海报、配图、短视频

出处：办公 101 第 01 课、第 05 课、第 06 课课件。最后更新 2026-10-17。