# 第4课 AI 怎样看图、听声音 普通话合成配音版，视频约15分钟。逐页稿可用于真人讲解或重新配音。 从菜单、通知和会议录音出发，分清多模态、自然语言处理、文字识别与语音识别，并学会核对关键内容。 ## 学习目标 - 解释多模态支持的输入与输出范围需要分别确认 - 区分文字识别、语音转写与语言理解总结 - 核对照片和录音中的数字、人名、日期与否定词 ## 第1页 AI 生活课 时间 00:00:00 至 00:01:08 大家好，欢迎来到第四课，AI怎样看图、听声音。假设你旅行时拍下一张菜单，想知道哪道菜不辣；或者开完会，想把录音变成一份待办清单。这两个需求看起来都可以直接交给AI，可是它们中间经过的环节并不一样。照片里有什么，字写的是什么，这句话是什么意思，最后应该怎样整理，这是不同的问题。今天我们沿着这些问题，认识四个常见概念。你不需要背英文全称，只要能说清楚每个概念负责哪一步，出现错误时，就更容易知道该检查哪里。我们也会练习把任务拆小：先确认输入内容，再要求解释和总结。这样做不是为了增加操作，而是为了避免一个小小的识别错误，被后面的流畅回答放大。课程结束后，你可以用一张公开通知或一小段允许录制的语音，亲手检查这条过程。 ## 第2页 这一课，你会读懂什么 时间 00:01:08 至 00:02:17 这一课有两个学习目标。第一，认识文字、图像与声音分别可以做什么。第二，分清识别内容和理解、总结内容。比如，一张通知照片上写着周五下午三点，系统把这些字转换成可以复制的文本，这是识别；再从通知中提取活动时间和报名条件，这是语言处理；根据这些条件判断你是否需要报名，又涉及对具体情境的解释。前一步正确，并不能保证后一步一定正确。反过来，后面的解释听起来合理，也不能证明前面的字都读对了。屏幕上的多模态、自然语言处理、文字识别、语音识别，就是这条学习路线上的四个路标。现在可以先记住一个检查方法：当AI给出结果时，问自己，原材料是什么，系统把它变成了什么，我还需要核对什么。接下来我们先到餐厅，看看不同形式的信息怎样共同参与一个决定。 ## 第3页 看菜单、听介绍、看照片 时间 00:02:17 至 00:03:29 你走进一家餐厅，菜单文字写着招牌牛肉，旁边照片里有红色的配菜，服务员又说，这道菜可以少放辣椒。文字告诉你名称，照片提供外观线索，声音补充了做法信息。三种信息互相帮助，但也可能发生冲突。照片红，不一定代表辣；菜单没写花生，也不表示一定没有花生。假如把菜单照片交给AI，再输入一句，请找出标注为素食的菜，它就需要把图像信息和你的文字要求联系起来。这里的关键不是看到一张图就能知道全部事实，而是不同形式的信息可以一起参与处理。做个小判断：仅凭菜品照片，能否确认这道菜不含某种过敏原？答案是不能，照片通常不能提供完整配料和加工信息，需要向餐厅确认。这个例子提醒我们，输入形式增加了，证据的边界仍然存在。下面给这种处理方式一个名字，多模态。 ## 第4页 多模态 时间 00:03:29 至 00:04:50 多模态，是AI处理多种形式信息的能力或设计方式。模态可以简单理解为信息的形式，例如文字、图片、声音或视频。你上传图片并用文字提问，就是一种组合。但支持多模态，不等于每次都要把所有形式放进去，也不等于一个应用同时支持所有输入和输出。有的可以接收图片，却只输出文字；具体范围要看所用模型和应用。我们可以把菜单任务说得更清楚：请先读出这张照片里能看清的菜名和价格，再根据菜单上的辣椒标记列出可能辣的菜；看不清的地方请说明。这样就把直接观察和进一步判断分开了。练习时，可以故意选一张边缘稍微模糊的公开菜单，检查AI有没有把猜测当成确定信息。若价格小数点看不清，正确做法是重新拍摄或人工放大核对，不能因为回答完整就接受。多模态扩展了可处理的材料，却不会自动消除模糊、遮挡和细节判断的困难。接下来，我们把目光从照片转回每天都在使用的语言。 ## 第5页 把日常说法变成可处理的信息 时间 00:04:50 至 00:06:03 朋友发来消息，今天路上太堵，我晚十分钟到。你会抓住迟到和十分钟，也会把它和原来约定的时间联系起来。如果你们约的是下午两点，通常可以理解成大约两点十分到；但如果没有给出原定时间，就不能凭这句话算出具体几点。这就是语言处理里很重要的区别：哪些信息来自原文，哪些来自上下文，哪些根本没有提供。假如请AI把这条消息整理成日程提醒，可以要求它先提取事件和时间变化，缺失的具体时间写成未提供。再看一句话，我可真喜欢堵车啊。字面上有喜欢，实际可能是在抱怨；没有语气和背景，判断就不一定可靠。小练习是问自己，这两句话中的十分钟和喜欢，能否用同样简单的方式理解？答案是不能，数字可以直接提取，态度却可能依赖语境。让计算机处理这些日常语言的技术领域，就叫自然语言处理。 ## 第6页 自然语言处理 时间 00:06:03 至 00:07:26 自然语言处理，常缩写为NLP，是让计算机分析、理解和生成日常人类语言的技术领域。这里的理解，通常指系统能完成某类语言任务，不表示它拥有人的生活体验。任务可以是把消息分成咨询和投诉，提取通知里的时间地点，进行翻译，或者整理一段文字的主要内容。大语言模型是完成许多语言任务的一种方法，自然语言处理的范围更广，并不是所有语言处理系统都是大语言模型。我们来做一个具体练习。原文是，周六上午九点在社区图书室举办旧书交换，参加者请自带两本书。要求提取时间、地点和联系人。时间是周六上午九点，地点是社区图书室，联系人没有提供。即使系统觉得活动通常有负责人，也不应该编出一个姓名。再进一步，周六是哪一天，还需要通知的发布日期等背景。这个练习的价值，在于让我们看见提取与补全之间的界线。下一步，如果通知不是一段可复制的文字，而是一张照片，系统首先还要解决从图像中取出文字的问题。 ## 第7页 把照片里的文字抄出来 时间 00:07:26 至 00:08:34 你在社区公告栏拍下一张通知，回家想把地址复制到导航里。对人来说，可以一边看照片，一边把字敲进手机。对系统来说，也需要从照片中的字形得到文本。这一步关注的是写了什么，暂时还不是通知是否适用于你。比如纸上写着报名截止日期为十月十八日，如果把十八识别成十六，后面的提醒即使写得再体贴，也建立在错误日期上。又比如表格里左边是项目，右边是金额，把相邻两行错配，单个数字可能都认识，整体关系却错了。试着想一想，拍照时什么最有帮助？让文字清晰、页面尽量平整、避开反光和遮挡，通常比反复要求系统更认真有效。若原图中某个字本来就看不清，合理的结果应该保留不确定，而不是补出一个顺口的词。接下来我们就给这种从图像取文字的技术命名。 ## 第8页 文字识别 时间 00:08:34 至 00:09:53 文字识别常写作OCR，是从图像中识别文字并转换为文本的技术。输入可以是照片、扫描件或截图，输出是便于编辑、搜索和复制的文字。处理文档时，它还可能和版面识别配合，保留标题、段落或表格的关系。但识别出字，不等于已经理解了内容。把缴费日期抄出来，与判断你是否应缴费，是两项任务。实际使用时，我们可以先要求，逐行提取这张公开通知的文字，看不清的地方标明不确定，不要补全。拿到结果后，重点核对日期、金额、人名、单位以及不、未、免等改变含义的字。假设原图金额是八十点五零，结果却成了八百五十，省掉一个点就改变了数额，不能只看句子通不通顺。复杂表格还要检查数字属于哪一行、哪个栏目。核对后的文本才适合继续总结。遇到手写字或模糊小字时，人工确认仍然重要。了解了图像到文字，我们再看另一条常见路线，声音到文字。 ## 第9页 把讲话记成文字 时间 00:09:53 至 00:11:02 会议里有人说，明天上午十点开会。你把这句话写下来，原先稍纵即逝的声音就变成了可搜索、可整理的文字。这个转换非常有用，但耳朵听到的内容并不总是清清楚楚。有人离麦克风远，有人同时插话，还有人会在一句话中改变主意，比如先说十点，接着说不对，改成十点半。假如只记录到前半句，文字看起来完整，实际安排却不对。我们做个小练习：听到先不要提交，等确认以后再交，整理成现在提交，可以吗？当然不可以，否定词和条件正是关键内容。录音还涉及场景许可和他人信息，练习时应使用允许录制、不含敏感内容的短语音。你可以自己读一句包含日期、数字和否定词的话，再对照转写，观察究竟错在哪。这个过程不要求专业设备，却能直观说明为什么录下来和记准确是两件事。 ## 第10页 语音识别 时间 00:11:02 至 00:12:22 语音识别，是将人类说话的声音转换为文字的技术，常见缩写是ASR。它负责声音到文本的转换。会议工具里看到的区分说话人、总结重点、提取待办，可能是另外的处理环节，不能因为工具提供了转写，就默认这些任务全部准确完成。口音、噪声、多人同时讲话和专业术语，都可能影响识别。使用会议录音时，可以先检查涉及人名、数字、日期和否定词的句子，再整理结论。尤其要区分建议、决定和待确认。比如有人说，要不下周上线试试，并不等于会议决定下周上线；有人说我回去问一下，也不等于已经获得批准。转写错误可以回听原音纠正，整理错误则要对照上下文，必要时向参会者确认。一个实用请求是，请列出明确决定和待办，并保留相关原句；没有明确负责人的事项不要自行分配。这样可以让你更容易检查依据。下面的问题，会把识别和总结这两个环节放在一起考一考。 ## 第11页 暂停一下，想想这个问题 时间 00:12:22 至 00:13:43 现在请想一想，把录音转成文字，是否就已经得到了准确的会议纪要？你可以先在心里组织两三句话，也可以暂停，用自己的话解释为什么。参考答案是，还没有。转写只是把声音转成文本，既可能出现听错，也没有自动完成对讨论、决定和待办的区分。假设原话是，小王先不要采购，等报价确认。如果转写漏掉不要，总结就可能变成让小王立即采购。即使这句话一个字也没错，整理时遗漏等报价确认，仍然会改变执行条件。因此要先检查关键转写，再检查总结有没有忠实保留条件和状态。对于拿不准的内容，回听对应录音，必要时让相关人确认。你若回答了要核对文字，就抓住了第一层；若还能补上区分建议与决定、确认负责人和时间，就抓住了第二层。我们的目的不是得到一份看起来像纪要的文本，而是让它准确反映这次会议真正说清楚的事情。 ## 第12页 这一课，记住这些就够了 时间 00:13:43 至 00:15:00 这一课记住四句话。多模态让系统处理多种形式的信息，但支持哪些形式需要具体确认。自然语言处理覆盖提取、分类、翻译、总结和生成等语言任务，大语言模型是其中一种方法。OCR把图片里的文字转换成文本，语音识别把讲话转换成文本，而文本仍然需要核对和整理。把它们串起来看，一张通知可以先提取文字，再整理时间地点；一段会议录音可以先转写，再归纳决定和待办。每一环节都有自己的错误可能。今天的课后练习很小：选择一张不含个人信息的公开通知，先让AI抄文字，检查日期和数字，再请它提取信息，看看有没有补上原文没有说的内容。你能指出哪一步是识别、哪一步是语言处理，并说明为什么需要人工核对，就已经掌握了本课重点。下一课，我们会用资料柜和开卷考试，理解知识库与检索增强生成，看看AI怎样找到可以参考的资料。