一场一小时会议的录音，AI是怎么把它变成结构化纪要的？拆解语音转文字到摘要生成的全链路
会议室里的录音笔转了整整六十分钟。散会之后，行政同事把音频文件丢进了公司的会议纪要系统，端着杯子回工位了。大约十分钟后，我的邮箱里收到了一份结构完整的纪要：议题分了四块，每块下面列了讨论要点、决策结论、待办事项，连谁说了什么都标得清清楚楚。
过去这份活儿是她本人干，一场一小时会议整理纪要，至少得搭进去半天。现在这十分钟的等待里，真正在干活的是一套AI会议纪要管线——从原始音频到最终那份干净的文档，中间跑了四五道工序。这套管线看着像一个"语音转文字再总结"的黑箱，实际上每一步都有各自的技术难点和取舍。我把这套链路从头到尾拆了一遍，下面按顺序讲。
第一步：语音识别，把声音变成文字
整条管线的入口是自动语音识别（Automatic Speech Recognition，简称ASR）。这一步的任务很直白：把音频流转换成文字。听起来简单，实际做起来，会议场景下的语音识别要面对一堆麻烦。
会议录音不是对着话筒一个一个字说清楚的。多人同时开口、隔着会议桌远距离拾音、有人习惯用手挡着嘴说话、空调和投影仪的散热风扇一直在响——这些因素叠加在一起，声学条件比安静房间里对着麦克风讲话差了好几个量级。以前通用ASR模型在这种条件下识别准确率会掉得很厉害，一句话里错三五个字是常事，整段话的意思都可能被扭曲。
近两年这块进步明显。一方面是端到端语音识别模型的成熟，这类模型不再走"声学模型+语言模型"两段式的老路，而是直接从音频到文字一条线打通，中间环节少了，错误累积也少了。另一方面是训练数据里加入了大量"真实会议场景"的样本，模型对会议室噪声、远场拾音、多人混叠这些情况的适应性好了一个台阶。
但有一个问题ASR自身解决不了：纯语音识别只管"把声音转成文字"，不管"这句话是谁说的"。一场十人会议，录音里混着十个人的声音，如果全部转成一段连续的文字，你根本分不清哪句是老板说的、哪句是实习生提的。这个"区分谁说了什么"的任务，需要另一个专门的技术环节。
第二步：说话人分离，给每句话贴上"说话人标签"
这个环节叫说话人分离（Speaker Diarization），圈里常简写为diarization。它要做的事情是：分析整段音频，把不同人的声音区分开，然后给每一句识别出来的文字标注上"这句话是说话人A说的""那句话是说话人B说的"。
技术原理大致是这样的。模型先对音频做声纹特征的提取——每个人说话的音色、共鸣位置、发音习惯组合在一起，会形成一种可以量化的特征模式，这就是声纹。然后把整段音频按声纹特征聚类，相似的分到一起，最后每个聚类代表一个说话人。
理想情况下，一场十人会议会被分成十个聚类，每段话都有自己的说话人标签。实际操作中，"理想情况"几乎不存在。
最大的麻烦是重叠说话。会议里两个人同时开口是常事，甚至三个人抢着发言也不少见。这种重叠片段的声纹是混在一起的，分离模型很难干净地拆开，要么漏分，要么错分。另一个麻烦是同一个人的声音在不同时段会有变化——讲了一个多小时之后嗓子哑了、情绪激动了语速快了、喝了口水之后音色变了——这些变化会让模型误以为是换了一个人，造成同一人被拆成两个聚类的错误。
这两类错误的后果都挺实际。重叠说话分不清，那段的纪要就会变成"来源不明的混叠文字"，谁说了什么对不上号。同一人被拆成两人，纪要里就会多出来一个根本不存在的"参会人"，分配待办的时候容易张冠李戴。所以这个环节的质量，直接决定了纪要"谁说了什么"那部分的可靠性。
第三步：文本规范化，清理ASR输出的"毛刺"
拿到带说话人标签的逐字稿之后，还不能直接扔给大模型去做摘要。中间有一道容易被外行忽视、但对最终质量影响很大的工序：文本规范化。
ASR输出的逐字稿是"听到什么写什么"的，包含大量口语化的冗余。口头禅（"然后""那个""就是"反复出现）、打断和改口（"我觉得这个方案……不对，换一个思路"）、语气词填充（"嗯""啊""对吧"）、无意义的重复（"很好很好很好"），这些东西在说话时是自然的，落在文字上就成了噪音。如果原封不动塞给摘要模型，模型会把这些冗余当成有意义的信息去处理，输出的纪要就会被这些杂质拖累。
文本规范化做的事是把这些"口语毛刺"清理掉。实现方式可以是规则性的——比如用正则匹配连续出现的填充词然后去掉，也可以是模型性的——用一个小模型做口语到书面语的转换。这一步看着不起眼，但做过和没做过的纪要质量差距很明显。清理之后的文本，模型做摘要时能更准确地抓住实质内容，不会把"然后然后然后"当成需要总结的信息。
这个环节还有一个容易踩的坑：改口的处理。"我觉得方案A更好……不对，方案B，方案B更好"——这种改口在口语里很常见，听话的人自然能理解最终意思是方案B。但如果规范化处理不当，把改口前半句的信息也保留进去了，摘要模型可能会在纪要里同时出现"方案A更好"和"方案B更好"两个互相矛盾的结论。处理改口的逻辑，目前还没有统一标准，各家做法不一。
第四步：大模型摘要，从逐字稿到结构化纪要
前面三步的产出是一份干净、带说话人标签的逐字稿。接下来才是整条管线里关注度最高的环节——用大语言模型把这份逐字稿变成结构化的会议纪要。
这一步的核心不是模型本身的能力，而是提示词的设计。同样是拿一份逐字稿去问大模型，提示词设计得好和差，输出的纪要质量天差地别。一个好的提示词需要明确告诉模型几件事：纪要的结构是什么（议题、讨论要点、决策、待办），每个部分怎么提取（讨论要点是总结性的不是原文摘录，待办要包含负责人和截止时间），说话人信息怎么保留（纪要里要不要标注每条意见是谁提的），以及输出的格式要求（Markdown还是纯文本，分几级标题）。
这里面有一个工程上的关键取舍：上下文长度。一场一小时会议的逐字稿，字数通常在一万字到两万字之间，加上说话人标签和格式标记，总长度可能超过一些模型的上下文窗口。解决方式有几种：一是直接用长上下文模型，现在主流模型已经能处理十几万字的输入，一场会议的逐字稿塞得下；二是分段处理，把逐字稿切成几个片段分别做摘要，再合并；三是分层处理，先对整份逐字稿做一个全局摘要，再针对摘要里提到的每个议题，去原文里检索相关段落做细化。
三种方式各有优劣。长上下文模型最简单但成本高，而且超长输入时模型注意力会衰减——开头和结尾的内容记得清楚，中间部分容易漏。分段处理省成本但片段之间的连贯性保不住，可能割裂同一个议题的完整讨论。分层处理质量较好但管线更复杂，实现成本高。目前做得好的产品，往往是几种方式的组合，取各自的长处。
第五步：后处理，把模型输出打磨成最终文档
大模型输出的纪要初稿，通常还需要一道后处理才能变成用户邮箱里那份干净文档。
后处理做的事情包括：格式校验（标题层级是否正确、列表缩进是否一致）、去重（模型有时会在不同议题下重复同一条内容）、一致性检查（同一个人的名字在不同段落是否拼写一致——这听起来荒唐，但大模型确实会出现"张经理"和"张总"指同一人的情况）、待办事项提取验证（检查每条待办是否都有明确的负责人，没有的标红提醒人工确认）。
这一步很多产品做得不够。用户收到的纪要里如果出现"待办：推进XXX事项"，没有负责人也没有时间节点，那就是这一步没做到位。好的后处理会把这种不完整的待办识别出来，要么回溯原文补充信息，要么明确标记"需要人工补充负责人"。
还有一个被频繁吐槽的问题：纪要的"忠实度"。大模型做摘要时，有时会"脑补"逐字稿里不存在的内容。比如逐字稿里只说了"这个方案下周再讨论"，模型可能输出成"会议决定下周三再次讨论此方案"——"下周三"是模型自己编的。这类"幻觉"在会议纪要场景下尤其要命，因为纪要是要拿来做决策依据和任务追踪的，一个编造的细节可能引发一串错误的后续行动。靠谱的产品会在后处理环节加一道"事实核查"——把模型输出的每条关键信息回溯到逐字稿原文里验证，找不到出处的就标记或删除。
管线的短板和未来的方向
拆完这五步，整条管线的全貌就清楚了：ASR转文字、说话人分离贴标签、文本规范化去毛刺、大模型摘要生成、后处理打磨成稿。每一步都有成熟的部分，也都有没解决好的痛点。
目前的短板集中在中段。说话人分离在重叠说话和人数多的场景下还不太稳，直接影响"谁说了什么"的准确性。大模型摘要的幻觉问题，虽然可以通过后处理的事实核查来兜底，但兜底本身也有遗漏率，不可能百分百拦住。分段处理和分层处理的组合方案，在工程实现上还不够成熟，很多产品还是走"长上下文一把塞"的粗暴路线，中间内容遗漏的问题没有真正解决。
往后走，一个比较明确的方向是实时化。现在的管线是"录完整场会再处理"，未来的目标是边开会边出纪要——你讨论到一个议题，系统已经把这个议题的要点实时提炼出来了，散会即出稿。这对每个环节的延迟都提出了更高要求，ASR要流式、说话人分离要在线聚类、摘要要增量更新，每一步的技术难度都上了一个台阶。已经有产品在往这个方向走了，但目前还做不到"实时且准确"的同时兼顾。
另一个方向是交互化。现在的纪要是"AI生成、人类被动接收"的单向流程，未来更合理的形态是"AI生成初稿、人类逐条确认和修正"的交互式流程——系统标出它不确定的地方（这段重叠说话没分清是谁说的、这条待办没提取到负责人），人工只需要处理这些标记，不用从头到尾审一遍。这个方向对产品体验的改进，可能比模型能力的提升更直接。
行政同事后来跟我说，她现在的工作流程变了。以前整理纪要是她的核心任务，现在变成了"审阅AI生成的纪要初稿，重点核实待办事项和决策结论"。同样一小时，以前只够整理一场会的纪要，现在能审五六场。她省下来的时间，花在了会议跟进和协调上——那些本来就应该是她做、但以前没时间做的事。
管线里的每一步都不是完美的，但整条管线拼在一起，确实把一件"耗时但低智力密度"的活儿自动化了。至于纪要质量能不能再往上走一截，瓶颈不在某一步的模型够不够大，而在说话人分离够不够准、幻觉兜底够不够严、交互设计够不够贴合人的工作习惯。这些是工程问题，不是玄学。
