AI为什么一本正经地胡说八道？temperature采样机制拆开讲讲

上周我妈发来一张截图，是她跟某个AI助手的对话。她问："炖排骨放多少盐合适？"AI回了一大段，什么"根据2025年的膳食指南""每公斤排骨建议12到15克"，条理清晰，语气笃定，结尾还贴心地提醒"孕妇和儿童请减量"。我妈问我："这准吗？"我说你按自己口味放就行，别太当真。她挺困惑："它说得这么肯定，怎么会不准？"

这个困惑特别典型。AI的回答为什么总是那么笃定？答案藏在它生成文字的机制里。

先搞清楚一件事：大模型不"知道"答案，它只负责"猜"下一个词。从底层看，大模型的工作方式简单得有点枯燥——给定前面已经生成的文字，预测下一个可能性高的词是什么，接上去，再预测下一个，不断重复，直到拼出一整段回答。它内部存的是海量参数，参数里压缩着训练数据的统计规律，而不是一本事实手册。你问它"唐朝建立于哪一年"，它不是在翻书，是在计算"618"这个数字出现在"唐朝建立于"这几个字后面的概率有多高。

那"胡说八道"是怎么冒出来的？关键就在"猜"这个动作的执行方式。如果每次都选概率靠前的那个词，生成结果会非常死板——同一句话翻来覆去，像复读机，还容易陷入循环。为了让回答更自然、更多样，模型生成时引入了"采样"：按概率分布去抽取，高概率的词被抽中的机会大，低概率的词也有机会冒头。这份随机性，就是AI偶尔冒出离谱内容的源头。

决定"放飞程度"的参数，出场率很高的就是temperature（温度）。它的作用是调整概率分布的形态。把它调低，分布被压得尖锐，高概率的词几乎被锁定，回答保守、稳定，代价是可能显得干巴巴。把它调高，分布被摊平，低概率的词冒头的机会变大，回答变得跳脱、有想象力，也更容易跑偏。不少应用在背后会把温度设在一个偏保守的值，比如0.3到0.7之间，就是为了在"自然"和"可靠"之间找平衡。

跟temperature经常一起出现的，还有个叫top-p的参数。它会先按概率从高到低给候选词排队，只保留概率总和达到某个阈值（比如0.9）的那批词，然后在这批词里采样。作用是剔掉概率太低的"尾巴词"，让回答更稳。可以这么记：temperature管的是整体松紧度，top-p管的是划掉太不靠谱的选项。

说到这儿你会发现一个不算愉快的事实：出错是这种架构的固有属性。模型优化的目标是"说出像人话的内容"，不是"说出正确的内容"。训练数据里本身就有错误和偏见，模型的权重会照单全收；碰到训练数据里很少出现的问题，它没有可靠依据，只能从统计规律里硬凑一个"听起来合理"的答案。所以它越自信，不代表越有把握——那份"自信"只是语言模型训练出来的口吻，跟事实没有任何绑定关系。

知道这些之后，怎么跟它相处？日常闲聊可以放开用，但关键信息别只信一次：涉及数据、法规、引用的时候，把AI的回答当线索而不是结论，去原始来源核对一遍。要在严肃场景里用的话，把温度调低，要求它给出依据，有条件就接上检索（RAG），让答案生成之前先去资料库里找证据。还可以在提示里明确"不知道就说不知道"，能挡掉一部分硬编。

回到我妈那锅排骨。AI给出的"12到15克"不是查出来的，是"猜"出来的——猜得合情合理，跟大多数人做饭的经验吻合，所以听起来格外可信。它不是故意骗人，只是它的本性就是用像人话的方式接话。明白了这一点，再用AI，心里就有一杆秤了：它的话可以听，但得知道话是从哪来的。