← 新闻追踪

让第二个模型审稿:交叉验证拦截幻觉

来源:業州愚公 | 2026-09-21 02:14:24

作者:業州愚公

业州愚公在《AI 提效实战手册》第 06 篇中提到,老陈使用周报模板快速完成客户周报,但客户回信询问新功能上线时间,老陈才发现自己犯了错误。这个事件凸显了同一模型自我检查的不足,业州愚公因此提出双模型盲审的方法,利用两个模型交叉验证以拦截幻觉和偏误。这个方法包括使用材料治理幻觉和提问治理偏误,业州愚公还提供了一份可参考的审稿提示词和成本适用边界表,以帮助读者改善自己的工作流程。

编辑评论 / Editor's Note

这种双模型盲审的方法可以有效地提高对话系统的准确性和可靠性,减少因为单一模型审查而导致的错误和偏见。通过使用两个不同的模型进行交叉验证,可以更好地检测和纠正错误,从而提高整体的质量和可信度。这种方法对于需要高准确性和可靠性的应用领域尤其重要。

菜鸟之友系列:《AI 提效实战手册》・第 06 篇作者:业州愚公


一、开场:客户回了一封信,问了七个字

老陈上周吃了个闷亏。他用第 05 篇那道周报模板,五分钟把客户周报交出去——格式漂亮、段落规整,他扫两眼就发送了。

半小时后客户回信:「新功能的上线时间,我怎么没听说过?」

那个时间点不在任何材料里。模板的约束栏明明写着「不出现估算数字、没提到的进度一律写进行中」,AI 还是补了一句「预计下周上线」——周报这种文体,天生就期待有人给一个时间点。

老陈犯的错不是用了 AI,是只让同一个 AI 检查自己刚写的东西。他把稿子贴回去问「有没有问题」,模型回他「内容完整、逻辑清晰」——挑不出毛病,因为那句话本来就是它自己写的。

这一篇讲的就是这道工序:检查。 谁来检查 AI?答案不是「换一个更聪明的模型」,而是换一个不知道你希望答案是对的模型。

二、先拆帐:自查为什么几乎等于没查

很多人以为检查是 AI 顺手就能干的活,随口一句「你再看看有没有问题」就当查过了。这一步几乎不花成本,也几乎没作用。原因不复杂:

生成和检查如果同一个模型、同一个对话来做,面对的是同一套偏好、同一个盲区。它写下「预计下周上线」时认为合理,回头再读还是认为合理。它不是不诚实,是它的盲区和它的产出,从同一个地方长出来。

我拿同一份埋了错的稿子做过几种审法(个人实测记录;预埋 3 处事实错误、2 处结论超出证据):

审稿方式 抓到的事实错误 抓到的逻辑问题 单次耗时
同一对话里问「有没有问题」01半分钟
换另一家模型、盲审(只给稿件与原始材料)326 分钟
换模型盲审 + 人回原始出处逐条对3220 分钟

这张表有三件事要看清楚。

第一,同一对话的自查是真的没用,不是运气差。它一句错话都挑不出来,却能挑出一处逻辑问题——逻辑问题是客观断裂,事实问题是它自己造的。

第二,换个模型,结果就变了。不是第二个更聪明,而是它没参与生成,对那句话没有偏爱。

第三,只有最后一行才算真的查过:前两行的「抓到」只是缩小可疑范围,事实错误的定案永远要回到原始出处。

三、两种病,两种药:幻觉和偏误不能一起治

要讲清楚「怎么审」,先得把「审什么」分开。AI 的产出问题是两种病,长得很像,药完全不同。

幻觉(hallucination):说了不存在的事实。 数字、时间、人名、来源、条款都有外部标准答案。它编了一个上线日期、一个不存在的文件名。判断幻觉只有一条路:回原始材料或外部来源找原句,找不到就是幻觉。 模型审不出幻觉——它用的还是「像不像真的」这套标准;只有材料能审幻觉。

偏误(bias):事实没错,取舍歪了。 五条进度只挑三条好的写、把「还在测试」写成「进展顺利」、结论比证据走得更远。挑不出一个假数字,但整篇判断是歪的。偏误没有外部标准答案,只能靠对抗式提问逼出来:问它「如果结论要反过来,你会拿哪几条材料?」

病 长什么样 靠什么拦 谁能定案
幻觉不存在的数字、时间、来源、引用回原始材料逐句对材料与外部来源,不是模型
偏误取舍、措辞、结论超出证据对抗式提问、反向假设人(要懂业务脉络)

一句话记住:幻觉用材料治,偏误用提问治,格式用模板治。 拿「你再检查一下」去治幻觉,等于拿体温计量血压。

四、方法主体:一次盲审的四个规矩

异模型互审不是「把稿子丢给另一家模型问好不好」——那样只会换回一段客气话。要它真的挑错,有四个规矩。

规矩一:盲审,不给生成过程。 只给它三样:待审稿件、原始材料、评分清单。不要给它你的提示词,也不要给它生成模型的解释。它一旦知道你「本来想要什么」,就会照着你的期待去读,审出来还是「挺好的」。

规矩二:隔离材料。 审稿模型拿到的必须是同一份原始材料(报价单、会议纪录、数据表),不是生成模型转述过的版本。转述过一遍,错的东西就被洗白了——第 04 篇老陈贴错报价单那次,栽的是同一件事。

规矩三:要依据,不要意见。 每一条问题后面必须跟一句「依据」:引原始材料的原句,引不到就写「无依据」。这一条把「审稿模型自己也会幻觉」的风险压到可接受的程度——它编的依据你一眼看得出来,它给的意见你看不出来。

规矩四:允许它说「查不到」。 硬逼模型给结论,它就会编。明文写上「查不到依据的请单独列出来」,反而能得到最有用的讯号。

按这四条,审稿提示词照第 05 篇那五段结构来写:

段落 内容(可直接照抄改)
角色你是独立审稿人。立场是「假设这份稿件有错,去把它找出来」,不是「确认它没问题」
输入待审稿件〔贴〕/原始材料〔贴〕/评分清单〔贴〕
约束不得改写稿件;不得补充你自己知道的知识;只允许指出「与原始材料不符」或「原始材料未提及」
输出格式三栏表格:位置|问题类型(事实/逻辑/语气)|依据;引不到原句的一律写「无依据」。最后另起一段列「查不到依据的三处」
自检清单逐条确认:每个判定是否都附了依据;有没有把自己的推测写成事实

一个必须知道的边界:审稿模型也会幻觉。 所以它的结论要分级看——附了原始材料原句的,回去核一下就能定案;给不出依据的只当提示。也别拿第二个模型去审第二个模型的审稿意见,一层套一层,只会得到一堆没有出口的意见。

五、成本与适用边界:不是每篇都值得审

盲审一轮不便宜。以我这边的实测,换一家模型做一轮三栏表式盲审,耗时约是生成本身的四成,费用也在同一量级(以各家官方公告为准)。所以问题不是「要不要审」,而是哪些稿件值得审。

判断标准是两个数相乘:翻车代价 × 发生的机率,高过审稿成本才审。

任务类型 翻车代价 建议审稿层级
对外文件、报价、合约摘要、给客户的周报高(丢单、担责)异模型盲审 + 人回原始出处逐条核
内部草稿、脑暴、自己看的笔记低同模型开新对话自查就够
任何含数字、时间、人名、条款的内容高一律回原始出处,模型审稿不算「查过」
决策建议、方案比较中高异模型做对抗式提问,人做最终裁决
批量改写、格式转换低(错了看得见)抽样审

还有一句话很多人不愿意接受:审稿的最后一哩不能外包。 模型能把可疑处圈出来,把范围从两千字缩到三句;但「这三句对不对」只有你能定案。

六、工具与模型的配置建议

工序 派谁 要点
生成初稿主笔型模型中文语感稳、长文结构不散,与第 05 篇的模板同一套
圈出可疑处与主笔不同家的分析型模型一定要换一家:同一家的模型错误倾向高度重叠,盲区也重叠
事实定案人 + 原始材料(可先让带联网检索的模型筛一遍)模型只负责缩小范围,不负责裁决
偏误审稿分析型模型,用对抗式提问不给生成过程,逼它反向假设
最终发布人高代价任务,人工裁决这一关不能省

第 01 篇讲「不要用一个模型干六种活」,这一篇是它的反向用法——写稿的模型和审稿的模型,最好不是同一个,甚至不是同一家。

七、今天就能做的一个动作

挑一份你最近三天内要发出去、含数字或时间点的稿件。开一个新对话(最好换一家模型),只贴三样:稿件、原始材料,再加这段要求:

假设这份稿件有错,逐条列出来。三栏表格:位置、问题类型(事实/逻辑/语气)、依据;依据必须引原始材料的原句,引不到就写「无依据」。最后列出你查不到依据的三处。

然后只看「依据」那一栏,凡是写「无依据」的回原始材料核一遍,核不实的删掉。这一轮大概十五分钟,换回来的是你不会在客户面前被问一句「我怎么没听说」。

八、写在最后

老陈后来把「客户周报」的流程改了,只在末尾加一步:发送前换一家模型盲审一次。他说了一句挺准的话:「它不是比我聪明,是它不用给我自己面子。」

一个模型写,另一个模型挑——不是因为第二个更聪明,是因为它不知道你希望答案是对的。 检查这道工序花掉的十几分钟,买的不是更漂亮的文字,是你敢把它发出去。

工具推荐随身机器人(新用户免费试用 7 天)

不想每次手动换模型、手动贴材料?SY 视野的「随身机器人」把生成与审稿串成一条流程:一份稿件走完写作与检查两道工序才交到你手上,可疑处会连同依据一起标出来。进入 SY 视野(sylogs.com)开通试用——试用 7 天,先让你最不敢发的那份稿件过一遍。


下一篇预告: 工序有了、模板有了、审稿也有了,但还剩最后一个问题没回答:你到底省了多少? 「感觉快多了」不是答案,第 01 篇那笔帐也只是别人的一天。《提效要能量化:三个指标与一张月度帐本》将给出时间、成本、返工率三个指标的口径与一份可照着填的月度帐本,并点出那些其实在亏本的任务。敬请关注。

业州愚公 | SY 视野(sylogs.com)原创内容,转载请注明出处。