上下文窗口的經濟學：長文檔到底該怎麼餵

菜鳥之友系列：《AI 提效實戰手冊》・第 02 篇作者：業州愚公

一、開場：一份 12 萬字的材料，換來一段誰也不敢用的摘要

老陳這次帶著一個更大的任務來找我。他要寫一份產業觀察，手上有約 12 萬字的材料：三份行業報告、兩份財報節錄、四段訪談逐字稿。

他的做法很直白：全部選中、複製、貼進對話框，然後寫一句「請根據以上材料，寫一份 3000 字的產業觀察」。

結果是——模型寫出來的東西，每一句單看都對，連起來卻像三個人各寫了一篇拼在一起。財報裡的數字和訪談裡的說法互相打架，它兩個都寫進去了，而且都寫得很肯定。他又追問兩次，額度用掉不少，稿子還是不敢用。

他問我：「不是說現在的模型能讀幾十萬字嗎？為什麼我餵了 12 萬字就糊了？」

答案不在模型聰不聰明，而在一個多數人沒算過的帳：上下文是有限的注意力，不是免費的倉庫。

二、先分清三個常被混用的詞

這三個詞每天都在用，但十個人裡有八個把它們當成同一件事。

token：計量的尺，不是字數。 模型是按 token 在讀的，不是按字。中文大致一個字對應一到兩個 token，不同模型的分詞方式不同（換算以各官方公告為準）。你貼的每一段，都按 token 計價、也按 token 佔容量。

context window（上下文窗口）：一次能同時看多少。 它包含你發的加上它回的，不只你貼的那一份。這是容量上限，不是記憶能力——窗口大代表一次能攤開更多頁，不代表它記得你上週說過什麼。

記憶：不餵就不存在。 多數模型本身不帶長期記憶。你覺得「它記得」，通常是產品把歷史對話重新餵了回去——本質還是餵料，只是你沒看見。

把這三個詞分開，後面所有的判斷才站得住。

三、塞得越多，為什麼反而越差

老陳以為 12 萬字是「材料齊全」，實際上是四件事同時發生。

第一，注意力被稀釋。 材料從三千字變成十二萬字，最相關的那一段並沒有變得更顯眼，反而沉了進去。業界對這種現象有個說法叫 lost in the middle——模型的注意力對開頭和結尾比較牢，中間那一段最容易被跳過。你把關鍵數字放在第四萬字的位置，就等於把它放在最容易漏掉的地方。

第二，矛盾資料互相打架。 三份報告來自不同時間，統計口徑不同。你把它們一起餵進去，等於把「該信誰」這個判斷也交了出去。它會挑一個寫，而且不會告訴你它挑了哪個、為什麼挑它。

第三，成本與等待同步上升。 輸入越長，費用越高、等待越久。很多人是月底看到額度見底才反應過來——明明沒問幾句話，怎麼就沒了。

第四，超窗之後是靜默截斷。 超過窗口上限，多數產品不會報錯，只會悄悄丟掉一部分（通常是中間或最早的）。你不知道它丟了什麼，就無法判斷答案有沒有缺角。這是最危險的一條：它不會說「我看不完」，而是照著能看到的部分給你一個很有信心的答案。

四、四種餵法，各有各的場合

餵料不是選一種最好的做法，而是四種做法對應四種任務形狀。

怎麼選？看任務的形狀：

• 一次讀完就交差（五十頁壓成一頁）→ 全塞，前提是總量不超過窗口的一半；超過就分塊。
• 需要逐段處理（校對、翻譯、逐章筆記）→ 分塊，且每塊處理完附一份「本塊要點」，最後用要點合併，補回塊與塊之間斷掉的線。
• 同一份材料要問十次以上 → 摘要中轉，之後每次只餵筆記，加上真正需要的那一小段原文。
• 資料越積越多、要長期用 → 檢索。先記住一句：檢索的品質取決於切得對不對，不取決於模型多強。

五、一份餵料決策樹：四問定案

不用記四種策略的名字，只要按順序問自己四件事。

第一問：一次性用，還是反覆用？ 一次性 → 進第二問；反覆用 → 直接走摘要中轉，材料多到十幾萬字又持續新增，再升級成檢索。

第二問：要整體判斷，還是局部細節？ 整體判斷（總結、對比、找主題）→ 全塞或摘要中轉，重點是讓它先看到全貌；局部細節（查一個數字、核一句話）→ 不要餵整份，定位到那一段再餵。

第三問：材料總量相對窗口有多大？ 小於三分之一 → 全塞。三分之一到一個窗口 → 分塊或摘要。超過一個窗口 → 一定走摘要中轉或檢索，硬塞等於賭它截斷在哪裡。

第四問：錯了貴不貴？ 貴（對外發布、涉及金額與承諾）→ 每一步留原文出處，答案要能指回「哪份材料的哪一段」。不貴（內部草稿）→ 可以放寬，先求快。

四問串起來：一次性還是反覆用、整體還是局部、裝得下還是裝不下、錯了貴不貴。 答完，餵法自己就浮出來了。

六、我自己的一組對照（聲明：不是精密測量）

先說清楚：這是我用同一份約 12 萬字材料、同一個「寫 1500 字摘要」任務、反覆操作多次後的大致區間。是量級參考，不是定論——正解是拿你自己的材料測一遍。

這張表能讀出兩件事：全塞是「看起來最省事、實際最貴」的那一欄——省下貼資料的三十秒，花掉等待與額度；摘要中轉是唯一「越用越省」的做法，第一次的投入攤在之後每一次使用上。另外，時間與額度的最低點不在同一欄：單次最快通常是檢索，長期最省通常是摘要中轉，先想清楚你要省的是哪一種。

七、五個常見的翻車點

1. 把「窗口大」當成「不用管」。 窗口再大也是一個固定的數，而材料會一直長大；習慣不改，翻車只是早晚。
2. 把不同來源的材料混著餵，卻沒交代誰更新、誰更可靠。 它會挑一個寫，寫得很肯定，而你事後查不出它挑了哪個。
3. 一次問五個問題。 五個問題的答案會互相汙染——它在寫第三問時，腦子裡還留著第一問的答案。
4. 貼進去的是從 PDF 或網頁複製的殘缺表格。 表格一錯位，欄位就重排，它算得再準也是照著錯的數字算。
5. 每次都重新餵一遍同一份背景。 這是最大的浪費：材料沒有沉澱成資產，你的額度每個月都在替同一件事付第二次錢。

八、今天就能做的一件事

打開你最近一次「餵了很長資料」的那個對話，做兩個動作就好：

1. 把那份材料分成兩堆：只用一次的，和以後還會反覆用的。
2. 對「反覆用」的那一堆，讓模型先做一件事——不是回答你的問題，而是把它壓成一張 300 字的導讀卡：這份材料講什麼、有哪幾個關鍵數字、哪幾段最常被引用。存下來，放在你能找到的地方。

下次要用時，先餵這張卡，再補上真正需要的那一兩段原文。這一步十分鐘，能讓同一份材料之後每一次使用都便宜一截——順手還解決了「材料放在哪」這個更煩的問題。

九、寫在最後

老陳那天臨走時說：「所以它不是讀不完，是我把整張書桌都堆滿了書，它找不到我要的那本。」

上下文窗口不是倉庫，是書桌。書桌大小決定你同時能攤開幾本書，不決定你該把所有書都搬上來。 提效的第一步不是把資料餵完，而是決定這一輪該攤開哪幾頁。

業州愚公 ｜ SY 視野（sylogs.com）原創內容，轉載請註明出處。