業州愚公撰寫的文章《AI 工具實操與提示詞》工具篇中提到，一些讀者在使用本機模型時遇到問題，儘管模型跑起來了，但它不認識硬碟裡的文件，尤其是當文件數量龐大時，模型的上下文限制和記憶體容量不足導致了這個問題。為了解決這個問題，作者介紹了 AnythingLLM 的應用，它可以將文件切成索引，並根據問題撈取相關內容，甚至附上原文引用，全程在本機運行，不需要將文件上傳到雲端。這樣，使用者就可以輕鬆地建立一個私人資料庫，隨時隨地查詢自己硬碟裡的文件內容。
菜鳥之友系列：《AI 工具實操與提示詞》・工具篇作者：業州愚公
LM Studio 那篇寫完，有讀者問到點子上了：模型是跑起來了，可我手上一疊合約、一櫃子報告，難道要我一份份貼進對話框？
問題就出在這。本機模型的上下文就那麼長，幾十頁文件塞進去，它只記得頭尾；塞更多，記憶體先撐不住。而且每次開新對話，上一輪餵的東西就全忘了。你缺的不是更強的模型，是一個替你記住文件、問到哪查到哪的中間層。
AnythingLLM 做的就是這件事。它是一個開源的免費應用，Windows、macOS、Linux 都有安裝包，把「導入文件、建立索引、對著文件問答」整條流程裝進一個視窗。文件存在你電腦上，模型也在你電腦上跑，整個來回不出本機。
先照例交代：按鈕位置、選單名稱各家版本改得勤，以官方最新版本為準。下面講的是功能和思路，這些是穩的。
到這一篇，「本機 AI 三件套」就湊齊了。三個工具各管一段，先擺張表理清分工：
| 工具 | 管什麼 | 一句話定位 |
|---|---|---|
| Hugging Face | 模型從哪來 | 開源模型的倉庫，去那裡找檔案 |
| LM Studio / Ollama | 模型怎麼跑 | 圖形介面或終端機，把模型載起來對話 |
| AnythingLLM | 文件怎麼記 | 建立私人知識庫，讓模型對著「你的資料」回答 |
看得出來它們不搶戲：AnythingLLM 本身不造模型，它站在模型後面，管「記憶」這一段。專業上這套做法叫 RAG——檢索增強生成，白話講就是先從你的文件裡撈出相關段落，再讓模型照著段落回答。模型沒變聰明，是開卷考試了。
官方網站下載桌面版，裝完第一次啟動，通常會讓你做兩個選擇。
第一個選擇是語言模型用誰的。它內建了本機模型提供者，可以直接在應用裡下載模型跑；也可以指向 Ollama 或 LM Studio——如果你跟著前兩篇已經把模型跑起來了，填一個本機位址就能借用，不必重複下載。想省事就用內建的，想省硬碟就用現有的，兩條路都通。
第二個選擇是嵌入模型用誰的。這個詞新手聽著陌生，作用其實簡單：要把文件變成「能被搜尋的索引」，得先把每段文字轉成向量。它自帶了一個小嵌入模型，預設就能用，初學不必糾結，直接下一步。
預設的向量資料庫也是內建的，全部自動配置。這正是我推薦它給新手的原因：同樣的事用開源框架自己搭，要裝資料庫、寫腳本、調參數；它把這些全藏起來了。
機器吃緊的話有個規律可記：對話靠大模型，索引靠嵌入模型，前者重、後者輕。所以卡頓通常出在問答那一步，而不是建立索引的時候。
它的核心概念叫工作區（Workspace），你可以理解成一個個檔案櫃。每個工作區掛自己的文件、有自己的對話紀錄，回答時只翻自己櫃子裡的資料。
這個設計比看起來有用得多。假設你手上有三堆東西：公司內部制度、自己的讀書筆記、某個項目的合約。混在一個櫃子裡，問「離職要提前幾天申請」，它可能從讀書筆記裡撈段不相干的話拼給你。分開三個工作區，答案的範圍就鎖死了。
我的建議是按「誰會來問」分櫃，而不是按檔案類型。給自己用的一櫃、要給同事查的一櫃，寧可多開幾個小的，不要塞一個大的。
實際操作就三步。先把文件拖進應用裡——PDF、Word、純文字、CSV 這類常見格式都吃；不少版本還能貼網頁連結、抓影片字幕，具體支援清單以官方最新版本為準。
第二步是嵌入：它把文件切成小段，算好向量存進索引。幾十頁的 PDF 通常幾十秒到一兩分鐘。這一步做完，文件就從「一份檔案」變成「可檢索的知識」了。
第三步是把處理好的文件搬進工作區。上傳區和各工作區是分開的，同一份文件可以搬進多個櫃子共用，不必重複上傳。
這裡藏著一個新手最容易誤會的點：文件搬進去之後，模型並不是「讀完了這份文件」。它只是把文件切塊建了索引，等你發問時，按問題撈出最相關的幾段塞給模型看。所以查單點問題它很靈，要它「總結整份文件」,撈出來的段落未必夠全——想讓它通讀，得換問法，下面第六節細講。
同一份文件，問法不同，準頭差很多。實測下來的規律是：問題越具體、指向越明確，撈出來的段落越對。
| 問法 | 實測效果 | 原因 |
|---|---|---|
| 「這份文件講什麼？」 | 常只概括開頭幾段 | 只撈到最相似的一小塊 |
| 「文件裡關於付款條件的部分是怎麼寫的？」 | 準 | 關鍵詞明確，撈得對 |
| 「第三條和第七條有衝突嗎？」 | 要看運氣 | 得指望兩段都被撈中 |
| 先問「這文件分哪幾部分」，再逐部分追問 | 最穩 | 相當於人工導航，步步命中 |
它還有一個我認為是殺手級的功能：回答附引用。每個回答會標明是從哪份文件哪一段撈來的，點開能看到原文。這對付「模型瞎編」特別管用——答案對不對，滑鼠點一下就核實了。養成看引用的習慣，你對它的信任才立得住。
回答有引用、引用有原文，不等於它不會錯。撈錯段落、概括跑偏的情況都遇過。涉及合約金額、日期、數字這種一個字都不能錯的內容，引用點開對照原文這一步不能省。
第一，掃描版 PDF 餵不動。 頁面是圖片、選不了字的 PDF，切不出文字，建出來的索引就是空殼。這種文件先轉成可選中的版本再餵，或者 OCR 過一遍。
第二，以為文件越多越聰明。 塞幾百份文件進去，準確率反而被不相干的內容稀釋。寧可一個工作區只放一個主題的資料，用櫃子的數量換答案的乾淨。
第三，把它當成文件本身。 它是檢索工具，不是存檔備份。重要的還是原始文件，索引壞了、想重建，原始檔在手裡隨時重來。
第四，問最新動態。 它只認識你餵過的文件，文件裡沒有的它不知道。問「最近有什麼新規定」，得先把新文件餵進去，或者直接用聯網檢索的工具。
三種人最該裝：手上有不能外流的材料（合約、案卷、學生或客戶資料），雲端 AI 用不放心；要反覆查問同一批文件（幾百頁的招標文件、產品手冊），翻頁翻到眼花；或者就想搞懂 RAG 到底是怎麼回事——它是最便宜、最完整的教材。
裝完別急著建大庫。挑一份你熟悉到能默寫要點的文件，餵進去問十個問題，看它撈得準不準、引用對不對。你心裡有底才知道這工具的斤兩，這比任何教學都實在。
傍晚我把上個月那疊合約掃描件一份份拖進去，索引條跑完，隨口問了一句保固期。它答完，引用框裡躺著原文那一頁。我盯著那行引用看了幾秒——原來「讓 AI 讀你的文件」拆開來，就是這麼樸素的一件事。
工具推薦隨身機器人（新用戶免費試用 7 天）
工作區怎麼分、模型選多大、問答總撈不對段落怎麼調——這些拿不準的，直接問隨身機器人：把你電腦配置和文件情況說清楚，它會給你一套能照著做的搭配。新用戶免費試用 7 天，先試再說。
下一篇預告： 本機模型每次都要開應用，像不像差個正經入口？下期聊 Open WebUI：給本機模型裝一個瀏覽器裡就能用的網頁介面，多開對話、管歷史紀錄，用起來更像個真正的產品。
業州愚公 ｜ SY 視野（sylogs.com）原創內容，轉載請註明出處。