业州愚公撰写的文章《AI 工具实操与提示词》工具篇中提到，一些读者在使用本机模型时遇到问题，尽管模型跑起来了，但它不认识硬盘里的文件，尤其是当文件数量庞大时，模型的上下文限制和内存容量不足导致了这个问题。为了解决这个问题，作者介绍了 AnythingLLM 的应用，它可以将文件切成索引，并根据问题捞取相关内容，甚至附上原文引用，全程在本机运行，不需要将文件上传到云端。这样，使用者就可以轻松地建立一个私人数据库，随时随地查询自己硬盘里的文件内容。
菜鸟之友系列：《AI 工具实操与提示词》・工具篇作者：业州愚公
LM Studio 那篇写完，有读者问到点子上了：模型是跑起来了，可我手上一叠合约、一柜子报告，难道要我一份份贴进对话框？
问题就出在这。本机模型的上下文就那么长，几十页文件塞进去，它只记得头尾；塞更多，内存先撑不住。而且每次开新对话，上一轮喂的东西就全忘了。你缺的不是更强的模型，是一个替你记住文件、问到哪查到哪的中间层。
AnythingLLM 做的就是这件事。它是一个开源的免费应用，Windows、macOS、Linux 都有安装包，把「导入文件、建立索引、对着文件问答」整条流程装进一个视窗。文件存在你电脑上，模型也在你电脑上跑，整个来回不出本机。
先照例交代：按钮位置、选单名称各家版本改得勤，以官方最新版本为准。下面讲的是功能和思路，这些是稳的。
到这一篇，「本机 AI 三件套」就凑齐了。三个工具各管一段，先摆张表理清分工：
| 工具 | 管什么 | 一句话定位 |
|---|---|---|
| Hugging Face | 模型从哪来 | 开源模型的仓库，去那里找文件 |
| LM Studio / Ollama | 模型怎么跑 | 图形介面或终端机，把模型载起来对话 |
| AnythingLLM | 文件怎么记 | 建立私人知识库，让模型对着「你的数据」回答 |
看得出来它们不抢戏：AnythingLLM 本身不造模型，它站在模型后面，管「记忆」这一段。专业上这套做法叫 RAG——检索增强生成，白话讲就是先从你的文件里捞出相关段落，再让模型照着段落回答。模型没变聪明，是开卷考试了。
官方网站下载桌面版，装完第一次启动，通常会让你做两个选择。
第一个选择是语言模型用谁的。它内建了本机模型提供者，可以直接在应用里下载模型跑；也可以指向 Ollama 或 LM Studio——如果你跟着前两篇已经把模型跑起来了，填一个本机位址就能借用，不必重复下载。想省事就用内建的，想省硬盘就用现有的，两条路都通。
第二个选择是嵌入模型用谁的。这个词新手听着陌生，作用其实简单：要把文件变成「能被搜索的索引」，得先把每段文字转成向量。它自带了一个小嵌入模型，默认就能用，初学不必纠结，直接下一步。
默认的向量数据库也是内建的，全部自动配置。这正是我推荐它给新手的原因：同样的事用开源框架自己搭，要装数据库、写脚本、调参数；它把这些全藏起来了。
机器吃紧的话有个规律可记：对话靠大模型，索引靠嵌入模型，前者重、后者轻。所以卡顿通常出在问答那一步，而不是建立索引的时候。
它的核心概念叫工作区（Workspace），你可以理解成一个个文件柜。每个工作区挂自己的文件、有自己的对话纪录，回答时只翻自己柜子里的数据。
这个设计比看起来有用得多。假设你手上有三堆东西：公司内部制度、自己的读书笔记、某个项目的合约。混在一个柜子里，问「离职要提前几天申请」，它可能从读书笔记里捞段不相干的话拼给你。分开三个工作区，答案的范围就锁死了。
我的建议是按「谁会来问」分柜，而不是按文件类型。给自己用的一柜、要给同事查的一柜，宁可多开几个小的，不要塞一个大的。
实际操作就三步。先把文件拖进应用里——PDF、Word、纯文字、CSV 这类常见格式都吃；不少版本还能贴网页连结、抓视频字幕，具体支持清单以官方最新版本为准。
第二步是嵌入：它把文件切成小段，算好向量存进索引。几十页的 PDF 通常几十秒到一两分钟。这一步做完，文件就从「一份文件」变成「可检索的知识」了。
第三步是把处理好的文件搬进工作区。上传区和各工作区是分开的，同一份文件可以搬进多个柜子共用，不必重复上传。
这里藏着一个新手最容易误会的点：文件搬进去之后，模型并不是「读完了这份文件」。它只是把文件切块建了索引，等你发问时，按问题捞出最相关的几段塞给模型看。所以查单点问题它很灵，要它「总结整份文件」,捞出来的段落未必够全——想让它通读，得换问法，下面第六节细讲。
同一份文件，问法不同，准头差很多。实测下来的规律是：问题越具体、指向越明确，捞出来的段落越对。
| 问法 | 实测效果 | 原因 |
|---|---|---|
| 「这份文件讲什么？」 | 常只概括开头几段 | 只捞到最相似的一小块 |
| 「文件里关于付款条件的部分是怎么写的？」 | 准 | 关键词明确，捞得对 |
| 「第三条和第七条有冲突吗？」 | 要看运气 | 得指望两段都被捞中 |
| 先问「这文件分哪几部分」，再逐部分追问 | 最稳 | 相当于人工导航，步步命中 |
它还有一个我认为是杀手级的功能：回答附引用。每个回答会标明是从哪份文件哪一段捞来的，点开能看到原文。这对付「模型瞎编」特别管用——答案对不对，滑鼠点一下就核实了。养成看引用的习惯，你对它的信任才立得住。
回答有引用、引用有原文，不等于它不会错。捞错段落、概括跑偏的情况都遇过。涉及合约金额、日期、数字这种一个字都不能错的内容，引用点开对照原文这一步不能省。
第一，扫描版 PDF 喂不动。 页面是图片、选不了字的 PDF，切不出文字，建出来的索引就是空壳。这种文件先转成可选中的版本再喂，或者 OCR 过一遍。
第二，以为文件越多越聪明。 塞几百份文件进去，准确率反而被不相干的内容稀释。宁可一个工作区只放一个主题的数据，用柜子的数量换答案的干净。
第三，把它当成文件本身。 它是检索工具，不是存档备份。重要的还是原始文件，索引坏了、想重建，原始档在手里随时重来。
第四，问最新动态。 它只认识你喂过的文件，文件里没有的它不知道。问「最近有什么新规定」，得先把新文件喂进去，或者直接用联网检索的工具。
三种人最该装：手上有不能外流的材料（合约、案卷、学生或客户数据），云端 AI 用不放心；要反覆查问同一批文件（几百页的招标文件、产品手册），翻页翻到眼花；或者就想搞懂 RAG 到底是怎么回事——它是最便宜、最完整的教材。
装完别急着建大库。挑一份你熟悉到能默写要点的文件，喂进去问十个问题，看它捞得准不准、引用对不对。你心里有底才知道这工具的斤两，这比任何教学都实在。
傍晚我把上个月那叠合约扫描件一份份拖进去，索引条跑完，随口问了一句保固期。它答完，引用框里躺着原文那一页。我盯着那行引用看了几秒——原来「让 AI 读你的文件」拆开来，就是这么朴素的一件事。
工具推荐随身机器人（新用户免费试用 7 天）
工作区怎么分、模型选多大、问答总捞不对段落怎么调——这些拿不准的，直接问随身机器人：把你电脑配置和文件情况说清楚，它会给你一套能照着做的搭配。新用户免费试用 7 天，先试再说。
下一篇预告： 本机模型每次都要开应用，像不像差个正经入口？下期聊 Open WebUI：给本机模型装一个浏览器里就能用的网页介面，多开对话、管历史纪录，用起来更像个真正的产品。
业州愚公 ｜ SY 视野（sylogs.com）原创内容，转载请注明出处。