业州愚公提出了一个实用的解决方案，针对外贸朋友的顾虑，关于客户合同和报价单的翻译和润色问题。他建议使用本地安装的开源模型，避免将敏感数据上传到云端服务，从而确保数据的安全性。业州愚公亲自实测了这个方法，从下载到第一句对话只需十五分钟，共使用五个命令，并附上了内存选型对照表和实测对照结果，展示了这个方法的可行性和效率。这个方案可以让用户在自己的电脑上运行AI模型，无需连接网际网络，同时也节省了token费用，有效地保护了敏感数据的隐私和安全。
菜鸟之友系列：《AI 工具实操与提示词》・工具篇作者：业州愚公
有一位做外贸的朋友问我：客户合同、报价单，能不能让 AI 帮忙翻译和润色？我说能。他接着问：那这些文件上传上去，算不算泄密？我一时没答上来。这不是他多心——未公开的合同条款、客户报价、内部财务数据，交给任何云端服务，本质上都是「把数据送出门」。后来我给他的建议只有一条：这类活，别用云端，在你自己电脑里装一个模型。装的工具，叫 Ollama。
「云端 AI 是把数据寄出去；本机 AI 是把工具请进门。数据从头到尾没离开过你的硬盘。」
先说清楚 Ollama 是什么：它是一个在本机运行开源大模型的工具，官方网站是 ollama.com，支持 macOS、Windows 和 Linux。它本身不是模型，而是一个「模型管家」——帮你下载模型、启动模型、提供对话入口。
我自己的使用场景，前后有三个。
第一个是敏感数据。客户合同、还没发布的方案、带真实姓名电话的名单，这些东西贴进任何网页输入框之前，我都会停一下。数据一旦出门，就不再受我控制。本机模型没有这个问题：整个推理过程发生在自己的电脑里，断网照样能跑。
第二个是离线环境。有段时间我常在高铁上改稿，隧道一多讯号就断，云端 AI 直接罢工。本机模型不受影响，网络只是它下载时用一次，之后跑起来完全不需要。
第三个是成本结构。云端 AI 按月订阅、按用量计费，用得越多心越慌；本机模型下载一次之后随便用，没有 token 费用，没有次数限制，深夜批量跑十遍也不会多花一毛钱。
当然，天下没有免费的午餐——免费的代价是你的硬件。电脑要够力，模型才跑得动。这件事第三节细讲。
Ollama 的介面与安装流程以官方最新版本为准。它主要以命令列（终端机）操作，听到「命令列」三个字别慌——真正常用的命令只有五个，下面全部列出。
整个安装过程，动手部分不超过十五分钟。
第一步，到官网 ollama.com 下载对应系统的安装包，双击安装，一路确认即可。第二步，打开终端机（Windows 叫「命令提示字元」或 PowerShell，macOS 叫「终端机」），输入一条命令，Ollama 会自动下载指定模型并进入对话，例如：
```
ollama run qwen3:8b
```
命令里的「qwen3:8b」是模型名称与规格，具体有哪些可选、每个多大，以官网模型页面的最新列表为准。下载完成后，终端机会出现对话提示，直接打字就能聊——此刻你已经在自己电脑里跑起了一个大模型。
日常真正常用的命令，五个就够了：
- ollama pull 模型名 — 只下载，不进入对话
- ollama run 模型名 — 下载（若未装）并进入对话；输入 /bye 退出
- ollama list — 列出本机已下载的所有模型
- ollama ps — 查看目前正在占用内存的模型
- ollama rm 模型名 — 删除不需要的模型，腾出硬盘
模型文件动辄几 GB 到几十 GB，下载前先确认两件事：硬盘剩余空间够不够、网络是否稳定。下载中断了重跑同一条命令即可续传，不用从头再来。
新手在本机模型上最容易摔的跤，不是不会装，而是下载了一个电脑扛不动的模型，跑起来半天挤不出一个字。
挑模型的逻辑很简单：模型名称里的数字带「b」（billion，十亿），代表参数量级，大致决定了它需要多少内存。Ollama 发布的模型默认是量化版本（把原始模型压缩、以换取更低的硬件门槛），所以需求比论文里的原始标称低不少。一张量级对照表放在这里：
| 参数量级 | 可用内存大致需求 | 适合的活 | 代表模型家族 |
|---|---|---|---|
| 3b～4b | 约 3～4GB | 短句翻译、简单问答、润色单段 | Qwen 小尺寸、Gemma 小尺寸 |
| 7b～8b | 约 6～8GB | 日常摘要、改写、翻译整段 | Llama、Qwen、DeepSeek 蒸馏版 |
| 14b | 约 10～12GB | 结构化写作、程序码初稿 | Qwen、Gemma 同级尺寸 |
| 32b 以上 | 16GB 起跳，最好有独立显卡 | 较复杂的分析与长文写作 | Qwen、DeepSeek 同级尺寸 |
再说家族怎么挑。Llama 是 Meta（Facebook 母公司）的开源系列，生态最广；Qwen（通义千问）出自阿里巴巴，中文表现普遍是开源模型里的第一梯队，中文使用者建议优先试它；DeepSeek 的同名系列偏重推理；Gemma 是 Google 的轻量系列；Mistral 则是欧洲团队的代表作。这些全是公开可查的开源模型，具体每个家族当下最新的版本与规格，下载前往官网模型页看一眼标示即可。
我的 16GB 内存笔电，日常放一个 8b 级模型，摘要、翻译、改写都够用；想要更聪明一点，再换 14b，速度换质量，自己取舍。
表中内存数字是量级参考，不是精确门槛。每个模型在 Ollama 官网页面都标有实际文件大小，下载前拿它对照自己机器的可用内存，比任何攻略都准。
装好之后我腾出一个下午做对照测试，同一批任务分别交给本机 8b 级模型和常用的云端旗舰模型。结果不意外，但值得如实记录：
| 任务 | 本机 8b 级模型 | 云端旗舰模型 |
|---|---|---|
| 合同条款中英互译（整段） | 基本可用，专业术语要自己把关 | 更稳，术语处理明显更好 |
| 三千字会议记录摘要 | 结构完整，要点不缺 | 更精炼，取舍更聪明 |
| 邮件、通知润色 | 完全胜任 | 完全胜任 |
| 跨段落推理、复杂程序码除错 | 吃力，偶尔一本正经地说错 | 明显更强 |
| 离线环境可用性 | 满分，断网照跑 | 归零，断网即罢工 |
| 数据是否离开本机 | 不会 | 会（上传至服务商） |
结论藏在最后两行：本机模型的价值从来不是「比云端聪明」，而是「数据不出门」和「断网照样干」。我的分工法则因此很简单——敏感数据配轻量活，交给本机；难活、要创意的活，交给云端。两条腿走路，谁也不取代谁。
光在终端机里打字对话，体验确实原始。三个进阶动作做完，它才算真正融入日常。
第一，接一个顺手的前端。Ollama 装好后，会在本机自动开一个 API 服务，默认位址是 http://localhost:11434（以官方文件为准）。像 Chatbox、Open WebUI 这类支持 Ollama 的桌面或网页前端，在设置里填上这个位址就能连上，之后就是熟悉的聊天视窗介面，历史对话、多会话管理一应俱全。这一步做完，体验直接翻倍。
第二，用 Modelfile 定制专属角色。Ollama 支持透过 Modelfile 文件设置系统提示词和参数，把「你是一个严谨的合同翻译，输出前先列术语表」这类固定要求写进去，做成一个自订模型。之后每次启动，它天生就带着这套规矩，不必每次重新交代。具体写法以官方文件的最新说明为准。
第三，定期用 ollama rm 清理。试模型的手痒停不下来，硬盘会诚实地替你记帐。三个月看一次 ollama list，三个月没用过的模型删掉，需要的时候重新下载就是，文件又跑不掉。
两个使用体感：一是每次对话开始，模型要先载入内存，旧电脑等上十几秒是正常的，不是卡死；二是笔电跑模型发热明显，长时间使用建议插电、注意散热。
写到这里，安装、选型、实测、进阶四件事都交待完了。回到开头那位朋友：后来他把合同翻译的活全部搬到了自己的笔电上，云端 AI 只用来查数据、写创意。用他的原话说，「数据不出门，心里踏实，睡得着」。这大概就是本机模型最朴素的卖点——它不见得更聪明，但它绝对更让人放心。
工具推荐随身机器人（新用户免费试用 7 天）
把常用提示词、工作流程装进口袋，随时调用——本机模型管数据安全，随身机器人管效率，搭配使用互不耽误。新用户免费试用 7 天，不合适随时退。
下一篇预告： 同一句提示词，有人生成大师级海报，有人只得到一团糊涂涂——差距不在运气，在提示词的结构。下一篇拆解 Midjourney 的图像提示词写法：主体、风格、构图、参数，四件套怎么排。
业州愚公 ｜ SY 视野（sylogs.com）原创内容，转载请注明出处。
编辑评论 / Editor's Note
近年来，云端AI的应用越来越广泛，但对于一些机敏的企业数据，使用云端AI可能会存在安全隐忧。因此，将AI模型装进自己电脑可以有效解决这个问题，同时也能够节省token费用。这种本机部署的方法不仅能保证数据的安全，也能让使用者在断网的情况下仍然可以使用AI模型。