業州愚公提出了一個實用的解決方案，針對外貿朋友的顧慮，關於客戶合同和報價單的翻譯和潤色問題。他建議使用本地安裝的開源模型，避免將敏感資料上傳到雲端服務，從而確保資料的安全性。業州愚公親自實測了這個方法，從下載到第一句對話只需十五分鐘，共使用五個命令，並附上了記憶體選型對照表和實測對照結果，展示了這個方法的可行性和效率。這個方案可以讓用戶在自己的電腦上運行AI模型，無需連接網際網路，同時也節省了token費用，有效地保護了敏感資料的隱私和安全。
菜鳥之友系列：《AI 工具實操與提示詞》・工具篇作者：業州愚公
有一位做外貿的朋友問我：客戶合同、報價單，能不能讓 AI 幫忙翻譯和潤色？我說能。他接著問：那這些文件上傳上去，算不算洩密？我一時沒答上來。這不是他多心——未公開的合同條款、客戶報價、內部財務資料，交給任何雲端服務，本質上都是「把資料送出門」。後來我給他的建議只有一條：這類活，別用雲端，在你自己電腦裡裝一個模型。裝的工具，叫 Ollama。
「雲端 AI 是把資料寄出去；本機 AI 是把工具請進門。資料從頭到尾沒離開過你的硬碟。」
先說清楚 Ollama 是什麼：它是一個在本機運行開源大模型的工具，官方網站是 ollama.com，支援 macOS、Windows 和 Linux。它本身不是模型，而是一個「模型管家」——幫你下載模型、啟動模型、提供對話入口。
我自己的使用場景，前後有三個。
第一個是敏感資料。客戶合同、還沒發布的方案、帶真實姓名電話的名單，這些東西貼進任何網頁輸入框之前，我都會停一下。資料一旦出門，就不再受我控制。本機模型沒有這個問題：整個推理過程發生在自己的電腦裡，斷網照樣能跑。
第二個是離線環境。有段時間我常在高鐵上改稿，隧道一多訊號就斷，雲端 AI 直接罷工。本機模型不受影響，網路只是它下載時用一次，之後跑起來完全不需要。
第三個是成本結構。雲端 AI 按月訂閱、按用量計費，用得越多心越慌；本機模型下載一次之後隨便用，沒有 token 費用，沒有次數限制，深夜批量跑十遍也不會多花一毛錢。
當然，天下沒有免費的午餐——免費的代價是你的硬體。電腦要夠力，模型才跑得動。這件事第三節細講。
Ollama 的介面與安裝流程以官方最新版本為準。它主要以命令列（終端機）操作，聽到「命令列」三個字別慌——真正常用的命令只有五個，下面全部列出。
整個安裝過程，動手部分不超過十五分鐘。
第一步，到官網 ollama.com 下載對應系統的安裝包，雙擊安裝，一路確認即可。第二步，打開終端機（Windows 叫「命令提示字元」或 PowerShell，macOS 叫「終端機」），輸入一條命令，Ollama 會自動下載指定模型並進入對話，例如：
```
ollama run qwen3:8b
```
命令裡的「qwen3:8b」是模型名稱與規格，具體有哪些可選、每個多大，以官網模型頁面的最新列表為準。下載完成後，終端機會出現對話提示，直接打字就能聊——此刻你已經在自己電腦裡跑起了一個大模型。
日常真正常用的命令，五個就夠了：
- ollama pull 模型名 — 只下載，不進入對話
- ollama run 模型名 — 下載（若未裝）並進入對話；輸入 /bye 退出
- ollama list — 列出本機已下載的所有模型
- ollama ps — 查看目前正在占用記憶體的模型
- ollama rm 模型名 — 刪除不需要的模型，騰出硬碟
模型檔案動輒幾 GB 到幾十 GB，下載前先確認兩件事：硬碟剩餘空間夠不夠、網路是否穩定。下載中斷了重跑同一條命令即可續傳，不用從頭再來。
新手在本機模型上最容易摔的跤，不是不會裝，而是下載了一個電腦扛不動的模型，跑起來半天擠不出一個字。
挑模型的邏輯很簡單：模型名稱裡的數字帶「b」（billion，十億），代表參數量級，大致決定了它需要多少記憶體。Ollama 發布的模型預設是量化版本（把原始模型壓縮、以換取更低的硬體門檻），所以需求比論文裡的原始標稱低不少。一張量級對照表放在這裡：
| 參數量級 | 可用記憶體大致需求 | 適合的活 | 代表模型家族 |
|---|---|---|---|
| 3b～4b | 約 3～4GB | 短句翻譯、簡單問答、潤色單段 | Qwen 小尺寸、Gemma 小尺寸 |
| 7b～8b | 約 6～8GB | 日常摘要、改寫、翻譯整段 | Llama、Qwen、DeepSeek 蒸餾版 |
| 14b | 約 10～12GB | 結構化寫作、程式碼初稿 | Qwen、Gemma 同級尺寸 |
| 32b 以上 | 16GB 起跳，最好有獨立顯卡 | 較複雜的分析與長文寫作 | Qwen、DeepSeek 同級尺寸 |
再說家族怎麼挑。Llama 是 Meta（Facebook 母公司）的開源系列，生態最廣；Qwen（通義千問）出自阿里巴巴，中文表現普遍是開源模型裡的第一梯隊，中文使用者建議優先試它；DeepSeek 的同名系列偏重推理；Gemma 是 Google 的輕量系列；Mistral 則是歐洲團隊的代表作。這些全是公開可查的開源模型，具體每個家族當下最新的版本與規格，下載前往官網模型頁看一眼標示即可。
我的 16GB 記憶體筆電，日常放一個 8b 級模型，摘要、翻譯、改寫都夠用；想要更聰明一點，再換 14b，速度換質量，自己取捨。
表中記憶體數字是量級參考，不是精確門檻。每個模型在 Ollama 官網頁面都標有實際檔案大小，下載前拿它對照自己機器的可用記憶體，比任何攻略都準。
裝好之後我騰出一個下午做對照測試，同一批任務分別交給本機 8b 級模型和常用的雲端旗艦模型。結果不意外，但值得如實記錄：
| 任務 | 本機 8b 級模型 | 雲端旗艦模型 |
|---|---|---|
| 合同條款中英互譯（整段） | 基本可用，專業術語要自己把關 | 更穩，術語處理明顯更好 |
| 三千字會議記錄摘要 | 結構完整，要點不缺 | 更精煉，取捨更聰明 |
| 郵件、通知潤色 | 完全勝任 | 完全勝任 |
| 跨段落推理、複雜程式碼除錯 | 吃力，偶爾一本正經地說錯 | 明顯更強 |
| 離線環境可用性 | 滿分，斷網照跑 | 歸零，斷網即罷工 |
| 資料是否離開本機 | 不會 | 會（上傳至服務商） |
結論藏在最後兩行：本機模型的價值從來不是「比雲端聰明」，而是「資料不出門」和「斷網照樣幹」。我的分工法則因此很簡單——敏感資料配輕量活，交給本機；難活、要創意的活，交給雲端。兩條腿走路，誰也不取代誰。
光在終端機裡打字對話，體驗確實原始。三個進階動作做完，它才算真正融入日常。
第一，接一個順手的前端。Ollama 裝好後，會在本機自動開一個 API 服務，預設位址是 http://localhost:11434（以官方文件為準）。像 Chatbox、Open WebUI 這類支援 Ollama 的桌面或網頁前端，在設定裡填上這個位址就能連上，之後就是熟悉的聊天視窗介面，歷史對話、多會話管理一應俱全。這一步做完，體驗直接翻倍。
第二，用 Modelfile 定製專屬角色。Ollama 支援透過 Modelfile 檔案設定系統提示詞和參數，把「你是一個嚴謹的合同翻譯，輸出前先列術語表」這類固定要求寫進去，做成一個自訂模型。之後每次啟動，它天生就帶著這套規矩，不必每次重新交代。具體寫法以官方文件的最新說明為準。
第三，定期用 ollama rm 清理。試模型的手癢停不下來，硬碟會誠實地替你記帳。三個月看一次 ollama list，三個月沒用過的模型刪掉，需要的時候重新下載就是，檔案又跑不掉。
兩個使用體感：一是每次對話開始，模型要先載入記憶體，舊電腦等上十幾秒是正常的，不是卡死；二是筆電跑模型發熱明顯，長時間使用建議插電、注意散熱。
寫到這裡，安裝、選型、實測、進階四件事都交待完了。回到開頭那位朋友：後來他把合同翻譯的活全部搬到了自己的筆電上，雲端 AI 只用來查資料、寫創意。用他的原話說，「資料不出門，心裡踏實，睡得著」。這大概就是本機模型最樸素的賣點——它不見得更聰明，但它絕對更讓人放心。
工具推薦隨身機器人（新用戶免費試用 7 天）
把常用提示詞、工作流程裝進口袋，隨時調用——本機模型管資料安全，隨身機器人管效率，搭配使用互不耽誤。新用戶免費試用 7 天，不合適隨時退。
下一篇預告： 同一句提示詞，有人生成大師級海報，有人只得到一團糊塗塗——差距不在運氣，在提示詞的結構。下一篇拆解 Midjourney 的圖像提示詞寫法：主體、風格、構圖、參數，四件套怎麼排。
業州愚公 ｜ SY 視野（sylogs.com）原創內容，轉載請註明出處。
編輯評論 / Editor's Note
近年來，雲端AI的應用越來越廣泛，但對於一些機敏的企業資料，使用雲端AI可能會存在安全隱憂。因此，將AI模型裝進自己電腦可以有效解決這個問題，同時也能夠節省token費用。這種本機部署的方法不僅能保證資料的安全，也能讓使用者在斷網的情況下仍然可以使用AI模型。