LLM 連線

Mailslide 支援使用本地 LLM 進行推理（如透過 llama.cpp），讓你可以在離線或不仰賴外部雲端 API 的情況下，保障郵件隱私與資料安全。 也可使用 OpenAI API Key 連線 OpenAI 的模型或相容 OpenAI API 的雲端服務。

警語：AI 會閱讀你的郵件，請確認要讓 AI 處理的郵件不包含個人隱私或業務機密，或使用本地模型處理。

免責聲明： Mailslide 僅提供工具，不保證第三方或本地 AI 模型處理資料之安全性；因使用者輸入內容或模型服務造成之資料外洩、機密洩漏或相關損害，專案作者不負任何責任。使用前請自行評估風險並遵循組織政策與法規。

1. 使用 llama.cpp 作為本地 LLM

從 llama.cpp Releases 下載對應作業系統的 llama-server 執行檔。 （Windows 版本若無獨立顯示卡，可下載 CPU 版本；雖然只適合較小參數的模型，但小模型對於單純的文字分類仍有不錯效果。）

2. 啟動 Server

推薦使用 qwen3.5 等小模型，2B 或 4B 的參數在郵件分類場景上就有不錯的效果。小模型也可輕易使用 CPU 執行，例如 2B/4B Q8 量化版可能僅佔用約 2-4G RAM。 唯系統提示詞需要多次調整，才能達到理想的分類效果。

你可以到 Huggingface 下載 Qwen3.5-4B-Q8_0.gguf 或其他中意的模型。

# 基本啟動指令
.\llama-server.exe -m .\Qwen3.5-4B-Q8_0.gguf --port 8080

# 關閉思考功能（推薦）
.\llama-server.exe -m .\Qwen3.5-4B-Q8_0.gguf --port 8080 --chat_template_kwargs '{"enable_thinking":false}'

參數	說明
-m	模型 GGUF 檔案路徑
--port	伺服器連接埠（預設 8080）
--chat_template_kwargs	傳入額外參數，例如關閉思考功能以加速文字分類

3. 設定 LLM 參數 (llm-config.yaml)

打開 TUI 的 LLM 設定 或是編輯 config/llm-config.yaml：

api_base: "http://localhost:8080/v1"
api_key: "any"
model: "Qwen3.5-4B-Q8_0.gguf"

參數說明： - api_base： llama.cpp server 的本機網址（結尾應包含 /v1，以相容 OpenAI 格式）。 - api_key： 對於未加驗證的本地端 llama.cpp 而言，輸入任意字串皆可。 - model： 依照你載入到 server 的對應模型名稱設定即可。

api_key 會使用 Windows DPAPI 加密儲存，請勿直接在 yaml 檔案中寫入 api_key，請使用 TUI 的 LLM 設定頁面進行設定。