本文翻譯自：Intella Assist: Running Large Language Models Locally
原文日期：2026-04-23
免責聲明：
本指南僅供參考之用，旨在作為將本機大型語言模型（LLM）與 Intella Connect / Investigator 整合時的入門說明。我們無法保證文中提及之任何模型（包括 Mistral 模型）的效能品質或硬體規格。使用者應自行確認這些模型是否適用，並自行評估其硬體效能是否足夠。
在投入專用硬體以執行 LLM 之前，我們強烈建議先針對以下幾點進行充分研究：
- 模型的品質。
- 執行該模型所需的硬體規格。
- 透過雲端供應商提供的試用方案，測試模型與您的 Intella 產品之相容性與效能表現。此做法可在無需立即投入硬體的情況下，以較低成本進行評估。
- 若選擇使用量化（quantized）版本的模型，請考量量化處理可能對品質造成的影響。
請注意，模型與相關硬體的選擇皆屬於您自身的責任。對於您所選擇模型的效能表現，或其硬體需求，我們概不負責。
Intella Assist 的設計可與大型語言模型（LLM）無縫搭配運作。若要啟用此功能，必須整合一個 LLM。
雖然目前整合 OpenAI API 可獲得最佳效果，但對部分客戶而言，這可能並非理想選項。為因應不同客戶的需求，我們也提供使用本機 LLM 的操作指南，確保所有資料都留在您自己的基礎架構內。
本指南將協助您設定採用 Apache 2.0 授權釋出的 Mistral Small 3 模型：https://mistral.ai/en/news/mistral-small-3
根據我們內部測試，截至本篇知識庫文章撰寫時，此模型在硬體需求與效能品質之間取得了良好的平衡。需注意的是，理論上任何相容於 OpenAI API、且支援至少 32,000 tokens 內容視窗（context size）的模型皆可使用，前提是其產出結果具備足夠品質。
我們用來安裝、管理與執行 LLM 模型的工具稱為 Ollama。
請注意，Intella Assist facet 僅在符合以下條件時才會顯示：
- 管理員已正確設定模型。
- （僅限 Pro、Investigator 與 Connect）審閱人員已啟用「可使用 Intella Assist Facet」權限。
- 使用以下其中一種 OpenAI 模型：gpt-4o-mini、gpt-4o、gpt-4o-latest、gpt-4-turbo、gpt-4.1-mini、gpt-4.1、gpt-5-mini、gpt-5、gpt-5.1、gpt-5.2、gpt-5-pro、gpt-5.2-pro。
- 使用以下其中一種 Gemini 模型：gemini-3-pro-preview、gemini-3-flash-preview、gemini-2.5-pro、gemini-2.5-flash、gemini-2.5-flash-lite。
- 管理員透過在
C:\Users\<YOUR_USER>\AppData\Roaming\Intella\prefs\user.prefs中加入IntellaAssistFacetAlwaysEnabled=true屬性，手動啟用 Intella Assist Facet。
若使用其他替代模型，Intella Assist facet 可能會被停用。請注意，Previewer 中的 Intella Assist 面板仍可與替代模型搭配運作。
Windows 安裝方式
- 造訪 https://ollama.com/，下載並安裝 Ollama
備註：請確認使用 v0.6.8（含）以上版本。 - 設定
OLLAMA_HOST環境變數
setx OLLAMA_HOST "0.0.0.0:11434" /M
此設定會讓 Ollama 對外開放所有網路介面（連接埠 11434），使其他機器得以連線；否則預設僅限localhost存取。
（請重新開啟終端機，或登出／登入，變更才會生效。） - 下載模型：
本教學選擇 8-bit 量化版本的模型，此版本對硬體資源需求較低，但品質略有下降。您也可以直接在 Ollama 介面中選取該模型並輸入任意訊息來下載。
備註：此版本模型建議的 VRAM 需求約為 32 GB。可行的硬體配置範例（僅供參考，非正式建議）包括雙 GPU 配置的 RTX 3090／RTX 4090，或 Tesla T40。
可於下列網址查看可用的 Mistral Small 3 模型：https://ollama.com/library/mistral-small:24b-instruct-2501-q8_0
下載 8-bit 量化版本的 Mistral 模型指令：
ollama run mistral-small:24b-instruct-2501-q8_0
您也可以直接在 Ollama 介面中尋找所需的模型。只要對所選模型輸入任意提示詞，系統就會自動下載該模型。 - 擴充內容視窗（Context Window）大小
Ollama 預設的內容視窗大小為 2048 tokens，此數值可能不敷使用，也無法充分發揮 Mistral 所支援的較大內容視窗。
若要擴充內容視窗，您無法直接修改原始 Mistral 模型，而必須以該模型為基礎建立一個新模型。請依下列步驟操作：
步驟 1：建立 Modelfile。建立一個名為mistral-intella-modelfile.olm的新檔案。若要將內容視窗大小設為 32k tokens，請加入以下內容：
FROM mistral-small:24b-instruct-2501-q8_0
PARAMETER num_ctx 32768
請注意以下事項：- 上限規定：請勿超過原始模型所支援的最大內容視窗。
- 系統資源：最大內容視窗大小取決於您機器上的可用 RAM。若超過限制，系統會通知您。
步驟 2：建立新模型。執行以下指令以建立新模型：
ollama create mistral-intella -f mistral-intella-modelfile.olm
此指令會建立一個名為mistral-intella、內容視窗大小為 32k 的新模型。
步驟 3：驗證模型。若要確認模型已成功建立，請執行：
ollama list
請確認清單中已出現mistral-intella模型。 - 設定 Intella Connect/Investigator：
前往「管理控制台」（Admin Dashboard）→「設定」（Settings）→「Intella Assist」，並依下圖進行設定：
備註：此範例使用 Ollama 的預設連接埠。另外請勿忘記在端點（endpoint）網址後方加上「/v1」，如上圖所示。
備註：即使在此情境下並非必要，仍須輸入 API 金鑰。
- 按下「Test integration」，確認所有設定皆已正確完成。
Linux／WSL2（Ubuntu）安裝方式
備註：若使用 Windows 子系統進行安裝，我們建議選用 WSL2 而非 WSL1，因其效能表現有顯著提升。
備註：本機模型自 2.7.1 版本起，即可與 Intella Connect/Investigator 相容使用。
- 請確認您的 Linux 系統已為最新版本：
sudo apt update
sudo apt upgrade - 設定
OLLAMA_HOST環境變數：
echo 'export OLLAMA_HOST="0.0.0.0:11434"' >> ~/.bashrc
source ~/.bashrc
此設定會讓 Ollama 對外開放所有網路介面（連接埠 11434），使其他機器得以連線；否則預設僅限localhost存取。 - 安裝 Ollama：
curl -fsSL https://ollama.com/install.sh | sh
備註：請確認使用 v0.6.8（含）以上版本。 - 下載模型：
本教學選擇 8-bit 量化版本的模型，此版本對硬體資源需求較低，但品質略有下降。
備註：此版本模型建議的 VRAM 需求約為 32 GB。可行的硬體配置範例（僅供參考，非正式建議）包括雙 GPU 配置的 RTX 3090／RTX 4090，或 Tesla T40。
可於下列網址查看可用的 Mistral Small 3 模型：https://ollama.com/library/mistral-small:24b-instruct-2501-q8_0
下載 8-bit 量化版本的 Mistral 模型指令：
ollama run mistral-small:24b-instruct-2501-q8_0 - 擴充內容視窗（Context Window）大小
Ollama 預設的內容視窗大小為 2048 tokens，此數值可能不敷使用，也無法充分發揮 Mistral 所支援的較大內容視窗。
若要擴充內容視窗，您無法直接修改原始 Mistral 模型，而必須以該模型為基礎建立一個新模型。請依下列步驟操作：
步驟 1：建立 Modelfile。建立一個名為mistral-intella-modelfile.olm的新檔案。若要將內容視窗大小設為 32k tokens，請加入以下內容：
FROM mistral-small:24b-instruct-2501-q8_0
PARAMETER num_ctx 32768
請注意以下事項：- 上限規定：請勿超過原始模型所支援的最大內容視窗。
- 系統資源：最大內容視窗大小取決於您機器上的可用 RAM。若超過限制，系統會通知您。
步驟 2：建立新模型。執行以下指令以建立新模型：
ollama create mistral-intella -f mistral-intella-modelfile.olm
此指令會建立一個名為mistral-intella、內容視窗大小為 32k 的新模型。
步驟 3：驗證模型。若要確認模型已成功建立，請執行：
ollama list
請確認清單中已出現mistral-intella模型。 - 設定 Intella Connect/Investigator：
前往「管理控制台」（Admin Dashboard）→「設定」（Settings）→「Intella Assist」，並依下圖進行設定：
備註：此範例使用 Ollama 的預設連接埠。另外請勿忘記在端點（endpoint）網址後方加上「/v1」，如上圖所示。
備註：即使在此情境下並非必要，仍須輸入 API 金鑰。
- 按下「Test integration」，確認所有設定皆已正確完成。