Dify 接入 Ollama 部署的本地模型

Dify 支持接入 Ollama 部署的大型語言模型推理和 embedding 能力。

快速接入

1. 下載 Ollama

   訪問?Ollama 安裝與配置，查看 Ollama 本地部署教程。

2. 運(yùn)行 Ollama 并與 Llama 聊天

   ollama run llama3.1Copy to clipboardErrorCopied

   啟動(dòng)成功后，ollama 在本地 11434 端口啟動(dòng)了一個(gè) API 服務(wù)，可通過?http://localhost:11434?訪問。

   其他模型可訪問?Ollama Models?了解詳情。

3. 在 Dify 中接入 Ollama

   在?設(shè)置 > 模型供應(yīng)商 > Ollama?中填入：

   

   ?

   

   ?

   

   • 模型名稱：llama3.1

   • 基礎(chǔ) URL ：http://<your-ollama-endpoint-domain>:11434

     此處需填寫可訪問到的 Ollama 服務(wù)地址。

     若 Dify 為 docker 部署，建議填寫局域網(wǎng) IP 地址，如：http://192.168.1.100:11434?或 docker 宿主機(jī) IP 地址，如：http://172.17.0.1:11434。

     注：查找局域網(wǎng) IP 地址命令：

     • 在 Linux/macOS 上，使用命令?ip addr show?或?ifconfig。
     • 在 Windows 上，使用?ipconfig?命令查找類似的地址。
     • 通常，這個(gè)地址會(huì)在 eth0 或 wlan0 接口下顯示，取決于你是使用有線網(wǎng)絡(luò)還是無線網(wǎng)絡(luò)。

     若為本地源碼部署，可填寫?http://localhost:11434。

   • 模型類型：對(duì)話

   • 模型上下文長(zhǎng)度：4096

     模型的最大上下文長(zhǎng)度，若不清楚可填寫默認(rèn)值 4096。

   • 最大 token 上限：4096

     模型返回內(nèi)容的最大 token 數(shù)量，若模型無特別說明，則可與模型上下文長(zhǎng)度保持一致。

   • 是否支持 Vision：是

     當(dāng)模型支持圖片理解（多模態(tài)）勾選此項(xiàng)，如?llava。

   點(diǎn)擊 "保存" 校驗(yàn)無誤后即可在應(yīng)用中使用該模型。

   Embedding 模型接入方式與 LLM 類似，只需將模型類型改為 Text Embedding 即可。

4. 使用 Ollama 模型

   

   進(jìn)入需要配置的 App 提示詞編排頁面，選擇 Ollama 供應(yīng)商下的?llama3.1?模型，配置模型參數(shù)后即可使用。