Ollama

Ollama 讓您可以在本機端執行開源大型語言模型，例如 Llama3.1。

Ollama 將模型權重、組態和資料捆綁到單一封裝中，並由 Modelfile 定義。它最佳化了設定和組態細節，包括 GPU 使用率。如需支援的模型和模型變體的完整清單，請參閱 Ollama 模型庫。

如需關於如何將 Ollama 與 LangChain 搭配使用的更多詳細資訊，請參閱本指南。

安裝與設定

Ollama 安裝

請依照這些指示設定並執行本機 Ollama 執行個體。

Ollama 將自動以背景服務啟動，如果此功能已停用，請執行

# export OLLAMA_HOST=127.0.0.1 # environment variable to set ollama host
# export OLLAMA_PORT=11434 # environment variable to set the ollama port
ollama serve

啟動 ollama 後，執行 ollama pull <model_checkpoint> 從 Ollama 模型庫下載模型。

ollama pull llama3.1

現在我們準備好安裝 langchain-ollama 合作夥伴套件並執行模型。

Ollama LangChain 合作夥伴套件安裝

使用以下命令安裝整合套件

pip install langchain-ollama

LLM

from langchain_ollama.llms import OllamaLLM

API 參考文件：OllamaLLM

請參閱此處的 notebook 範例。

聊天模型

Chat Ollama

from langchain_ollama.chat_models import ChatOllama

API 參考文件：ChatOllama

請參閱此處的 notebook 範例。

Ollama 工具呼叫

Ollama 工具呼叫使用與 OpenAI 相容的 Web 伺服器規格，並且可以與預設的 BaseChatModel.bind_tools() 方法搭配使用，如此處所述。請務必選取支援工具呼叫的 ollama 模型。

嵌入模型

from langchain_community.embeddings import OllamaEmbeddings

API 參考文件：OllamaEmbeddings

請參閱此處的 notebook 範例。