Llama.cpp

llama.cpp python 函式庫是 @ggerganov llama.cpp 的簡單 Python 綁定。

此套件提供

• 透過 ctypes 介面低階存取 C API。
• 用於文字完成的高階 Python API
  • 類似 OpenAI 的 API
  • LangChain 相容性
  • LlamaIndex 相容性
• OpenAI 相容的網路伺服器
  • 本地 Copilot 替代方案
  • 函式呼叫支援
  • Vision API 支援
  • 多個模型

安裝與設定

• 安裝 Python 套件

  pip install llama-cpp-python
• 下載 支援的模型 之一，並根據 指示 將其轉換為 llama.cpp 格式

聊天模型

請參閱使用範例。

from langchain_community.chat_models import ChatLlamaCpp

API 參考：ChatLlamaCpp

LLMs

請參閱使用範例。

from langchain_community.llms import LlamaCpp

API 參考：LlamaCpp

嵌入模型

請參閱使用範例。

from langchain_community.embeddings import LlamaCppEmbeddings

API 參考：LlamaCppEmbeddings