Llama.cpp

llama.cpp python 函式庫是 @ggerganov llama.cpp 的簡單 Python 繫結。

此套件提供

• 透過 ctypes 介面對 C API 的低階存取。
• 用於文字完成的高階 Python API
  • 類似 OpenAI 的 API
  • LangChain 相容性
  • LlamaIndex 相容性
• 與 OpenAI 相容的 Web 伺服器
  • 本地 Copilot 替代方案
  • 函式呼叫支援
  • Vision API 支援
  • 多個模型

%pip install --upgrade --quiet  llama-cpp-python

from langchain_community.embeddings import LlamaCppEmbeddings

API 參考：LlamaCppEmbeddings

llama = LlamaCppEmbeddings(model_path="/path/to/model/ggml-model-q4_0.bin")

text = "This is a test document."

query_result = llama.embed_query(text)

doc_result = llama.embed_documents([text])

相關資訊

• 嵌入模型概念指南
• 嵌入模型操作指南