Xorbits 推論 (Xinference)
本筆記本說明如何在 LangChain 中使用 Xinference 嵌入
安裝
透過 PyPI 安裝 Xinference
%pip install --upgrade --quiet "xinference[all]"
在本機或分散式叢集中部署 Xinference。
對於本機部署，執行 xinference。
若要在叢集中部署 Xinference，請先使用 xinference-supervisor 啟動 Xinference 監管者。您也可以使用選項 -p 指定埠，並使用 -H 指定主機。預設埠為 9997。
然後，在您想要執行的每台伺服器上使用 xinference-worker 啟動 Xinference 工作人員。
您可以參考 Xinference 中的 README 檔案以取得更多資訊。
包裝器
若要將 Xinference 與 LangChain 搭配使用，您需要先啟動模型。您可以使用命令列介面 (CLI) 執行此操作
!xinference launch -n vicuna-v1.3 -f ggmlv3 -q q4_0
Model uid: 915845ee-2a04-11ee-8ed4-d29396a3f064
系統會傳回模型 UID 供您使用。現在您可以將 Xinference 嵌入與 LangChain 搭配使用
from langchain_community.embeddings import XinferenceEmbeddings
xinference = XinferenceEmbeddings(
server_url="http://0.0.0.0:9997", model_uid="915845ee-2a04-11ee-8ed4-d29396a3f064"
)
API 參考文件：XinferenceEmbeddings
query_result = xinference.embed_query("This is a test query")
doc_result = xinference.embed_documents(["text A", "text B"])
最後，在您不需要使用模型時終止模型
!xinference terminate --model-uid "915845ee-2a04-11ee-8ed4-d29396a3f064"