文字嵌入推論
Hugging Face Text Embeddings Inference (TEI) 是一個用於部署和服務開源文字嵌入和序列分類模型的工具包。
TEI能夠為最受歡迎的模型（包括FlagEmbedding、Ember、GTE和E5）實現高效能的提取。
若要在 langchain 中使用它，請先安裝 huggingface-hub。
%pip install --upgrade huggingface-hub
然後使用 TEI 公開嵌入模型。 例如，使用 Docker，您可以按如下所示服務 BAAI/bge-large-en-v1.5
model=BAAI/bge-large-en-v1.5
revision=refs/pr/5
volume=$PWD/data # share a volume with the Docker container to avoid downloading weights every run
docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:0.6 --model-id $model --revision $revision
Docker 使用的具體細節可能會因底層硬體而異。 例如，若要在 Intel Gaudi/Gaudi2 硬體上服務模型，請參閱 tei-gaudi repository 以取得相關的 docker 執行命令。
最後，實例化客戶端並嵌入您的文字。
from langchain_huggingface.embeddings import HuggingFaceEndpointEmbeddings
embeddings = HuggingFaceEndpointEmbeddings(model="https://127.0.0.1:8080")
text = "What is deep learning?"
query_result = embeddings.embed_query(text)
query_result[:3]
[0.018113142, 0.00302585, -0.049911194]
doc_result = embeddings.embed_documents([text])
doc_result[0][:3]
[0.018113142, 0.00302585, -0.049911194]