TextEmbed - 嵌入推論伺服器
TextEmbed 是一個高吞吐量、低延遲的 REST API，專為提供向量嵌入而設計。它支援各種句子轉換器模型和框架，使其適用於自然語言處理中的各種應用。
功能
- 高吞吐量與低延遲： 旨在有效處理大量請求。
- 彈性模型支援： 適用於各種句子轉換器模型。
- 可擴展： 易於整合到更大的系統中，並隨需求擴展。
- 批次處理： 支援批次處理，以實現更好更快的推論。
- OpenAI 相容 REST API 端點： 提供 OpenAI 相容的 REST API 端點。
- 單行命令部署： 透過單個命令部署多個模型，以實現高效部署。
- 支援嵌入格式： 支援二進制、float16 和 float32 嵌入格式，以實現更快的檢索。
開始使用
先決條件
請確保您已安裝 Python 3.10 或更高版本。您還需要安裝所需的依賴項。
透過 PyPI 安裝
-
安裝所需的依賴項
pip install -U textembed -
使用您所需的模型啟動 TextEmbed 伺服器
python -m textembed.server --models sentence-transformers/all-MiniLM-L12-v2 --workers 4 --api-key TextEmbed
如需更多資訊，請閱讀文件。
匯入
from langchain_community.embeddings import TextEmbedEmbeddings
API 參考：TextEmbedEmbeddings
embeddings = TextEmbedEmbeddings(
model="sentence-transformers/all-MiniLM-L12-v2",
api_url="http://0.0.0.0:8000/v1",
api_key="TextEmbed",
)
嵌入您的文件
# Define a list of documents
documents = [
"Data science involves extracting insights from data.",
"Artificial intelligence is transforming various industries.",
"Cloud computing provides scalable computing resources over the internet.",
"Big data analytics helps in understanding large datasets.",
"India has a diverse cultural heritage.",
]
# Define a query
query = "What is the cultural heritage of India?"
# Embed all documents
document_embeddings = embeddings.embed_documents(documents)
# Embed the query
query_embedding = embeddings.embed_query(query)
# Compute Similarity
import numpy as np
scores = np.array(document_embeddings) @ np.array(query_embedding).T
dict(zip(documents, scores))
{'Data science involves extracting insights from data.': 0.05121298956322118,
'Artificial intelligence is transforming various industries.': -0.0060612142358469345,
'Cloud computing provides scalable computing resources over the internet.': -0.04877402795301714,
'Big data analytics helps in understanding large datasets.': 0.016582168576929422,
'India has a diverse cultural heritage.': 0.7408992963028144}