Marqo
本頁涵蓋如何在 LangChain 中使用 Marqo 生態系統。
什麼是 Marqo?
Marqo 是一個張量搜尋引擎,它使用儲存在記憶體 HNSW 索引中的嵌入來實現最先進的搜尋速度。Marqo 可以透過水平索引分片擴展到數億個文檔索引,並允許異步和非阻塞數據上傳和搜尋。Marqo 使用來自 PyTorch、Huggingface、OpenAI 等的最新機器學習模型。您可以從預先配置的模型開始,或使用您自己的模型。內建的 ONNX 支援和轉換允許在 CPU 和 GPU 上實現更快的推論和更高的吞吐量。
由於 Marqo 包含自己的推論,您的文檔可以混合使用文字和圖像,您可以將來自其他系統的 Marqo 索引帶入 langchain 生態系統,而無需擔心您的嵌入是否兼容。
Marqo 的部署非常靈活,您可以透過我們的 docker 映像自行開始使用,或聯絡我們以了解我們的託管雲服務!
若要使用我們的 docker 映像在本機執行 Marqo,請參閱我們的入門指南。
安裝與設定
- 使用
pip install marqo
安裝 Python SDK
封裝器
向量儲存
Marqo 索引周圍存在一個封裝器,允許您在向量儲存框架內使用它們。Marqo 允許您從一系列模型中選擇用於產生嵌入,並公開一些預處理配置。
Marqo 向量儲存也可以與現有的多模態索引一起使用,在這些索引中,您的文檔混合了圖像和文字,有關更多資訊,請參閱我們的文檔。請注意,使用現有的多模態索引實例化 Marqo 向量儲存將禁用透過 langchain 向量儲存 add_texts
方法向其新增任何新文檔的功能。
若要匯入此向量儲存
from langchain_community.vectorstores import Marqo
API 參考文檔:Marqo
如需更詳細的 Marqo 封裝器以及其一些獨特功能的逐步解說,請參閱此筆記本