Clarifai
Clarifai 是最早的深度學習平台之一,於 2013 年創立。Clarifai 提供一個 AI 平台,具備完整的 AI 生命周期,用於數據探索、數據標記、模型訓練、評估和推論,圍繞著圖像、影片、文字和音訊數據。在 LangChain 生態系統中,據我們所知,Clarifai 是唯一在單一生產規模平台中支援 LLM、嵌入和向量儲存庫的供應商,使其成為將您的 LangChain 實作投入運作的絕佳選擇。
Clarifai
為許多不同的用例提供數千個 AI 模型。您可以在此探索它們,找到最適合您用例的模型。這些模型包括其他供應商(如 OpenAI、Anthropic、Cohere、AI21 等)以及來自開源的最新技術(如 Falcon、InstructorXL 等)創建的模型,以便您將最佳的 AI 建置到您的產品中。您會發現這些模型依建立者的 user_id 組織,並歸類到我們稱為應用程式的專案中,並以 app_id 表示。除了 model_id 和可選的 version_id 之外,還需要這些 ID,因此一旦找到最適合您用例的模型,請記下所有這些 ID!另請注意,鑑於有許多用於圖像、影片、文字和音訊理解的模型,您可以建立一些有趣的 AI 代理,利用各種 AI 模型作為專家來理解這些數據類型。
安裝與設定
- 安裝 Python SDK
pip install clarifai
註冊 Clarifai 帳戶,然後從您的安全性設定取得個人存取權杖以存取 Clarifai API,並將其設定為環境變數 (CLARIFAI_PAT
)。
LLMs
若要在 Clarifai 平台中找到 LLM 的選擇,您可以在此選擇文字轉文字模型類型。
from langchain_community.llms import Clarifai
llm = Clarifai(pat=CLARIFAI_PAT, user_id=USER_ID, app_id=APP_ID, model_id=MODEL_ID)
如需更多詳細資訊,Clarifai LLM 封裝器的文件提供了詳細的逐步解說。
嵌入模型
若要在 Clarifai 平台中找到嵌入模型的選擇,您可以在此選擇文字轉嵌入模型類型。
LangChain 中有一個 Clarifai 嵌入模型,您可以使用以下方式存取:
from langchain_community.embeddings import ClarifaiEmbeddings
embeddings = ClarifaiEmbeddings(pat=CLARIFAI_PAT, user_id=USER_ID, app_id=APP_ID, model_id=MODEL_ID)
請參閱使用範例。
向量儲存庫
Clarifai 的向量資料庫於 2016 年推出,並已針對支援即時搜尋查詢進行最佳化。透過 Clarifai 平台中的工作流程,您的數據會自動由嵌入模型以及可選的其他模型編製索引,以在資料庫中編製該資訊的索引以供搜尋。您不僅可以透過向量查詢資料庫,還可以依元數據比對、其他 AI 預測的概念進行篩選,甚至可以執行地理座標搜尋。只需建立一個應用程式,為您的數據類型選擇適當的基礎工作流程,然後上傳它(透過 API,如此處文件所述,或透過 clarifai.com 上的 UI)。
您也可以直接從 LangChain 新增數據,自動編製索引將會為您進行。您會注意到這與其他向量儲存庫略有不同,在其他向量儲存庫中,您需要在其建構函式中提供嵌入模型,並讓 LangChain 協調從文字取得嵌入並將其寫入索引。使用 Clarifai 的分散式雲端在背景中完成所有索引不僅更方便,而且更具可擴展性。
from langchain_community.vectorstores import Clarifai
clarifai_vector_db = Clarifai.from_texts(user_id=USER_ID, app_id=APP_ID, texts=texts, pat=CLARIFAI_PAT, number_of_docs=NUMBER_OF_DOCS, metadatas = metadatas)
如需更多詳細資訊,Clarifai 向量儲存庫的文件提供了詳細的逐步解說。