Anyscale
Anyscale 是一個透過生產就緒的 API 執行、微調和擴展 LLM 的平台。Anyscale Endpoints 以具成本效益的方式服務眾多開源模型。
Anyscale 也提供一個範例，說明如何設定 LangChain 與 Anyscale 以用於進階聊天代理。
安裝與設定
- 取得 Anyscale 服務 URL、路由和 API 金鑰，並將它們設定為環境變數 (
ANYSCALE_SERVICE_URL,ANYSCALE_SERVICE_ROUTE,ANYSCALE_SERVICE_TOKEN)。 - 請參閱 Anyscale 文件 以取得更多詳細資訊。
我們必須安裝 openai 套件
pip install openai
LLM
請參閱使用範例。
from langchain_community.llms.anyscale import Anyscale
API 參考：Anyscale
聊天模型
請參閱使用範例。
from langchain_community.chat_models.anyscale import ChatAnyscale
API 參考：ChatAnyscale
嵌入
請參閱使用範例。
from langchain_community.embeddings import AnyscaleEmbeddings
API 參考：AnyscaleEmbeddings