Baseten
Baseten 是提供您部署和高效、可擴展且具成本效益地伺服 ML 模型所需的所有基礎設施的供應商。
作為模型推論平台，
Baseten是 LangChain 生態系統中的一個Provider（供應商）。Baseten整合目前實作單一Component（組件），即 LLMs，但計畫推出更多組件！
Baseten讓您可以在專用 GPU 上執行 Llama 2 或 Mistral 等開放原始碼模型，以及執行專有或微調模型。如果您習慣像 OpenAI 這樣的供應商，使用 Baseten 有一些差異
- 您不是按 token 付費，而是按 GPU 使用分鐘數付費。
- Baseten 上的每個模型都使用 Truss，這是我們的開源模型封裝框架，以實現最大的客製化。
- 雖然我們有一些 與 OpenAI ChatCompletions 相容的模型，但您可以使用
Truss定義自己的 I/O 規格。
深入瞭解 模型 ID 和部署。
在 Baseten 文件中深入瞭解 Baseten。
安裝與設定
您需要兩樣東西才能將 Baseten 模型與 LangChain 一起使用
- 一個 Baseten 帳戶
- 一個 API 金鑰
將您的 API 金鑰匯出為名為 BASETEN_API_KEY 的環境變數。
export BASETEN_API_KEY="paste_your_api_key_here"
LLMs
請參閱使用範例。
from langchain_community.llms import Baseten
API 參考文檔：Baseten