LiteLLM
LiteLLM 是一個簡化調用 Anthropic、Azure、Huggingface、Replicate 等 LLM 的函式庫，以統一的方式進行。
您可以透過以下方式使用
LiteLLM
- LiteLLM Proxy Server - 用於呼叫 100 多個 LLM、負載平衡、跨專案成本追蹤的伺服器
- LiteLLM python SDK - 用於呼叫 100 多個 LLM、負載平衡、成本追蹤的 Python 客戶端
安裝與設定
安裝 litellm python 套件。
pip install litellm
聊天模型
ChatLiteLLM
請參閱使用範例。
from langchain_community.chat_models import ChatLiteLLM
API 參考文件：ChatLiteLLM
ChatLiteLLMRouter
您也可以使用 ChatLiteLLMRouter 將請求路由到不同的 LLM 或 LLM 供應商。
請參閱使用範例。
from langchain_community.chat_models import ChatLiteLLMRouter
API 參考文件：ChatLiteLLMRouter