跳到主要內容
Open on GitHub

Runhouse

本頁面涵蓋如何在 LangChain 中使用 Runhouse 生態系統。它分為三個部分:安裝和設定、LLM 和嵌入。

安裝和設定

  • 使用 pip install runhouse 安裝 Python SDK
  • 如果您想使用隨需叢集,請使用 sky check 檢查您的雲端憑證

自架 LLM

對於基本的自架 LLM,您可以使用 SelfHostedHuggingFaceLLM 類別。對於更自訂的 LLM,您可以使用 SelfHostedPipeline 父類別。

from langchain_community.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM

如需更詳細的自架 LLM 逐步解說,請參閱此筆記本

自架嵌入

有多種方法可以透過 Runhouse 將自架嵌入與 LangChain 搭配使用。

對於來自 Hugging Face Transformers 模型的基本自架嵌入,您可以使用 SelfHostedEmbedding 類別。

from langchain_community.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM

如需更詳細的自架嵌入逐步解說,請參閱此筆記本


此頁面是否對您有幫助?