跳至主要內容
Open on GitHub

OpenLLM

OpenLLM 讓開發人員只需單一指令，即可將任何開放原始碼 LLM 作為與 OpenAI 相容的 API 端點執行。

  • 🔬 為快速和生產用途而建構
  • 🚂 支援 llama3、qwen2、gemma 等，以及許多量化版本 完整列表
  • ⛓️ 與 OpenAI 相容的 API
  • 💬 內建類似 ChatGPT 的 UI
  • 🔥 透過最先進的推論後端加速 LLM 解碼
  • 🌥️ 適用於企業級雲端部署 (Kubernetes、Docker 和 BentoCloud)

安裝與設定​

透過 PyPI 安裝 OpenLLM 套件

pip install openllm

LLM​

OpenLLM 支援各種開放原始碼 LLM，以及為使用者自己的微調 LLM 提供服務。使用 openllm model 命令查看所有可用的模型，這些模型都已針對 OpenLLM 進行預先最佳化。

封裝器​

有一個 OpenLLM 封裝器，支援與執行中的 OpenLLM 伺服器互動

from langchain_community.llms import OpenLLM
API 參考：OpenLLM

OpenLLM 伺服器的封裝器​

此封裝器支援與 OpenLLM 與 OpenAI 相容的端點互動。

若要執行模型，請執行

openllm hello

封裝器用法

from langchain_community.llms import OpenLLM

llm = OpenLLM(base_url="https://127.0.0.1:3000/v1", api_key="na")

llm("What is the difference between a duck and a goose? And why there are so many Goose in Canada?")
API 參考：OpenLLM

用法​

如需 OpenLLM 封裝器的更詳細逐步說明，請參閱範例筆記本

此頁面是否對您有幫助？