跳到主要內容

OpenLLM

🦾 OpenLLM 讓開發人員只需單一指令，即可將任何開放原始碼 LLM 作為與 OpenAI 相容的 API 端點執行。

  • 🔬 為快速和生產用途而建置
  • 🚂 支援 llama3、qwen2、gemma 等，以及許多量化版本 完整清單
  • ⛓️ 與 OpenAI 相容的 API
  • 💬 內建類似 ChatGPT 的 UI
  • 🔥 透過最先進的推論後端加速 LLM 解碼
  • 🌥️ 準備好用於企業級雲端部署 (Kubernetes、Docker 和 BentoCloud)

安裝​

透過 PyPI 安裝 openllm

%pip install --upgrade --quiet  openllm

在本機啟動 OpenLLM 伺服器​

若要啟動 LLM 伺服器，請使用 openllm hello 命令

openllm hello

包裝器​

from langchain_community.llms import OpenLLM

server_url = "https://127.0.0.1:3000"  # Replace with remote host if you are running on a remote server
llm = OpenLLM(base_url=server_url, api_key="na")
API 參考：OpenLLM
llm("To build a LLM from scratch, the following are the steps:")

此頁面是否對您有幫助？