Beam

呼叫 Beam API 封裝器來部署並對雲端部署中的 gpt2 LLM 實例進行後續呼叫。 需要安裝 Beam 函式庫，並註冊 Beam 客戶端 ID 和客戶端密碼。 透過呼叫封裝器，會建立並執行模型的實例，並傳回與提示相關的文字。 然後可以透過直接呼叫 Beam API 進行額外呼叫。

建立一個帳戶（如果還沒有的話）。 從儀表板獲取您的 API 金鑰。

安裝 Beam CLI

!curl https://raw.githubusercontent.com/slai-labs/get-beam/main/get-beam.sh -sSfL | sh

註冊 API 金鑰並設定您的 beam client id 和 secret 環境變數

import os

beam_client_id = "<Your beam client id>"
beam_client_secret = "<Your beam client secret>"

# Set the environment variables
os.environ["BEAM_CLIENT_ID"] = beam_client_id
os.environ["BEAM_CLIENT_SECRET"] = beam_client_secret

# Run the beam configure command
!beam configure --clientId={beam_client_id} --clientSecret={beam_client_secret}

安裝 Beam SDK

%pip install --upgrade --quiet  beam-sdk

直接從 langchain 部署和呼叫 Beam！

請注意，冷啟動可能需要幾分鐘才能傳回回應，但後續呼叫會更快！

from langchain_community.llms.beam import Beam

llm = Beam(
    model_name="gpt2",
    name="langchain-gpt2-test",
    cpu=8,
    memory="32Gi",
    gpu="A10G",
    python_version="python3.8",
    python_packages=[
        "diffusers[torch]>=0.10",
        "transformers",
        "torch",
        "pillow",
        "accelerate",
        "safetensors",
        "xformers",
    ],
    max_length="50",
    verbose=False,
)

llm._deploy()

response = llm._call("Running machine learning on a remote GPU")

print(response)

API 參考：Beam

相關

• LLM 概念指南
• LLM 操作指南