跳到主要內容
Open In ColabOpen on GitHub

OctoAI

OctoAI 提供輕鬆存取高效能運算資源，並讓使用者將其選擇的 AI 模型整合到應用程式中。OctoAI 運算服務可協助您輕鬆執行、調整和擴展 AI 應用程式。

此範例說明如何使用 LangChain 與 OctoAI LLM 端點互動

設定​

若要執行我們的範例應用程式，只需採取兩個簡單的步驟

  1. 從您的 OctoAI 帳戶頁面取得 API 權杖。

  2. 將您的 API 金鑰貼到下方的程式碼儲存格中。

注意：如果您想使用不同的 LLM 模型，您可以將模型容器化並自行建立自訂 OctoAI 端點，方法是依照從 Python 建立容器和從容器建立自訂端點，然後更新您的 OCTOAI_API_BASE 環境變數。

import os

os.environ["OCTOAI_API_TOKEN"] = "OCTOAI_API_TOKEN"
from langchain.chains import LLMChain
from langchain_community.llms.octoai_endpoint import OctoAIEndpoint
from langchain_core.prompts import PromptTemplate

範例​

template = """Below is an instruction that describes a task. Write a response that appropriately completes the request.\n Instruction:\n{question}\n Response: """
prompt = PromptTemplate.from_template(template)
llm = OctoAIEndpoint(
    model_name="llama-2-13b-chat-fp16",
    max_tokens=200,
    presence_penalty=0,
    temperature=0.1,
    top_p=0.9,
)
question = "Who was Leonardo da Vinci?"

chain = prompt | llm

print(chain.invoke(question))

李奧納多·達文西是一位真正的文藝復興人。他於 1452 年出生於義大利芬奇，並以其在藝術、科學、工程和數學等多個領域的成就而聞名。他被認為是有史以來最偉大的畫家之一，其最著名的作品包括《蒙娜麗莎》和《最後的晚餐》。除了藝術，達文西對工程學和解剖學也做出了重大貢獻，他設計的機器和發明比他的時代領先了數個世紀。他也因其廣泛的日記和繪圖而聞名，這些日記和繪圖為他的思想和想法提供了寶貴的見解。達文西的遺產至今仍繼續啟發和影響著世界各地的藝術家、科學家和思想家。

此頁面是否對您有幫助？