跳至主要內容

OctoAI

OctoAI 提供對高效能運算的輕鬆存取，並允許使用者將他們選擇的 AI 模型整合到應用程式中。 OctoAI 運算服務可協助您輕鬆執行、調整和擴展 AI 應用程式。

此範例介紹如何使用 LangChain 與 OctoAI LLM 端點互動

設定​

要執行我們的範例應用程式，有兩個簡單的步驟

  1. 從您的 OctoAI 帳戶頁面取得 API 令牌。

  2. 將您的 API 密鑰貼到下面的程式碼儲存格中。

注意：如果您想使用不同的 LLM 模型，您可以容器化該模型並建立自訂的 OctoAI 端點，方法是按照從 Python 建立容器和從容器建立自訂端點，然後更新您的 OCTOAI_API_BASE 環境變數。

import os

os.environ["OCTOAI_API_TOKEN"] = "OCTOAI_API_TOKEN"
from langchain.chains import LLMChain
from langchain_community.llms.octoai_endpoint import OctoAIEndpoint
from langchain_core.prompts import PromptTemplate

範例​

template = """Below is an instruction that describes a task. Write a response that appropriately completes the request.\n Instruction:\n{question}\n Response: """
prompt = PromptTemplate.from_template(template)
llm = OctoAIEndpoint(
    model_name="llama-2-13b-chat-fp16",
    max_tokens=200,
    presence_penalty=0,
    temperature=0.1,
    top_p=0.9,
)
question = "Who was Leonardo da Vinci?"

chain = prompt | llm

print(chain.invoke(question))

李奧納多·達文西是一位真正的文藝復興人。他於 1452 年出生於義大利的文西鎮，以其在藝術、科學、工程和數學等多個領域的工作而聞名。他被認為是有史以來最偉大的畫家之一，他最著名的作品包括《蒙娜麗莎》和《最後的晚餐》。除了他的藝術作品外，達文西還為工程和解剖學做出了重大貢獻，他對機器和發明的設計領先於他的時代數百年。他還以其廣泛的日記和繪圖而聞名，這些日記和繪圖為他的思想和觀點提供了寶貴的見解。達文西的遺產繼續激勵和影響著當今世界各地的藝術家、科學家和思想家。

這個頁面有幫助嗎？