跳到主要內容

ChatOCIGenAI

本筆記本提供快速概觀，以開始使用 OCIGenAI 聊天模型。有關所有 ChatOCIGenAI 功能和配置的詳細文件，請參閱 API 參考。

Oracle Cloud Infrastructure (OCI) Generative AI 是一項完全託管的服務，提供一組最先進、可自訂的大型語言模型 (LLM)，涵蓋廣泛的使用案例，並可透過單一 API 取得。使用 OCI Generative AI 服務，您可以存取現成的預訓練模型，或根據您在專用 AI 叢集上的自有資料，建立和託管您自己微調的自訂模型。服務和 API 的詳細文件請參閱此處和此處。

概觀​

整合詳細資訊​

類別套件本地可序列化JS 支援套件下載套件最新
ChatOCIGenAIlangchain-community❌❌❌PyPI - DownloadsPyPI - Version

模型功能​

工具呼叫結構化輸出JSON 模式影像輸入音訊輸入視訊輸入Token 層級串流原生非同步Token 使用量Logprobs
✅✅❌❌❌❌✅❌❌❌

設定​

若要存取 OCIGenAI 模型，您需要安裝 oci 和 langchain-community 套件。

憑證​

此整合支援的憑證和驗證方法，與其他 OCI 服務使用的方法相同，並遵循標準 SDK 驗證方法，特別是 API 金鑰、工作階段 Token、執行個體主體和資源主體。

API 金鑰是上述範例中使用的預設驗證方法。以下範例示範如何使用不同的驗證方法 (工作階段 Token)

安裝​

LangChain OCIGenAI 整合位於 langchain-community 套件中，您也需要安裝 oci 套件

%pip install -qU langchain-community oci

例項化​

現在我們可以例項化我們的模型物件並產生聊天完成

from langchain_community.chat_models.oci_generative_ai import ChatOCIGenAI
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage

chat = ChatOCIGenAI(
    model_id="cohere.command-r-16k",
    service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
    compartment_id="MY_OCID",
    model_kwargs={"temperature": 0.7, "max_tokens": 500},
)

調用​

messages = [
    SystemMessage(content="your are an AI assistant."),
    AIMessage(content="Hi there human!"),
    HumanMessage(content="tell me a joke."),
]
response = chat.invoke(messages)
print(response.content)

鏈結​

我們可以像這樣使用提示範本鏈結我們的模型

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_template("Tell me a joke about {topic}")
chain = prompt | chat

response = chain.invoke({"topic": "dogs"})
print(response.content)
API 參考：ChatPromptTemplate

API 參考​

有關所有 ChatOCIGenAI 功能和配置的詳細文件，請參閱 API 參考：https://langchain-python.dev.org.tw/api_reference/community/chat_models/langchain_community.chat_models.oci_generative_ai.ChatOCIGenAI.html

此頁面是否對您有幫助？