PipelineAI
PipelineAI 讓您在雲端大規模運行 ML 模型。它還提供對多個 LLM 模型的 API 訪問權限。
本筆記本介紹如何將 Langchain 與 PipelineAI 一起使用。
PipelineAI 範例
此範例展示了 PipelineAI 如何與 LangChain 集成，它由 PipelineAI 創建。
設定
使用 `PipelineAI` API（又名 `Pipeline Cloud`）需要 `pipeline-ai` 函式庫。使用 `pip install pipeline-ai` 安裝 `pipeline-ai`。
# Install the package
%pip install --upgrade --quiet pipeline-ai
範例
導入
import os
from langchain_community.llms import PipelineAI
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import PromptTemplate
設定環境 API 金鑰
請務必從 PipelineAI 獲取您的 API 金鑰。查看雲端快速入門指南。您將獲得 30 天的免費試用，以及 10 小時的無伺服器 GPU 計算時間，用於測試不同的模型。
os.environ["PIPELINE_API_KEY"] = "YOUR_API_KEY_HERE"
建立 PipelineAI 實例
在實例化 PipelineAI 時，您需要指定要使用的管道的 ID 或標籤，例如 pipeline_key = "public/gpt-j:base"。然後，您可以選擇傳遞其他特定於管道的關鍵字引數。
llm = PipelineAI(pipeline_key="YOUR_PIPELINE_KEY", pipeline_kwargs={...})
建立提示範本
我們將為問答建立一個提示範本。
template = """Question: {question}
Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)
啟動 LLMChain
llm_chain = prompt | llm | StrOutputParser()
執行 LLMChain
提供一個問題並執行 LLMChain。
question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"
llm_chain.invoke(question)