PipelineAI
PipelineAI 允許您在雲端大規模運行您的 ML 模型。它還提供對 多個 LLM 模型的 API 存取權。
本筆記型電腦將介紹如何將 Langchain 與 PipelineAI 一起使用。
PipelineAI 範例
此範例展示了 PipelineAI 如何與 LangChain 集成，它是由 PipelineAI 創建的。
設定
需要 pipeline-ai 庫才能使用 PipelineAI API，又名 Pipeline Cloud。 使用 pip install pipeline-ai 安裝 pipeline-ai。
# Install the package
%pip install --upgrade --quiet pipeline-ai
範例
匯入
import os
from langchain_community.llms import PipelineAI
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import PromptTemplate
設定環境 API 金鑰
請務必從 PipelineAI 取得您的 API 金鑰。 請參閱雲端快速入門指南。 您將獲得 30 天的免費試用期，以及 10 小時的無伺服器 GPU 計算時間，用於測試不同的模型。
os.environ["PIPELINE_API_KEY"] = "YOUR_API_KEY_HERE"
建立 PipelineAI 實例
在實例化 PipelineAI 時，您需要指定要使用的 Pipeline 的 ID 或標籤，例如pipeline_key = "public/gpt-j:base"。 然後，您可以選擇傳遞額外的、特定於 Pipeline 的關鍵字引數。
llm = PipelineAI(pipeline_key="YOUR_PIPELINE_KEY", pipeline_kwargs={...})
建立提示範本
我們將為問答建立一個提示範本。
template = """Question: {question}
Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)
啟動 LLMChain
llm_chain = prompt | llm | StrOutputParser()
執行 LLMChain
提供一個問題並執行 LLMChain。
question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"
llm_chain.invoke(question)