Shale 協議

Shale 協議 為開放 LLM 提供生產就緒的推論 API。由於它託管在高度可擴展的 GPU 雲基礎架構上，因此是隨插即用的 API。

我們的免費方案支援每個金鑰每天最多 1K 個請求，因為我們希望消除任何人開始使用 LLM 建構 genAI 應用程式的障礙。

透過 Shale 協議，開發人員/研究人員可以免費建立應用程式並探索開放 LLM 的功能。

此頁面涵蓋如何將 Shale-Serve API 與 LangChain 結合。

截至 2023 年 6 月，API 預設支援 Vicuna-13B。我們將在未來版本中支援更多 LLM，例如 Falcon-40B。

如何

1. 在 https://shaleprotocol.com 上找到我們 Discord 的連結。透過我們 Discord 上的「Shale Bot」產生 API 金鑰。無需信用卡，也沒有免費試用。這是一個永久免費方案，每個 API 金鑰每天限制 1K 個請求。

2. 使用 https://shale.live/v1 作為 OpenAI API 的直接替代方案

例如

from langchain_openai import OpenAI
from langchain_core.prompts import PromptTemplate
from langchain_core.output_parsers import StrOutputParser

import os
os.environ['OPENAI_API_BASE'] = "https://shale.live/v1"
os.environ['OPENAI_API_KEY'] = "ENTER YOUR API KEY"

llm = OpenAI()

template = """Question: {question}

# Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)


llm_chain = prompt | llm | StrOutputParser()

question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"

llm_chain.invoke(question)

API 參考：OpenAI | PromptTemplate | StrOutputParser