KoboldAI API
KoboldAI 是一個「基於瀏覽器的前端，用於 AI 輔助寫作，具有多個本機和遠端 AI 模型...」。它具有公用和本機 API，可用於 langchain。
此範例說明如何將 LangChain 與該 API 搭配使用。
文件可在瀏覽器中找到，在端點末尾新增 /api 即可（例如 http://127.0.0.1/:5000/api）。
from langchain_community.llms import KoboldApiLLM
API 參考：KoboldApiLLM
將下方看到的端點替換為使用 --api 或 --public-api 啟動 webui 後輸出中顯示的端點
您可以選擇性地傳入溫度或 max_length 等參數
llm = KoboldApiLLM(endpoint="http://192.168.1.144:5000", max_length=80)
response = llm.invoke(
"### Instruction:\nWhat is the first book of the bible?\n### Response:"
)