LocalAI

LocalAI 是免費的開源 OpenAI 替代方案。 LocalAI 作為一個隨插即用的 REST API 替代品，與 OpenAI API 規範相容，用於本地推論。 它允許您在本地或內部部署環境中使用消費級硬體運行 LLM，生成圖像、音訊（以及其他），並支援多種模型系列和架構。

注意

為了確保適當的相容性，請確保您使用的是 **0.x** 版本的 `openai` SDK。

資訊

`langchain-localai` 是 LocalAI 的第三方整合套件。 它提供了一種在 Langchain 中使用 LocalAI 服務的簡單方法。 原始碼可在 Github 上取得

安裝與設定

我們必須安裝幾個 python 套件

pip install tenacity openai

嵌入模型

請參閱使用範例。

from langchain_localai import LocalAIEmbeddings