llamafile

llamafile 讓您以單一檔案發布和執行 LLM。

llamafile 使開放 LLM 對開發人員和終端使用者都更易於存取。llamafile 透過結合 llama.cpp 與 Cosmopolitan Libc 到一個框架中，將 LLM 的所有複雜性簡化為一個單一檔案可執行檔（稱為「llamafile」），該檔案可在大多數電腦上本地執行，無需安裝。

安裝與設定

請參閱安裝說明。

LLM

請參閱使用範例。

from langchain_community.llms.llamafile import Llamafile

API 參考：Llamafile

嵌入模型

請參閱使用範例。

from langchain_community.embeddings import LlamafileEmbeddings

API 參考：LlamafileEmbeddings