跳到主要內容
Open on GitHub

LlamaEdge

LlamaEdge 是在本地端或邊緣執行客製化和微調 LLM 最簡單快速的方式。

  • 輕量級推論應用程式。LlamaEdge 的大小是以 MB 為單位，而非 GB
  • 原生和 GPU 加速效能
  • 支援多種 GPU 和硬體加速器
  • 支援多種最佳化推論函式庫
  • 廣泛的 AI / LLM 模型選擇

安裝與設定​

請參閱安裝指示。

聊天模型​

請參閱使用範例。

from langchain_community.chat_models.llama_edge import LlamaEdgeChatService

此頁面是否對您有幫助？