跳至主要內容

DeepSparse

本頁介紹如何在 LangChain 中使用 DeepSparse 推論執行階段。它分為兩個部分：安裝和設定，然後是 DeepSparse 的使用範例。

安裝和設定​

  • 使用 pip install deepsparse 安裝 Python 套件
  • 選擇 SparseZoo 模型 或使用 Optimum 將支援的模型匯出到 ONNX

存在一個 DeepSparse LLM 包裝器，為所有模型提供統一的介面

from langchain_community.llms import DeepSparse

llm = DeepSparse(
    model="zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none"
)

print(llm.invoke("def fib():"))
API 參考：DeepSparse

可以使用 config 參數傳遞其他參數

config = {"max_generated_tokens": 256}

llm = DeepSparse(
    model="zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none",
    config=config,
)

此頁面是否對您有幫助？