跳到主要內容
Open In ColabOpen on GitHub

DeepSparse

本頁涵蓋如何在 LangChain 中使用 DeepSparse 推論執行階段。它分為兩個部分：安裝與設定，以及 DeepSparse 用法範例。

安裝與設定​

  • 使用 pip install deepsparse 安裝 Python 套件
  • 選擇 SparseZoo 模型 或使用 Optimum 將支援模型匯出為 ONNX

存在 DeepSparse LLM 封裝器，為所有模型提供統一介面

from langchain_community.llms import DeepSparse

llm = DeepSparse(
    model="zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none"
)

print(llm.invoke("def fib():"))
API 參考：DeepSparse

可以使用 config 參數傳遞其他參數

config = {"max_generated_tokens": 256}

llm = DeepSparse(
    model="zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none",
    config=config,
)

此頁面是否對您有幫助？