DeepSparse

本頁涵蓋如何在 LangChain 中使用 DeepSparse 推論執行階段。它分為兩個部分：安裝與設定，以及 DeepSparse 使用範例。

安裝與設定

使用 pip install deepsparse 安裝 Python 套件
選擇一個 SparseZoo 模型或使用 Optimum 將支援的模型匯出為 ONNX

LLMs

存在 DeepSparse LLM 封裝器，您可以使用以下方式存取：

from langchain_community.llms import DeepSparse

API 參考：DeepSparse

它為所有模型提供統一的介面

llm = DeepSparse(model='zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none')

print(llm.invoke('def fib():'))

可以使用 config 參數傳遞其他參數

config = {'max_generated_tokens': 256}

llm = DeepSparse(model='zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none', config=config)

安裝與設定​

LLMs​

此頁面是否對您有幫助？

安裝與設定

LLMs