跳到主要內容

MLX 本地管線

MLX 模型可以透過 MLXPipeline 類別在本機執行。

MLX 社群託管超過 150 個模型，所有模型皆為開放原始碼，並在 Hugging Face Model Hub 線上平台公開提供，人們可以在此輕鬆協作並共同建構 ML。

這些可以從 LangChain 呼叫，透過此本地管線包裝器，或透過 MlXPipeline 類別呼叫其託管的推論端點。如需 mlx 的更多資訊，請參閱範例儲存庫筆記本。

若要使用，您應該安裝 mlx-lm python 套件，以及 transformers。您也可以安裝 huggingface_hub。

%pip install --upgrade --quiet  mlx-lm transformers huggingface_hub

模型載入​

可以透過使用 from_model_id 方法指定模型參數來載入模型。

from langchain_community.llms.mlx_pipeline import MLXPipeline

pipe = MLXPipeline.from_model_id(
    "mlx-community/quantized-gemma-2b-it",
    pipeline_kwargs={"max_tokens": 10, "temp": 0.1},
)
API 參考：MLXPipeline

也可以透過直接傳入現有的 transformers 管線來載入它們

from mlx_lm import load

model, tokenizer = load("mlx-community/quantized-gemma-2b-it")
pipe = MLXPipeline(model=model, tokenizer=tokenizer)

建立鏈​

將模型載入記憶體後，您可以將其與提示詞組合以形成鏈。

from langchain_core.prompts import PromptTemplate

template = """Question: {question}

Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)

chain = prompt | pipe

question = "What is electroencephalography?"

print(chain.invoke({"question": question}))
API 參考：PromptTemplate

此頁面是否對您有幫助？