IPEX-LLM：在 Intel GPU 上進行本地 BGE 嵌入
IPEX-LLM 是一個 PyTorch 函式庫，用於在 Intel CPU 和 GPU（例如，具有 iGPU 的本地 PC，獨立 GPU 如 Arc、Flex 和 Max）上以非常低的延遲執行 LLM。
此範例說明如何使用 LangChain 在 Intel GPU 上透過 ipex-llm 最佳化執行嵌入任務。這在 RAG、文件 QA 等應用程式中會很有幫助。
注意
建議僅有搭載 Intel Arc A 系列 GPU（Intel Arc A300 系列或 Pro A60 除外）的 Windows 使用者直接執行此 Jupyter Notebook。對於其他情況（例如 Linux 使用者、Intel iGPU 等），建議在終端機中使用 Python 指令碼執行程式碼，以獲得最佳體驗。
安裝先決條件
為了從 Intel GPU 上的 IPEX-LLM 受益，工具安裝和環境準備需要幾個先決條件步驟。
如果您是 Windows 使用者，請造訪在 Windows 上使用 Intel GPU 安裝 IPEX-LLM 指南，並按照安裝先決條件更新 GPU 驅動程式（可選）並安裝 Conda。
如果您是 Linux 使用者，請造訪在 Linux 上使用 Intel GPU 安裝 IPEX-LLM，並按照安裝先決條件安裝 GPU 驅動程式、Intel® oneAPI Base Toolkit 2024.0 和 Conda。
設定
在安裝先決條件之後，您應該已建立一個 Conda 環境，其中安裝了所有先決條件。在此 Conda 環境中啟動 jupyter 服務
%pip install -qU langchain langchain-community
安裝 IPEX-LLM 以在 Intel GPU 上進行最佳化，以及 sentence-transformers。
%pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/
%pip install sentence-transformers
注意
您也可以使用
https://pytorch-extension.intel.com/release-whl/stable/xpu/cn/作為額外的 indel-url。
執行階段配置
為了獲得最佳效能，建議根據您的裝置設定幾個環境變數
適用於搭載 Intel Core Ultra 整合式 GPU 的 Windows 使用者
import os
os.environ["SYCL_CACHE_PERSISTENT"] = "1"
os.environ["BIGDL_LLM_XMX_DISABLED"] = "1"
適用於搭載 Intel Arc A 系列 GPU 的 Windows 使用者
import os
os.environ["SYCL_CACHE_PERSISTENT"] = "1"
注意
對於每個模型首次在 Intel iGPU/Intel Arc A300 系列或 Pro A60 上執行，可能需要幾分鐘才能編譯。
基本用法
在初始化 IpexLLMBgeEmbeddings 時，在 model_kwargs 中將 device 設定為 "xpu"，會將嵌入模型放在 Intel GPU 上，並從 IPEX-LLM 最佳化中受益
from langchain_community.embeddings import IpexLLMBgeEmbeddings
embedding_model = IpexLLMBgeEmbeddings(
model_name="BAAI/bge-large-en-v1.5",
model_kwargs={"device": "xpu"},
encode_kwargs={"normalize_embeddings": True},
)
API 參考
sentence = "IPEX-LLM is a PyTorch library for running LLM on Intel CPU and GPU (e.g., local PC with iGPU, discrete GPU such as Arc, Flex and Max) with very low latency."
query = "What is IPEX-LLM?"
text_embeddings = embedding_model.embed_documents([sentence, query])
print(f"text_embeddings[0][:10]: {text_embeddings[0][:10]}")
print(f"text_embeddings[1][:10]: {text_embeddings[1][:10]}")
query_embedding = embedding_model.embed_query(query)
print(f"query_embedding[:10]: {query_embedding[:10]}")