跳到主要內容
Open on GitHub

NVIDIA

langchain-nvidia-ai-endpoints 套件包含 LangChain 整合，用於建構使用 NVIDIA NIM 推論微服務模型的應用程式。NIM 支援來自社群以及 NVIDIA 的跨領域模型，例如聊天、嵌入和重新排序模型。這些模型經過 NVIDIA 優化，可在 NVIDIA 加速基礎架構上提供最佳效能，並部署為 NIM，這是一種易於使用、預先建置的容器，可使用單一命令在 NVIDIA 加速基礎架構上隨處部署。

NIM 的 NVIDIA 託管部署可在 NVIDIA API 目錄上進行測試。測試後，可以使用 NVIDIA AI Enterprise 授權從 NVIDIA 的 API 目錄匯出 NIM，並在內部部署或雲端中執行，讓企業擁有其 IP 和 AI 應用程式的所有權和完全控制權。

NIM 以每個模型為基礎封裝為容器映像，並透過 NVIDIA NGC Catalog 作為 NGC 容器映像發布。NIM 的核心是為在 AI 模型上執行推論提供簡單、一致且熟悉的 API。

以下是如何使用一些圍繞文字生成和嵌入模型的常見功能的範例。

安裝​

pip install -U --quiet langchain-nvidia-ai-endpoints

設定​

開始使用

  1. 建立一個 NVIDIA 免費帳戶，其中託管 NVIDIA AI 基礎模型。

  2. 點擊您選擇的模型。

  3. 在「輸入」下，選取「Python」標籤，然後點擊 Get API Key。然後點擊 Generate Key。

  4. 複製產生的金鑰並儲存為 NVIDIA_API_KEY。從那裡，您應該可以存取端點。

import getpass
import os

if not os.environ.get("NVIDIA_API_KEY", "").startswith("nvapi-"):
    nvidia_api_key = getpass.getpass("Enter your NVIDIA API key: ")
    assert nvidia_api_key.startswith("nvapi-"), f"{nvidia_api_key[:5]}... is not a valid key"
    os.environ["NVIDIA_API_KEY"] = nvidia_api_key

使用 NVIDIA API 目錄​

from langchain_nvidia_ai_endpoints import ChatNVIDIA

llm = ChatNVIDIA(model="mistralai/mixtral-8x22b-instruct-v0.1")
result = llm.invoke("Write a ballad about LangChain.")
print(result.content)
API 參考文件：ChatNVIDIA

使用 API，您可以查詢 NVIDIA API 目錄上提供的即時端點，以從 DGX 託管的雲端運算環境獲得快速結果。所有模型都是原始碼可存取的，並且可以使用 NVIDIA NIM（它是 NVIDIA AI Enterprise 的一部分）部署在您自己的運算叢集上，如下一節 使用 NVIDIA NIM 所示。

使用 NVIDIA NIM​

準備好部署時，您可以使用 NVIDIA NIM 自行託管模型（NVIDIA NIM 包含在 NVIDIA AI Enterprise 軟體授權中），並在任何地方執行它們，讓您擁有自訂項目的所有權，並完全控制您的智慧財產權 (IP) 和 AI 應用程式。

了解更多關於 NIM 的資訊

from langchain_nvidia_ai_endpoints import ChatNVIDIA, NVIDIAEmbeddings, NVIDIARerank

# connect to a chat NIM running at localhost:8000, specifying a model
llm = ChatNVIDIA(base_url="https://127.0.0.1:8000/v1", model="meta/llama3-8b-instruct")

# connect to an embedding NIM running at localhost:8080
embedder = NVIDIAEmbeddings(base_url="https://127.0.0.1:8080/v1")

# connect to a reranking NIM running at localhost:2016
ranker = NVIDIARerank(base_url="https://127.0.0.1:2016/v1")

使用 NVIDIA AI 基礎模型端點​

LangChain 直接支援精選的 NVIDIA AI 基礎模型，並提供熟悉的 API。

支援的現用模型可在 API 目錄中找到。

以下範例可能對您開始使用有所幫助

此頁面是否對您有幫助？