ModelScope

ModelScope 是一個大型的模型和數據集儲存庫。

本頁面介紹如何在 LangChain 中使用 modelscope 生態系統。它分為兩個部分：安裝與設定，以及特定 modelscope 封裝器的參考資料。

安裝

pip install -U langchain-modelscope-integration

前往 ModelScope 註冊並產生 SDK 令牌。完成後，設定 MODELSCOPE_SDK_TOKEN 環境變數

export MODELSCOPE_SDK_TOKEN=<your_sdk_token>

聊天模型

ModelScopeChatEndpoint 類別公開了來自 ModelScope 的聊天模型。請參閱此處查看可用的模型。

from langchain_modelscope import ModelScopeChatEndpoint

llm = ModelScopeChatEndpoint(model="Qwen/Qwen2.5-Coder-32B-Instruct")
llm.invoke("Sing a ballad of LangChain.")

嵌入

ModelScopeEmbeddings 類別公開了來自 ModelScope 的嵌入。

from langchain_modelscope import ModelScopeEmbeddings

embeddings = ModelScopeEmbeddings(model_id="damo/nlp_corom_sentence-embedding_english-base")
embeddings.embed_query("What is the meaning of life?")

LLMs

ModelScopeLLM 類別公開了來自 ModelScope 的 LLMs。

from langchain_modelscope import ModelScopeLLM

llm = ModelScopeLLM(model="Qwen/Qwen2.5-Coder-32B-Instruct")
llm.invoke("The meaning of life is")