阿里云 PAI EAS
阿里云 PAI (Platform for AI) 是一個輕量且具成本效益的機器學習平台，採用雲原生技術。它為您提供端到端模型建構服務。在超過 100 種情境中，基於數百億特徵和數千億樣本加速模型訓練。
阿里云機器學習平台 (Machine Learning Platform for AI) 是一個專為企業和開發人員設計的機器學習或深度學習工程平台。它提供易於使用、具成本效益、高效能且易於擴展的插件，可應用於各種行業場景。
Machine Learning Platform for AI具有超過 140 種內建最佳化演算法，提供全流程 AI 工程能力，包括資料標記 (PAI-iTAG)、模型建構 (PAI-Designer和PAI-DSW)、模型訓練 (PAI-DLC)、編譯最佳化和推論部署 (PAI-EAS)。
PAI-EAS支援不同類型的硬體資源，包括 CPU 和 GPU，並具有高吞吐量和低延遲的特性。它讓您只需點擊幾下即可部署大規模複雜模型，並即時執行彈性擴容和縮容。它還提供完善的維運 (O&M) 和監控系統。
設定 EAS 服務
設定環境變數以初始化 EAS 服務 URL 和權杖。請參閱此文件以取得更多資訊。
export EAS_SERVICE_URL=XXX
export EAS_SERVICE_TOKEN=XXX
另一個選項是使用此程式碼
import os
from langchain_community.chat_models import PaiEasChatEndpoint
from langchain_core.language_models.chat_models import HumanMessage
os.environ["EAS_SERVICE_URL"] = "Your_EAS_Service_URL"
os.environ["EAS_SERVICE_TOKEN"] = "Your_EAS_Service_Token"
chat = PaiEasChatEndpoint(
eas_service_url=os.environ["EAS_SERVICE_URL"],
eas_service_token=os.environ["EAS_SERVICE_TOKEN"],
)
API 參考資料：PaiEasChatEndpoint | HumanMessage
執行聊天模型
您可以使用預設設定來呼叫 EAS 服務，如下所示
output = chat.invoke([HumanMessage(content="write a funny joke")])
print("output:", output)
或，使用新的推論參數呼叫 EAS 服務
kwargs = {"temperature": 0.8, "top_p": 0.8, "top_k": 5}
output = chat.invoke([HumanMessage(content="write a funny joke")], **kwargs)
print("output:", output)
或，執行串流呼叫以取得串流回應
outputs = chat.stream([HumanMessage(content="hi")], streaming=True)
for output in outputs:
print("stream output:", output)