Friendli AI

FriendliAI 透過可擴展、高效的部署選項，增強 AI 應用程式效能並最佳化成本節省，專為高需求 AI 工作負載量身打造。

安裝與設定

安裝 friendli-client python 套件。

pip install -U langchain_community friendli-client

登入 Friendli Suite 以建立個人存取權杖，並將其設定為 FRIENDLI_TOKEN 環境變數。

聊天模型

請參閱使用範例。

from langchain_community.chat_models.friendli import ChatFriendli

chat = ChatFriendli(model='meta-llama-3.1-8b-instruct')

for m in chat.stream("Tell me fun things to do in NYC"):
    print(m.content, end="", flush=True)

API 參考：ChatFriendli

LLMs

請參閱使用範例。

from langchain_community.llms.friendli import Friendli

llm = Friendli(model='meta-llama-3.1-8b-instruct')

print(llm.invoke("def bubble_sort(): "))

API 參考：Friendli