Infino

Infino 是一個開源的可觀測性平台，可同時儲存指標和應用程式日誌。

Infino 的主要功能包括：

• 指標追蹤：擷取 LLM 模型處理請求所花費的時間、錯誤、Token 數量以及特定 LLM 的成本指示。
• 資料追蹤：記錄和儲存每次 LangChain 互動的提示、請求和回應資料。
• 圖表視覺化：產生隨時間變化的基本圖表，描繪請求持續時間、錯誤發生次數、Token 數量和成本等指標。

安裝與設定

首先，您需要依照以下步驟安裝 infinopy Python 套件

pip install infinopy

如果您已經有正在運行的 Infino Server，那麼您就可以開始使用了；但如果沒有，請按照後續步驟啟動它

• 請確保您已安裝 Docker
• 在您的終端機中運行以下命令

  docker run --rm --detach --name infino-example -p 3000:3000 infinohq/infino:latest

使用 Infino

請參閱 InfinoCallbackHandler 的使用範例。

from langchain.callbacks import InfinoCallbackHandler

API 參考：InfinoCallbackHandler