回調 | 🦜️🔗 LangChain 框架

📄️ Argilla

Argilla 是一個適用於 LLM 的開放原始碼資料策展平台。

有兩種方式可以使用 Comet 追蹤您的 LangChains 執行

DeepEval 套件，用於單元測試 LLM。

Context 為 LLM 驅動的產品和功能提供使用者分析。

Fiddler 是企業生成式和預測系統營運的先驅，提供統一平台，讓資料科學、MLOps、風險、合規、分析和其他業務線團隊能夠以企業規模監控、解釋、分析和改進 ML 部署。

Infino 是一個可擴展的遙測儲存庫，專為日誌、指標和追蹤而設計。Infino 可以作為獨立的可觀察性解決方案，也可以作為您的可觀察性堆疊中的儲存層。

Label Studio 是一個開放原始碼資料標記平台，在為微調大型語言模型 (LLM) 標記資料時，為 LangChain 提供彈性。它還可以準備自訂訓練資料，並透過人工回饋收集和評估回應。

LLMonitor 是一個開放原始碼可觀察性平台，提供成本和使用情況分析、使用者追蹤、追蹤和評估工具。

PromptLayer 是一個用於提示工程的平台。它還有助於 LLM 可觀察性，以視覺化請求、版本提示和追蹤使用情況。

Amazon SageMaker 是一種全託管服務，用於快速輕鬆地建置、訓練和部署機器學習 (ML) 模型。

Streamlit 是一種更快建置和分享資料應用程式的方式。

Trubrics 是一個 LLM 使用者分析平台，可讓您收集、分析和管理使用者

在本指南中，我們將介紹如何使用 UpstashRatelimitHandler 根據請求數量或權杖數量新增速率限制。此處理常式使用 Upstash 的 ratelimit 程式庫，該程式庫使用 Upstash Redis。

UpTrain [github || website || docs] 是一個開放原始碼平台，用於評估和改進 LLM 應用程式。它為 20 多個預先配置的檢查（涵蓋語言、程式碼、嵌入使用案例）提供評分，對失敗案例的實例執行根本原因分析，並為解決這些問題提供指導。