ScrapeGraph AI
ScrapeGraph AI 是一項服務,提供 AI 驅動的網頁抓取功能。它提供使用自然語言提示提取結構化數據、將網頁轉換為 markdown 以及處理本地 HTML 內容的工具。
安裝與設定
安裝所需的套件
pip install langchain-scrapegraph
設定您的 API 金鑰
export SGAI_API_KEY="your-scrapegraph-api-key"
工具
請參閱使用範例。
有四種工具可用
from langchain_scrapegraph.tools import (
SmartScraperTool, # Extract structured data from websites
MarkdownifyTool, # Convert webpages to markdown
LocalScraperTool, # Process local HTML content
GetCreditsTool, # Check remaining API credits
)
每種工具都有特定的用途
SmartScraperTool
:從網站提取結構化數據,給定網址、提示和可選的輸出架構MarkdownifyTool
:將任何網頁轉換為清晰的 markdown 格式LocalScraperTool
:從本地 HTML 檔案提取結構化數據,給定提示和可選的輸出架構GetCreditsTool
:檢查您剩餘的 ScrapeGraph AI 額度