BSHTMLLoader
本筆記本提供使用 BeautifulSoup4 文件載入器的快速入門概述。如需所有 __ModuleName__Loader 功能和組態的詳細文件，請前往 API 參考。
概述 (Overview)
整合詳細資訊 (Integration details)
| 類別 (Class) | 套件 (Package) | 本地 (Local) | 可序列化 (Serializable) | JS 支援 (JS support) |
|---|---|---|---|---|
| BSHTMLLoader | langchain_community | ✅ | ❌ | ❌ |
載入器功能 (Loader features)
| 來源 (Source) | 文件延遲載入 (Document Lazy Loading) | 原生非同步支援 (Native Async Support) |
|---|---|---|
| BSHTMLLoader | ✅ | ❌ |
設定 (Setup)
若要存取 BSHTMLLoader 文件載入器，您需要安裝 langchain-community 整合套件和 bs4 Python 套件。
憑證 (Credentials)
使用 BSHTMLLoader 類別不需要任何憑證。
如果您想要取得自動化的最佳模型呼叫追蹤，您也可以取消註解下方內容來設定您的 LangSmith API 金鑰
# os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
# os.environ["LANGSMITH_TRACING"] = "true"
安裝 (Installation)
安裝 langchain_community 和 bs4。
%pip install -qU langchain_community bs4
初始化 (Initialization)
現在我們可以實例化我們的模型物件並載入文件
- TODO：使用相關參數更新模型實例化。
from langchain_community.document_loaders import BSHTMLLoader
loader = BSHTMLLoader(
file_path="./example_data/fake-content.html",
)
API 參考：BSHTMLLoader
載入 (Load)
docs = loader.load()
docs[0]
Document(metadata={'source': './example_data/fake-content.html', 'title': 'Test Title'}, page_content='\nTest Title\n\n\nMy First Heading\nMy first paragraph.\n\n\n')
print(docs[0].metadata)
{'source': './example_data/fake-content.html', 'title': 'Test Title'}
延遲載入 (Lazy Load)
page = []
for doc in loader.lazy_load():
page.append(doc)
if len(page) >= 10:
# do some paged operation, e.g.
# index.upsert(page)
page = []
page[0]
Document(metadata={'source': './example_data/fake-content.html', 'title': 'Test Title'}, page_content='\nTest Title\n\n\nMy First Heading\nMy first paragraph.\n\n\n')
將分隔符號新增至 BS4 (Adding separator to BS4)
我們也可以傳遞分隔符號，以便在使用 soup 呼叫 get_text 時使用
loader = BSHTMLLoader(
file_path="./example_data/fake-content.html", get_text_separator=", "
)
docs = loader.load()
print(docs[0])
page_content='
, Test Title,
,
,
, My First Heading,
, My first paragraph.,
,
,
' metadata={'source': './example_data/fake-content.html', 'title': 'Test Title'}
API 參考 (API reference)
如需所有 BSHTMLLoader 功能和組態的詳細文件，請前往 API 參考：https://langchain-python.dev.org.tw/api_reference/community/document_loaders/langchain_community.document_loaders.html_bs.BSHTMLLoader.html