lakeFS
lakeFS 提供對資料湖的可擴展版本控制,並使用類似 Git 的語義來建立和存取這些版本。
此筆記本涵蓋如何從 lakeFS
路徑(無論是物件還是前綴)載入文件物件。
初始化 lakeFS 載入器
將 ENDPOINT
、LAKEFS_ACCESS_KEY
和 LAKEFS_SECRET_KEY
值替換為您自己的值。
from langchain_community.document_loaders import LakeFSLoader
API 參考:LakeFSLoader
ENDPOINT = ""
LAKEFS_ACCESS_KEY = ""
LAKEFS_SECRET_KEY = ""
lakefs_loader = LakeFSLoader(
lakefs_access_key=LAKEFS_ACCESS_KEY,
lakefs_secret_key=LAKEFS_SECRET_KEY,
lakefs_endpoint=ENDPOINT,
)
指定路徑
您可以指定前綴或完整的物件路徑,以控制要載入哪些檔案。
在相應的 REPO
、REF
和 PATH
中指定儲存庫、參考(分支、提交 ID 或標籤)和路徑,以從中載入文件
REPO = ""
REF = ""
PATH = ""
lakefs_loader.set_repo(REPO)
lakefs_loader.set_ref(REF)
lakefs_loader.set_path(PATH)
docs = lakefs_loader.load()
docs