Microsoft SharePoint
Microsoft SharePoint 是一個基於網站的協作系統,它使用工作流程應用程式、「清單」資料庫和其他 Web 組件和安全功能,使業務團隊能夠協同工作,由 Microsoft 開發。
本筆記本涵蓋了如何從 SharePoint 文件庫 載入文件。 預設情況下,文件載入器會載入 pdf
、doc
、docx
和 txt
檔案。 您可以透過提供適當的剖析器來載入其他檔案類型(請參閱以下詳細資訊)。
先決條件
- 按照 Microsoft 身分識別平台 指示註冊應用程式。
- 註冊完成後,Azure 入口網站會顯示應用程式註冊的 [概觀] 窗格。 您會看到應用程式 (用戶端) 識別碼。 此值也稱為
client ID
,可在 Microsoft 身分識別平台中唯一識別您的應用程式。 - 在您將在項目 1 執行的步驟中,您可以將重新導向 URI 設定為
https://login.microsoftonline.com/common/oauth2/nativeclient
- 在您將在項目 1 執行的步驟中,在 [應用程式密碼] 區段下產生新的密碼 (
client_secret
)。 - 按照此 文件 中的指示,將以下
SCOPES
(offline_access
和Sites.Read.All
) 新增至您的應用程式。 - 若要從您的文件庫檢索檔案,您需要其 ID。 若要取得它,您需要
Tenant Name
、Collection ID
和Subsite ID
的值。 - 若要找到您的
Tenant Name
,請按照此 文件 中的指示操作。 取得此值後,只需從該值中移除.onmicrosoft.com
,並保留其餘部分作為您的Tenant Name
。 - 若要取得您的
Collection ID
和Subsite ID
,您需要您的 SharePointsite-name
。 您的SharePoint
網站 URL 具有以下格式https://<tenant-name>.sharepoint.com/sites/<site-name>
。 此 URL 的最後一部分是site-name
。 - 若要取得網站
Collection ID
,請在瀏覽器中點擊此 URL:https://<tenant>.sharepoint.com/sites/<site-name>/_api/site/id
並複製Edm.Guid
屬性的值。 - 若要取得
Subsite ID
(或網頁 ID),請使用:https://<tenant>.sharepoint.com/sites/<site-name>/_api/web/id
並複製Edm.Guid
屬性的值。 SharePoint 網站 ID
具有以下格式:<tenant-name>.sharepoint.com,<Collection ID>,<subsite ID>
。 您可以保留該值,以便在下一步中使用。- 請造訪 Graph Explorer Playground 以取得您的
Document Library ID
。 第一步是確保您已使用與您的 SharePoint 網站關聯的帳戶登入。 然後您需要向https://graph.microsoft.com/v1.0/sites/<SharePoint site ID>/drive
發出請求,並且回應將傳回一個具有欄位id
的有效負載,該欄位包含您的Document Library ID
。
🧑 從 SharePoint 文件庫擷取文件的說明
🔑 驗證
預設情況下,SharePointLoader
期望 CLIENT_ID
和 CLIENT_SECRET
的值必須儲存為名為 O365_CLIENT_ID
和 O365_CLIENT_SECRET
的環境變數。 您可以透過應用程式根目錄中的 .env
檔案或使用指令碼中的以下命令傳遞這些環境變數。
os.environ['O365_CLIENT_ID'] = "YOUR CLIENT ID"
os.environ['O365_CLIENT_SECRET'] = "YOUR CLIENT SECRET"
此載入器使用稱為 代表使用者 的驗證。 它是需要使用者同意的兩步驟驗證。 當您實例化載入器時,它將呼叫並列印一個 URL,使用者必須造訪該 URL 以允許應用程式具有所需的權限。 然後,使用者必須造訪此 URL 並同意該應用程式。 接著,使用者必須複製產生的頁面 URL 並將其貼回主控台。 如果登入嘗試成功,該方法將傳回 True。
from langchain_community.document_loaders.sharepoint import SharePointLoader
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID")
驗證完成後,載入器會將權杖 (o365_token.txt
) 儲存在 ~/.credentials/
資料夾中。 稍後可以使用此權杖進行驗證,而無需執行先前說明的複製/貼上步驟。 若要使用此權杖進行驗證,您需要在載入器的實例化中將 auth_with_token
參數變更為 True。
from langchain_community.document_loaders.sharepoint import SharePointLoader
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True)
🗂️ 文件載入器
📑 從文件庫目錄載入文件
SharePointLoader
可以從文件庫中的特定資料夾載入文件。 例如,您想要載入儲存在文件庫中 Documents/marketing
資料夾中的所有文件。
from langchain_community.document_loaders.sharepoint import SharePointLoader
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", folder_path="Documents/marketing", auth_with_token=True)
documents = loader.load()
如果您收到錯誤訊息 Resource not found for the segment
,請嘗試使用 folder_id
而非資料夾路徑。您可以從 Microsoft Graph API 取得 folder_id
。
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True
folder_id="<folder-id>")
documents = loader.load()
如果您希望從根目錄載入文件,您可以省略 folder_id
、folder_path
和 documents_ids
,載入器將會載入根目錄。
# loads documents from root directory
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True)
documents = loader.load()
結合 recursive=True
,您可以輕鬆地從整個 SharePoint 載入所有文件
# loads documents from root directory
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID",
recursive=True,
auth_with_token=True)
documents = loader.load()
📑 從文件 ID 清單載入文件
另一種可能性是為您想要載入的每個文件提供 object_id
清單。 為此,您需要查詢 Microsoft Graph API 以找到您感興趣的所有文件 ID。 此連結提供了一系列端點,這些端點將有助於檢索文件 ID。
例如,要檢索儲存在 data/finance/
資料夾中的所有物件的資訊,您需要向以下位址發出請求:https://graph.microsoft.com/v1.0/drives/<document-library-id>/root:/data/finance:/children
。 一旦您擁有感興趣的 ID 列表,您就可以使用以下參數實例化載入器。
from langchain_community.document_loaders.sharepoint import SharePointLoader
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", object_ids=["ID_1", "ID_2"], auth_with_token=True)
documents = loader.load()
📑 選擇支援的檔案類型和偏好的解析器
預設情況下,SharePointLoader
使用預設解析器載入 document_loaders/parsers/registry
中定義的檔案類型 (見下文)。
def _get_default_parser() -> BaseBlobParser:
"""Get default mime-type based parser."""
return MimeTypeBasedParser(
handlers={
"application/pdf": PyMuPDFParser(),
"text/plain": TextParser(),
"application/msword": MsWordParser(),
"application/vnd.openxmlformats-officedocument.wordprocessingml.document": (
MsWordParser()
),
},
fallback_parser=None,
)
您可以透過將 handlers
引數傳遞給 SharePointLoader
來覆寫此行為。 傳遞一個字典,將檔案副檔名(例如 "doc"
、"pdf"
等)或 MIME 類型(例如 "application/pdf"
、"text/plain"
等)對應到解析器。 請注意,您必須專門使用檔案副檔名或 MIME 類型,並且不能將它們混合使用。
檔案副檔名不要包含前導點。
# using file extensions:
handlers = {
"doc": MsWordParser(),
"pdf": PDFMinerParser(),
"mp3": OpenAIWhisperParser()
}
# using MIME types:
handlers = {
"application/msword": MsWordParser(),
"application/pdf": PDFMinerParser(),
"audio/mpeg": OpenAIWhisperParser()
}
loader = SharePointLoader(document_library_id="...",
handlers=handlers # pass handlers to SharePointLoader
)
如果多個檔案副檔名對應到相同的 MIME 類型,則會套用最後一個字典項目。 範例
# 'jpg' and 'jpeg' both map to 'image/jpeg' MIME type. SecondParser() will be used
# to parse all jpg/jpeg files.
handlers = {
"jpg": FirstParser(),
"jpeg": SecondParser()
}