GitHub
此筆記本展示如何載入 GitHub 上指定儲存庫的問題和提取請求 (PR)。 也展示如何載入 GitHub 上指定儲存庫的 github 檔案。 我們將使用 LangChain Python 儲存庫作為範例。
設定存取權杖
若要存取 GitHub API,您需要個人存取權杖 - 您可以在此處設定您的權杖:https://github.com/settings/tokens?type=beta。 您可以將此權杖設定為環境變數 GITHUB_PERSONAL_ACCESS_TOKEN
,它將自動提取,或者您可以在初始化時將其作為名為 access_token
的參數直接傳入。
# If you haven't set your access token as an environment variable, pass it in here.
from getpass import getpass
ACCESS_TOKEN = getpass()
載入問題和 PR
from langchain_community.document_loaders import GitHubIssuesLoader
API 參考:GitHubIssuesLoader
loader = GitHubIssuesLoader(
repo="langchain-ai/langchain",
access_token=ACCESS_TOKEN, # delete/comment out this argument if you've set the access token as an env var.
creator="UmerHA",
)
讓我們載入由 "UmerHA" 建立的所有問題和 PR。
以下是您可以使用的所有篩選器清單
- include_prs
- milestone
- state
- assignee
- creator
- mentioned
- labels
- sort
- direction
- since
如需更多資訊,請參閱 https://docs.github.com/en/rest/issues/issues?apiVersion=2022-11-28#list-repository-issues。
docs = loader.load()
print(docs[0].page_content)
print(docs[0].metadata)
僅載入問題
預設情況下,GitHub API 傳回時會將提取請求也視為問題。 若要僅取得「純粹」問題(即,沒有提取請求),請使用 include_prs=False
loader = GitHubIssuesLoader(
repo="langchain-ai/langchain",
access_token=ACCESS_TOKEN, # delete/comment out this argument if you've set the access token as an env var.
creator="UmerHA",
include_prs=False,
)
docs = loader.load()
print(docs[0].page_content)
print(docs[0].metadata)
載入 Github 檔案內容
對於以下程式碼,載入 rpeo langchain-ai/langchain
中的所有 markdown 檔案
from langchain_community.document_loaders import GithubFileLoader
API 參考:GithubFileLoader
loader = GithubFileLoader(
repo="langchain-ai/langchain", # the repo name
branch="master", # the branch name
access_token=ACCESS_TOKEN,
github_api_url="https://api.github.com",
file_filter=lambda file_path: file_path.endswith(
".md"
), # load all markdowns files.
)
documents = loader.load()
其中一個文件的範例輸出
document.metadata:
{
"path": "README.md",
"sha": "82f1c4ea88ecf8d2dfsfx06a700e84be4",
"source": "https://github.com/langchain-ai/langchain/blob/master/README.md"
}
document.content:
mock content