Airbyte JSON (已棄用)

注意：AirbyteJSONLoader 已棄用。請改用 AirbyteLoader。

Airbyte 是一個資料整合平台，適用於從 API、資料庫和檔案到資料倉儲和資料湖的 ELT 管道。它擁有最大的 ELT 連接器目錄，可連接到資料倉儲和資料庫。

本節介紹如何將 Airbyte 的任何來源載入到可以讀取為文件的本機 JSON 檔案中

先決條件：已安裝 Docker Desktop

步驟

從 GitHub 克隆 Airbyte - git clone https://github.com/airbytehq/airbyte.git
切換到 Airbyte 目錄 - cd airbyte
啟動 Airbyte - docker compose up
在您的瀏覽器中，只需訪問 https://127.0.0.1:8000。系統將要求您輸入使用者名稱和密碼。預設情況下，使用者名稱為 airbyte ，密碼為 password。
設定您想要的任何來源。
將目的地設定為本機 JSON，並指定目的地路徑 - 假設為 /json_data。設定手動同步。
執行連線。
若要查看建立的檔案，您可以導航至：file:///tmp/airbyte_local
找到您的資料並複製路徑。該路徑應儲存在下面的檔案變數中。它應該以 /tmp/airbyte_local 開頭

from langchain_community.document_loaders import AirbyteJSONLoader

API 參考：AirbyteJSONLoader

!ls /tmp/airbyte_local/json_data/

_airbyte_raw_pokemon.jsonl

loader = AirbyteJSONLoader("/tmp/airbyte_local/json_data/_airbyte_raw_pokemon.jsonl")

data = loader.load()

print(data[0].page_content[:500])

abilities: 
ability: 
name: blaze
url: https://pokeapi.co/api/v2/ability/66/

is_hidden: False
slot: 1


ability: 
name: solar-power
url: https://pokeapi.co/api/v2/ability/94/

is_hidden: True
slot: 3

base_experience: 267
forms: 
name: charizard
url: https://pokeapi.co/api/v2/pokemon-form/6/

game_indices: 
game_index: 180
version: 
name: red
url: https://pokeapi.co/api/v2/version/1/



game_index: 180
version: 
name: blue
url: https://pokeapi.co/api/v2/version/2/



game_index: 180
version: 
n

文件載入器概念指南
文件載入器操作指南

相關​

此頁面是否對您有幫助？

相關