Google Cloud SQL for MySQL

Cloud SQL 是一項全代管的關聯式資料庫服務，提供高效能、無縫整合和出色的擴充性。它提供 MySQL、PostgreSQL 和 SQL Server 資料庫引擎。擴充您的資料庫應用程式，利用 Cloud SQL 的 Langchain 整合來建立 AI 驅動的體驗。

本筆記本說明如何使用 Cloud SQL for MySQL，透過 MySQLLoader 和 MySQLDocumentSaver 來儲存、載入和刪除 langchain 文件。

在 GitHub 上瞭解有關該套件的更多資訊。

開始之前

若要執行此筆記本，您需要執行以下操作

在確認可以存取此筆記本的執行階段環境中的資料庫後，填寫以下值並在執行範例指令碼之前執行儲存格。

# @markdown Please fill in the both the Google Cloud region and name of your Cloud SQL instance.
REGION = "us-central1"  # @param {type:"string"}
INSTANCE = "test-instance"  # @param {type:"string"}

# @markdown Please specify a database and a table for demo purpose.
DATABASE = "test"  # @param {type:"string"}
TABLE_NAME = "test-default"  # @param {type:"string"}

🦜🔗 程式庫安裝

整合位於其自己的 langchain-google-cloud-sql-mysql 套件中，因此我們需要安裝它。

%pip install -upgrade --quiet langchain-google-cloud-sql-mysql

僅限 Colab：取消註解以下儲存格以重新啟動核心，或使用按鈕重新啟動核心。對於 Vertex AI Workbench，您可以使用頂部的按鈕重新啟動終端機。

# # Automatically restart kernel after installs so that your environment can access the new packages
# import IPython

# app = IPython.Application.instance()
# app.kernel.do_shutdown(True)

☁ 設定您的 Google Cloud 專案

設定您的 Google Cloud 專案，以便您可以在此筆記本中利用 Google Cloud 資源。

如果您不知道您的專案 ID，請嘗試以下操作

執行 gcloud config list。
執行 gcloud projects list。
請參閱支援頁面：尋找專案 ID。

# @markdown Please fill in the value below with your Google Cloud project ID and then run the cell.

PROJECT_ID = "my-project-id"  # @param {type:"string"}

# Set the project id
!gcloud config set project {PROJECT_ID}

🔐 驗證

以登入此筆記本的 IAM 使用者身分驗證 Google Cloud，以便存取您的 Google Cloud 專案。

如果您使用 Colab 執行此筆記本，請使用下面的儲存格並繼續。
如果您使用 Vertex AI Workbench，請查看此處的設定說明。

from google.colab import auth

auth.authenticate_user()

基本用法

MySQLEngine 連線池

在從 MySQL 資料表儲存或載入文件之前，我們需要先配置與 Cloud SQL 資料庫的連線池。 MySQLEngine 配置與 Cloud SQL 資料庫的連線池，從而實現應用程式的成功連線並遵循業界最佳實務。

若要使用 MySQLEngine.from_instance() 建立 MySQLEngine，您只需要提供 4 件事

project_id：Cloud SQL 執行個體所在的 Google Cloud 專案的專案 ID。
region：Cloud SQL 執行個體所在的區域。
instance：Cloud SQL 執行個體的名稱。
database：要連線到 Cloud SQL 執行個體的資料庫名稱。

依預設，IAM 資料庫驗證將用作資料庫驗證方法。此程式庫使用屬於從環境取得的應用程式預設憑證 (ADC) 的 IAM 主體。

如需 IAM 資料庫驗證的更多資訊，請參閱

或者，也可以使用內建資料庫驗證，使用使用者名稱和密碼來存取 Cloud SQL 資料庫。只要將選用的 user 和 password 引數提供給 MySQLEngine.from_instance() 即可

user：用於內建資料庫驗證和登入的資料庫使用者
password：用於內建資料庫驗證和登入的資料庫密碼。

from langchain_google_cloud_sql_mysql import MySQLEngine

engine = MySQLEngine.from_instance(
    project_id=PROJECT_ID, region=REGION, instance=INSTANCE, database=DATABASE
)

初始化表格

透過 MySQLEngine.init_document_table(<table_name>) 初始化預設 schema 的表格。表格欄位：

page_content (類型: text)
langchain_metadata (類型: JSON)

overwrite_existing=True 標記表示新初始化的表格將取代任何同名的現有表格。

engine.init_document_table(TABLE_NAME, overwrite_existing=True)

儲存文件

使用 MySQLDocumentSaver.add_documents(<documents>) 儲存 langchain 文件。要初始化 MySQLDocumentSaver 類別，您需要提供兩件事：

engine - MySQLEngine 引擎的實例。
table_name - Cloud SQL 資料庫中用於儲存 langchain 文件的表格名稱。

from langchain_core.documents import Document
from langchain_google_cloud_sql_mysql import MySQLDocumentSaver

test_docs = [
    Document(
        page_content="Apple Granny Smith 150 0.99 1",
        metadata={"fruit_id": 1},
    ),
    Document(
        page_content="Banana Cavendish 200 0.59 0",
        metadata={"fruit_id": 2},
    ),
    Document(
        page_content="Orange Navel 80 1.29 1",
        metadata={"fruit_id": 3},
    ),
]
saver = MySQLDocumentSaver(engine=engine, table_name=TABLE_NAME)
saver.add_documents(test_docs)

API 參考：Document

載入文件

使用 MySQLLoader.load() 或 MySQLLoader.lazy_load() 載入 langchain 文件。lazy_load 會回傳一個產生器，僅在迭代期間查詢資料庫。要初始化 MySQLLoader 類別，您需要提供：

engine - MySQLEngine 引擎的實例。
table_name - Cloud SQL 資料庫中用於儲存 langchain 文件的表格名稱。

from langchain_google_cloud_sql_mysql import MySQLLoader

loader = MySQLLoader(engine=engine, table_name=TABLE_NAME)
docs = loader.lazy_load()
for doc in docs:
    print("Loaded documents:", doc)

透過查詢載入文件

除了從表格載入文件外，我們還可以選擇從 SQL 查詢產生的檢視表中載入文件。例如：

from langchain_google_cloud_sql_mysql import MySQLLoader

loader = MySQLLoader(
    engine=engine,
    query=f"select * from `{TABLE_NAME}` where JSON_EXTRACT(langchain_metadata, '$.fruit_id') = 1;",
)
onedoc = loader.load()
onedoc

從 SQL 查詢產生的檢視表可以具有與預設表格不同的 schema。在這種情況下，MySQLLoader 的行為與從具有非預設 schema 的表格載入相同。請參閱載入具有自訂文件頁面內容 & metadata 的文件章節。

刪除文件

使用 MySQLDocumentSaver.delete(<documents>) 從 MySQL 表格中刪除 langchain 文件列表。

對於具有預設 schema（page_content, langchain_metadata）的表格，刪除標準為：

如果列表中存在一個 document，使得以下條件成立，則應刪除一個 row：

document.page_content 等於 row[page_content]
document.metadata 等於 row[langchain_metadata]

from langchain_google_cloud_sql_mysql import MySQLLoader

loader = MySQLLoader(engine=engine, table_name=TABLE_NAME)
docs = loader.load()
print("Documents before delete:", docs)
saver.delete(onedoc)
print("Documents after delete:", loader.load())

進階用法

載入具有自訂文件頁面內容 & metadata 的文件

首先，我們準備一個具有非預設 schema 的範例表格，並使用一些任意資料填充它。

import sqlalchemy

with engine.connect() as conn:
    conn.execute(sqlalchemy.text(f"DROP TABLE IF EXISTS `{TABLE_NAME}`"))
    conn.commit()
    conn.execute(
        sqlalchemy.text(
            f"""
            CREATE TABLE IF NOT EXISTS `{TABLE_NAME}`(
                fruit_id INT AUTO_INCREMENT PRIMARY KEY,
                fruit_name VARCHAR(100) NOT NULL,
                variety VARCHAR(50),
                quantity_in_stock INT NOT NULL,
                price_per_unit DECIMAL(6,2) NOT NULL,
                organic TINYINT(1) NOT NULL
            )
            """
        )
    )
    conn.execute(
        sqlalchemy.text(
            f"""
            INSERT INTO `{TABLE_NAME}` (fruit_name, variety, quantity_in_stock, price_per_unit, organic)
            VALUES
                ('Apple', 'Granny Smith', 150, 0.99, 1),
                ('Banana', 'Cavendish', 200, 0.59, 0),
                ('Orange', 'Navel', 80, 1.29, 1);
            """
        )
    )
    conn.commit()

如果我們仍然使用 MySQLLoader 的預設參數從此範例表格載入 langchain 文件，則載入文件的 page_content 將是表格的第一個欄位，而 metadata 將由所有其他欄位的鍵值對組成。

loader = MySQLLoader(
    engine=engine,
    table_name=TABLE_NAME,
)
loader.load()

我們可以透過在初始化 MySQLLoader 時設定 content_columns 和 metadata_columns 來指定我們要載入的內容和 metadata。

content_columns：要寫入文件 page_content 中的欄位。
metadata_columns：要寫入文件 metadata 中的欄位。

例如，在此處，content_columns 中的欄位值將連接成一個以空格分隔的字串，作為載入文件的 page_content，並且載入文件的 metadata 將僅包含 metadata_columns 中指定的欄位的鍵值對。

loader = MySQLLoader(
    engine=engine,
    table_name=TABLE_NAME,
    content_columns=[
        "variety",
        "quantity_in_stock",
        "price_per_unit",
        "organic",
    ],
    metadata_columns=["fruit_id", "fruit_name"],
)
loader.load()

儲存具有自訂頁面內容 & metadata 的文件

為了將 langchain 文件儲存到具有自訂 metadata 欄位的表格中，我們需要首先透過 MySQLEngine.init_document_table() 建立這樣的表格，並指定我們希望它擁有的 metadata_columns 列表。在此範例中，建立的表格將具有以下表格欄位：

description (類型: text)：用於儲存水果描述。
fruit_name (類型 text)：用於儲存水果名稱。
organic (類型 tinyint(1))：用於判斷水果是否為有機。
other_metadata (類型: JSON)：用於儲存水果的其他 metadata 資訊。

我們可以將以下參數與 MySQLEngine.init_document_table() 一起使用來建立表格：

table_name：Cloud SQL 資料庫中用於儲存 langchain 文件的表格名稱。
metadata_columns：sqlalchemy.Column 的列表，指示我們需要的 metadata 欄位列表。
content_column：用於儲存 langchain 文件 page_content 的欄位名稱。預設值：page_content。
metadata_json_column：用於儲存 langchain 文件的額外 metadata 的 JSON 欄位名稱。預設值：langchain_metadata。

engine.init_document_table(
    TABLE_NAME,
    metadata_columns=[
        sqlalchemy.Column(
            "fruit_name",
            sqlalchemy.UnicodeText,
            primary_key=False,
            nullable=True,
        ),
        sqlalchemy.Column(
            "organic",
            sqlalchemy.Boolean,
            primary_key=False,
            nullable=True,
        ),
    ],
    content_column="description",
    metadata_json_column="other_metadata",
    overwrite_existing=True,
)

使用 MySQLDocumentSaver.add_documents(<documents>) 儲存文件。正如您在本範例中所見：

document.page_content 將儲存到 description 欄位中。
document.metadata.fruit_name 將儲存到 fruit_name 欄位中。
document.metadata.organic 將儲存到 organic 欄位中。
document.metadata.fruit_id 將以 JSON 格式儲存到 other_metadata 欄位中。

test_docs = [
    Document(
        page_content="Granny Smith 150 0.99",
        metadata={"fruit_id": 1, "fruit_name": "Apple", "organic": 1},
    ),
]
saver = MySQLDocumentSaver(
    engine=engine,
    table_name=TABLE_NAME,
    content_column="description",
    metadata_json_column="other_metadata",
)
saver.add_documents(test_docs)

with engine.connect() as conn:
    result = conn.execute(sqlalchemy.text(f"select * from `{TABLE_NAME}`;"))
    print(result.keys())
    print(result.fetchall())

刪除具有自訂頁面內容 & metadata 的文件

我們也可以透過 MySQLDocumentSaver.delete(<documents>) 從具有自訂 metadata 欄位的表格中刪除文件。刪除標準為：

如果列表中存在一個 document，使得以下條件成立，則應刪除一個 row：

document.page_content 等於 row[page_content]
對於 document.metadata 中的每個 metadata 欄位 k：
- document.metadata[k] 等於 row[k] 或 document.metadata[k] 等於 row[langchain_metadata][k]
row 中不存在但在 document.metadata 中不存在的額外 metadata 欄位。

loader = MySQLLoader(engine=engine, table_name=TABLE_NAME)
docs = loader.load()
print("Documents before delete:", docs)
saver.delete(docs)
print("Documents after delete:", loader.load())

文件載入器概念指南
文件載入器操作指南

開始之前​

🦜🔗 程式庫安裝​

☁ 設定您的 Google Cloud 專案​

🔐 驗證​

基本用法​

MySQLEngine 連線池​

初始化表格​

儲存文件​

載入文件​

透過查詢載入文件​

刪除文件​

進階用法​

載入具有自訂文件頁面內容 & metadata 的文件​

儲存具有自訂頁面內容 & metadata 的文件​

刪除具有自訂頁面內容 & metadata 的文件​

相關連結​

此頁面是否對您有幫助？