Google Cloud SQL for MySQL

Cloud SQL 是一項全方位代管的關聯式資料庫服務，提供高效能、無縫整合和令人印象深刻的可擴展性。它提供 MySQL、PostgreSQL 和 SQL Server 資料庫引擎。擴展您的資料庫應用程式，以利用 Cloud SQL 的 Langchain 整合功能來建立 AI 驅動的體驗。

本筆記本將說明如何使用 Cloud SQL for MySQL，透過 MySQLLoader 和 MySQLDocumentSaver 儲存、載入和刪除 langchain 文件。

在 GitHub 上瞭解有關套件的更多資訊。

開始之前

若要執行此筆記本，您需要執行以下操作

確認可存取此筆記本執行階段環境中的資料庫後，填寫以下值並執行儲存格，然後再執行範例腳本。

# @markdown Please fill in the both the Google Cloud region and name of your Cloud SQL instance.
REGION = "us-central1"  # @param {type:"string"}
INSTANCE = "test-instance"  # @param {type:"string"}

# @markdown Please specify a database and a table for demo purpose.
DATABASE = "test"  # @param {type:"string"}
TABLE_NAME = "test-default"  # @param {type:"string"}

🦜🔗 函式庫安裝

整合存在於其自身的 langchain-google-cloud-sql-mysql 套件中，因此我們需要安裝它。

%pip install -upgrade --quiet langchain-google-cloud-sql-mysql

僅限 Colab：取消註解以下儲存格以重新啟動核心，或使用按鈕重新啟動核心。對於 Vertex AI Workbench，您可以使用頂部的按鈕重新啟動終端機。

# # Automatically restart kernel after installs so that your environment can access the new packages
# import IPython

# app = IPython.Application.instance()
# app.kernel.do_shutdown(True)

☁ 設定您的 Google Cloud 專案

設定您的 Google Cloud 專案，以便您可以在此筆記本中利用 Google Cloud 資源。

如果您不知道您的專案 ID，請嘗試以下操作

執行 gcloud config list。
執行 gcloud projects list。
請參閱支援頁面：尋找專案 ID。

# @markdown Please fill in the value below with your Google Cloud project ID and then run the cell.

PROJECT_ID = "my-project-id"  # @param {type:"string"}

# Set the project id
!gcloud config set project {PROJECT_ID}

🔐 身份驗證

以登入此筆記本的 IAM 使用者身分驗證 Google Cloud，以便存取您的 Google Cloud 專案。

如果您使用 Colab 執行此筆記本，請使用以下儲存格並繼續。
如果您使用 Vertex AI Workbench，請查看此處的設定說明。

from google.colab import auth

auth.authenticate_user()

基本用法

MySQLEngine 連接池

在從 MySQL 表格儲存或載入文件之前，我們需要先設定 Cloud SQL 資料庫的連線池。MySQLEngine 設定 Cloud SQL 資料庫的連線池，從而能夠從您的應用程式成功連線，並遵循業界最佳實務。

若要使用 MySQLEngine.from_instance() 建立 MySQLEngine，您只需要提供 4 個項目

project_id：Cloud SQL 執行個體所在的 Google Cloud 專案的專案 ID。
region：Cloud SQL 執行個體所在的區域。
instance：Cloud SQL 執行個體的名稱。
database：要連線到 Cloud SQL 執行個體上的資料庫名稱。

預設情況下，IAM 資料庫驗證將用作資料庫驗證方法。此函式庫使用屬於從環境中取得的應用程式預設憑證 (ADC) 的 IAM 主體。

如需有關 IAM 資料庫驗證的更多資訊，請參閱

或者，也可以使用內建資料庫驗證，使用使用者名稱和密碼來存取 Cloud SQL 資料庫。只需將選用的 user 和 password 引數提供給 MySQLEngine.from_instance() 即可

user：用於內建資料庫驗證和登入的資料庫使用者
password：用於內建資料庫驗證和登入的資料庫密碼。

from langchain_google_cloud_sql_mysql import MySQLEngine

engine = MySQLEngine.from_instance(
    project_id=PROJECT_ID, region=REGION, instance=INSTANCE, database=DATABASE
)

初始化表格

透過 MySQLEngine.init_document_table(<table_name>) 初始化預設結構描述的表格。表格欄位

page_content (類型：文字)
langchain_metadata (類型：JSON)

overwrite_existing=True 旗標表示新初始化的表格將取代任何同名的現有表格。

engine.init_document_table(TABLE_NAME, overwrite_existing=True)

儲存文件

使用 MySQLDocumentSaver.add_documents(<documents>) 儲存 langchain 文件。若要初始化 MySQLDocumentSaver 類別，您需要提供 2 個項目

engine - MySQLEngine 引擎的執行個體。
table_name - Cloud SQL 資料庫中用於儲存 langchain 文件的表格名稱。

from langchain_core.documents import Document
from langchain_google_cloud_sql_mysql import MySQLDocumentSaver

test_docs = [
    Document(
        page_content="Apple Granny Smith 150 0.99 1",
        metadata={"fruit_id": 1},
    ),
    Document(
        page_content="Banana Cavendish 200 0.59 0",
        metadata={"fruit_id": 2},
    ),
    Document(
        page_content="Orange Navel 80 1.29 1",
        metadata={"fruit_id": 3},
    ),
]
saver = MySQLDocumentSaver(engine=engine, table_name=TABLE_NAME)
saver.add_documents(test_docs)

API 參考文件：文件

載入文件

使用 MySQLLoader.load() 或 MySQLLoader.lazy_load() 載入 langchain 文件。lazy_load 傳回一個產生器，該產生器僅在迭代期間查詢資料庫。若要初始化 MySQLLoader 類別，您需要提供

engine - MySQLEngine 引擎的執行個體。
table_name - Cloud SQL 資料庫中用於儲存 langchain 文件的表格名稱。

from langchain_google_cloud_sql_mysql import MySQLLoader

loader = MySQLLoader(engine=engine, table_name=TABLE_NAME)
docs = loader.lazy_load()
for doc in docs:
    print("Loaded documents:", doc)

透過查詢載入文件

除了從表格載入文件外，我們也可以選擇從 SQL 查詢產生的檢視表載入文件。例如

from langchain_google_cloud_sql_mysql import MySQLLoader

loader = MySQLLoader(
    engine=engine,
    query=f"select * from `{TABLE_NAME}` where JSON_EXTRACT(langchain_metadata, '$.fruit_id') = 1;",
)
onedoc = loader.load()
onedoc

從 SQL 查詢產生的檢視表可以具有與預設表格不同的結構描述。在這種情況下，MySQLLoader 的行為與從具有非預設結構描述的表格載入相同。請參閱載入具有自訂文件頁面內容和元數據的文件章節。

刪除文件

使用 MySQLDocumentSaver.delete(<documents>) 從 MySQL 表格中刪除 langchain 文件清單。

對於具有預設結構描述 (page_content、langchain_metadata) 的表格，刪除標準為

如果清單中存在 document，則應刪除 row，使得

document.page_content 等於 row[page_content]
document.metadata 等於 row[langchain_metadata]

from langchain_google_cloud_sql_mysql import MySQLLoader

loader = MySQLLoader(engine=engine, table_name=TABLE_NAME)
docs = loader.load()
print("Documents before delete:", docs)
saver.delete(onedoc)
print("Documents after delete:", loader.load())

進階用法

載入具有自訂文件頁面內容和元數據的文件

首先，我們準備一個具有非預設結構描述的範例表格，並使用一些任意資料來填入它。

import sqlalchemy

with engine.connect() as conn:
    conn.execute(sqlalchemy.text(f"DROP TABLE IF EXISTS `{TABLE_NAME}`"))
    conn.commit()
    conn.execute(
        sqlalchemy.text(
            f"""
            CREATE TABLE IF NOT EXISTS `{TABLE_NAME}`(
                fruit_id INT AUTO_INCREMENT PRIMARY KEY,
                fruit_name VARCHAR(100) NOT NULL,
                variety VARCHAR(50),
                quantity_in_stock INT NOT NULL,
                price_per_unit DECIMAL(6,2) NOT NULL,
                organic TINYINT(1) NOT NULL
            )
            """
        )
    )
    conn.execute(
        sqlalchemy.text(
            f"""
            INSERT INTO `{TABLE_NAME}` (fruit_name, variety, quantity_in_stock, price_per_unit, organic)
            VALUES
                ('Apple', 'Granny Smith', 150, 0.99, 1),
                ('Banana', 'Cavendish', 200, 0.59, 0),
                ('Orange', 'Navel', 80, 1.29, 1);
            """
        )
    )
    conn.commit()

如果我們仍然從此範例表格中以 MySQLLoader 的預設參數載入 langchain 文件，則載入文件的 page_content 將是表格的第一欄，而 metadata 將包含所有其他欄位的鍵值對。

loader = MySQLLoader(
    engine=engine,
    table_name=TABLE_NAME,
)
loader.load()

我們可以透過在初始化 MySQLLoader 時設定 content_columns 和 metadata_columns，來指定我們要載入的內容和元數據。

content_columns：要寫入文件 page_content 的欄位。
metadata_columns：要寫入文件 metadata 的欄位。

例如，在此處，content_columns 中的欄位值將連在一起成為一個以空格分隔的字串，作為載入文件的 page_content，而載入文件的 metadata 將僅包含 metadata_columns 中指定的欄位的鍵值對。

loader = MySQLLoader(
    engine=engine,
    table_name=TABLE_NAME,
    content_columns=[
        "variety",
        "quantity_in_stock",
        "price_per_unit",
        "organic",
    ],
    metadata_columns=["fruit_id", "fruit_name"],
)
loader.load()

儲存具有自訂頁面內容和元數據的文件

為了將 langchain 文件儲存到具有自訂元數據欄位的表格中。我們需要先透過 MySQLEngine.init_document_table() 建立此類表格，並指定我們希望它擁有的 metadata_columns 清單。在本範例中，建立的表格將具有表格欄位

description (類型：文字)：用於儲存水果描述。
fruit_name (文字類型)：用於儲存水果名稱。
organic (類型 tinyint(1))：用於判斷水果是否為有機。
other_metadata (類型：JSON)：用於儲存水果的其他元數據資訊。

我們可以將以下參數與 MySQLEngine.init_document_table() 搭配使用來建立表格

table_name：Cloud SQL 資料庫中用於儲存 langchain 文件的表格名稱。
metadata_columns：sqlalchemy.Column 的清單，指示我們需要的元數據欄位清單。
content_column：用於儲存 langchain 文件 page_content 的欄位名稱。預設值：page_content。
metadata_json_column：用於儲存 langchain 文件額外 metadata 的 JSON 欄位名稱。預設值：langchain_metadata。

engine.init_document_table(
    TABLE_NAME,
    metadata_columns=[
        sqlalchemy.Column(
            "fruit_name",
            sqlalchemy.UnicodeText,
            primary_key=False,
            nullable=True,
        ),
        sqlalchemy.Column(
            "organic",
            sqlalchemy.Boolean,
            primary_key=False,
            nullable=True,
        ),
    ],
    content_column="description",
    metadata_json_column="other_metadata",
    overwrite_existing=True,
)

使用 MySQLDocumentSaver.add_documents(<documents>) 儲存文件。如您在本範例中所見，

document.page_content 將儲存到 description 欄位中。
document.metadata.fruit_name 將儲存到 fruit_name 欄位中。
document.metadata.organic 將儲存到 organic 欄位中。
document.metadata.fruit_id 將以 JSON 格式儲存到 other_metadata 欄位中。

test_docs = [
    Document(
        page_content="Granny Smith 150 0.99",
        metadata={"fruit_id": 1, "fruit_name": "Apple", "organic": 1},
    ),
]
saver = MySQLDocumentSaver(
    engine=engine,
    table_name=TABLE_NAME,
    content_column="description",
    metadata_json_column="other_metadata",
)
saver.add_documents(test_docs)

with engine.connect() as conn:
    result = conn.execute(sqlalchemy.text(f"select * from `{TABLE_NAME}`;"))
    print(result.keys())
    print(result.fetchall())

刪除具有自訂頁面內容和元數據的文件

我們也可以透過 MySQLDocumentSaver.delete(<documents>) 從具有自訂元數據欄位的表格中刪除文件。刪除標準為

如果清單中存在 document，則應刪除 row，使得

document.page_content 等於 row[page_content]
對於 document.metadata 中的每個元數據欄位 k
- document.metadata[k] 等於 row[k] 或 document.metadata[k] 等於 row[langchain_metadata][k]
row 中存在但 document.metadata 中不存在額外的元數據欄位。

loader = MySQLLoader(engine=engine, table_name=TABLE_NAME)
docs = loader.load()
print("Documents before delete:", docs)
saver.delete(docs)
print("Documents after delete:", loader.load())

文件載入器概念指南
文件載入器操作指南

開始之前​

🦜🔗 函式庫安裝​

☁ 設定您的 Google Cloud 專案​

🔐 身份驗證​

基本用法​

MySQLEngine 連接池​

初始化表格​

儲存文件​

載入文件​

透過查詢載入文件​

刪除文件​

進階用法​

載入具有自訂文件頁面內容和元數據的文件​

儲存具有自訂頁面內容和元數據的文件​

刪除具有自訂頁面內容和元數據的文件​

相關​

此頁面是否對您有幫助？