Google Cloud SQL for SQL server

Cloud SQL 是一項全代管的關聯式資料庫服務，提供高效能、無縫整合和令人印象深刻的可擴充性。它提供 MySQL、PostgreSQL 和 SQL Server 資料庫引擎。透過利用 Cloud SQL 的 Langchain 整合，擴展您的資料庫應用程式以建構 AI 驅動的體驗。

此筆記本說明如何使用 Cloud SQL for SQL Server，透過 MSSQLLoader 和 MSSQLDocumentSaver 儲存、載入和刪除 langchain 文件。

在 GitHub 上瞭解有關該套件的更多資訊。

開始之前

若要執行此筆記本，您需要執行下列操作：

• 建立 Google Cloud 專案
• 啟用 Cloud SQL Admin API。
• 建立 Cloud SQL for SQL Server 執行個體
• 建立 Cloud SQL 資料庫
• 將 IAM 資料庫使用者新增到資料庫 (選用)

確認在此筆記本的執行環境中可以存取資料庫後，填寫下列值並執行儲存格，然後再執行範例指令碼。

# @markdown Please fill in the both the Google Cloud region and name of your Cloud SQL instance.
REGION = "us-central1"  # @param {type:"string"}
INSTANCE = "test-instance"  # @param {type:"string"}

# @markdown Please fill in user name and password of your Cloud SQL instance.
DB_USER = "sqlserver"  # @param {type:"string"}
DB_PASS = "password"  # @param {type:"string"}

# @markdown Please specify a database and a table for demo purpose.
DATABASE = "test"  # @param {type:"string"}
TABLE_NAME = "test-default"  # @param {type:"string"}

🦜🔗 程式庫安裝

此整合位於其自己的 langchain-google-cloud-sql-mssql 套件中，因此我們需要安裝它。

%pip install --upgrade --quiet langchain-google-cloud-sql-mssql

僅限 Colab：取消註解以下儲存格以重新啟動核心，或使用按鈕重新啟動核心。對於 Vertex AI Workbench，您可以使用頂端的按鈕重新啟動終端機。

# # Automatically restart kernel after installs so that your environment can access the new packages
# import IPython

# app = IPython.Application.instance()
# app.kernel.do_shutdown(True)

🔐 驗證

以登入此筆記本的 IAM 使用者身分驗證 Google Cloud，以便存取您的 Google Cloud 專案。

• 如果您使用 Colab 執行此筆記本，請使用下面的儲存格並繼續。
• 如果您使用 Vertex AI Workbench，請查看 此處 的設定說明。

from google.colab import auth

auth.authenticate_user()

☁ 設定您的 Google Cloud 專案

設定您的 Google Cloud 專案，以便您可以在此筆記本中利用 Google Cloud 資源。

如果您不知道您的專案 ID，請嘗試以下操作：

• 執行 gcloud config list。
• 執行 gcloud projects list。
• 請參閱支援頁面：尋找專案 ID。

# @markdown Please fill in the value below with your Google Cloud project ID and then run the cell.

PROJECT_ID = "my-project-id"  # @param {type:"string"}

# Set the project id
!gcloud config set project {PROJECT_ID}

💡 API 啟用

langchain-google-cloud-sql-mssql 套件要求您在您的 Google Cloud 專案中啟用 Cloud SQL Admin API。

# enable Cloud SQL Admin API
!gcloud services enable sqladmin.googleapis.com

基本用法

MSSQLEngine 連線集區

在從 MSSQL 表格儲存或載入文件之前，我們需要先設定到 Cloud SQL 資料庫的連線集區。MSSQLEngine 會設定一個 SQLAlchemy 連線集區 到您的 Cloud SQL 資料庫，從而實現從您的應用程式成功連線並遵循行業最佳實踐。

若要使用 MSSQLEngine.from_instance() 建立 MSSQLEngine，您只需要提供 4 件事：

1. project_id：Cloud SQL 執行個體所在的 Google Cloud 專案的專案 ID。
2. region：Cloud SQL 執行個體所在的區域。
3. instance：Cloud SQL 執行個體的名稱。
4. database：要連線到 Cloud SQL 執行個體的資料庫名稱。
5. user：用於內建資料庫驗證和登入的資料庫使用者。
6. password：用於內建資料庫驗證和登入的資料庫密碼。

from langchain_google_cloud_sql_mssql import MSSQLEngine

engine = MSSQLEngine.from_instance(
    project_id=PROJECT_ID,
    region=REGION,
    instance=INSTANCE,
    database=DATABASE,
    user=DB_USER,
    password=DB_PASS,
)

初始化表格

透過 MSSQLEngine.init_document_table(<table_name>) 初始化預設結構描述的表格。表格欄位：

• page_content (類型：text)
• langchain_metadata (類型：JSON)

overwrite_existing=True 旗標表示新初始化的表格將取代任何具有相同名稱的現有表格。

engine.init_document_table(TABLE_NAME, overwrite_existing=True)

儲存文件

使用 MSSQLDocumentSaver.add_documents(<documents>) 儲存 langchain 文件。若要初始化 MSSQLDocumentSaver 類別，您需要提供 2 件事：

1. engine - MSSQLEngine 引擎的執行個體。
2. table_name - Cloud SQL 資料庫中儲存 langchain 文件的表格名稱。

from langchain_core.documents import Document
from langchain_google_cloud_sql_mssql import MSSQLDocumentSaver

test_docs = [
    Document(
        page_content="Apple Granny Smith 150 0.99 1",
        metadata={"fruit_id": 1},
    ),
    Document(
        page_content="Banana Cavendish 200 0.59 0",
        metadata={"fruit_id": 2},
    ),
    Document(
        page_content="Orange Navel 80 1.29 1",
        metadata={"fruit_id": 3},
    ),
]
saver = MSSQLDocumentSaver(engine=engine, table_name=TABLE_NAME)
saver.add_documents(test_docs)

API 參考：Document

載入文件

使用 MSSQLLoader.load() 或 MSSQLLoader.lazy_load() 載入 langchain 文件。lazy_load 會傳回一個產生器，該產生器僅在迭代期間查詢資料庫。若要初始化 MSSQLDocumentSaver 類別，您需要提供：

1. engine - MSSQLEngine 引擎的執行個體。
2. table_name - Cloud SQL 資料庫中儲存 langchain 文件的表格名稱。

from langchain_google_cloud_sql_mssql import MSSQLLoader

loader = MSSQLLoader(engine=engine, table_name=TABLE_NAME)
docs = loader.lazy_load()
for doc in docs:
    print("Loaded documents:", doc)

透過查詢載入文件

除了從表格載入文件之外，我們還可以選擇從 SQL 查詢產生的檢視表中載入文件。例如：

from langchain_google_cloud_sql_mssql import MSSQLLoader

loader = MSSQLLoader(
    engine=engine,
    query=f"select * from \"{TABLE_NAME}\" where JSON_VALUE(langchain_metadata, '$.fruit_id') = 1;",
)
onedoc = loader.load()
onedoc

從 SQL 查詢產生的視圖，其結構描述可能與預設表格不同。在這種情況下，MSSQLLoader 的行為與從具有非預設結構描述的表格載入資料相同。請參閱 載入具有自訂文件頁面內容和元資料的文件 章節。

刪除文件

使用 MSSQLDocumentSaver.delete(<documents>) 從 MSSQL 表格中刪除 langchain 文件列表。

對於具有預設結構描述 (page_content, langchain_metadata) 的表格，刪除的條件是

如果列表中存在一個 document，使得

• document.page_content 等於 row[page_content]
• document.metadata 等於 row[langchain_metadata]，則應該刪除一個 row。

from langchain_google_cloud_sql_mssql import MSSQLLoader

loader = MSSQLLoader(engine=engine, table_name=TABLE_NAME)
docs = loader.load()
print("Documents before delete:", docs)
saver.delete(onedoc)
print("Documents after delete:", loader.load())

進階用法

載入具有自訂文件頁面內容和元資料的文件

首先，我們準備一個具有非預設結構描述的範例表格，並填入一些任意資料。

import sqlalchemy

with engine.connect() as conn:
    conn.execute(sqlalchemy.text(f'DROP TABLE IF EXISTS "{TABLE_NAME}"'))
    conn.commit()
    conn.execute(
        sqlalchemy.text(
            f"""
            IF NOT EXISTS (SELECT * FROM sys.objects WHERE object_id = OBJECT_ID(N'[dbo].[{TABLE_NAME}]') AND type in (N'U'))
                BEGIN
                    CREATE TABLE [dbo].[{TABLE_NAME}](
                        fruit_id INT IDENTITY(1,1) PRIMARY KEY,
                        fruit_name VARCHAR(100) NOT NULL,
                        variety VARCHAR(50),
                        quantity_in_stock INT NOT NULL,
                        price_per_unit DECIMAL(6,2) NOT NULL,
                        organic BIT NOT NULL
                    )
                END
            """
        )
    )
    conn.execute(
        sqlalchemy.text(
            f"""
            INSERT INTO "{TABLE_NAME}" (fruit_name, variety, quantity_in_stock, price_per_unit, organic)
            VALUES
                ('Apple', 'Granny Smith', 150, 0.99, 1),
                ('Banana', 'Cavendish', 200, 0.59, 0),
                ('Orange', 'Navel', 80, 1.29, 1);
            """
        )
    )
    conn.commit()

如果我們仍然從此範例表格使用 MSSQLLoader 的預設參數載入 langchain 文件，則載入文件的 page_content 將是表格的第一欄，而 metadata 將包含所有其他欄位的鍵/值對。

loader = MSSQLLoader(
    engine=engine,
    table_name=TABLE_NAME,
)
loader.load()

我們可以透過在初始化 MSSQLLoader 時設定 content_columns 和 metadata_columns 來指定我們想要載入的內容和元資料。

1. content_columns：要寫入文件 page_content 的欄位。
2. metadata_columns：要寫入文件 metadata 的欄位。

例如，在此處，content_columns 中欄位的值將連接在一起，形成一個以空格分隔的字串，作為載入文件的 page_content，而載入文件的 metadata 將僅包含 metadata_columns 中指定的欄位的鍵/值對。

loader = MSSQLLoader(
    engine=engine,
    table_name=TABLE_NAME,
    content_columns=[
        "variety",
        "quantity_in_stock",
        "price_per_unit",
        "organic",
    ],
    metadata_columns=["fruit_id", "fruit_name"],
)
loader.load()

儲存具有自訂頁面內容和元資料的文件

為了將 langchain 文件儲存到具有自訂元資料欄位的表格中，我們需要先透過 MSSQLEngine.init_document_table() 建立這樣一個表格，並指定我們希望它擁有的 metadata_columns 列表。在此範例中，建立的表格將具有以下表格欄位

• description (類型：text)：用於儲存水果描述。
• fruit_name (類型：text)：用於儲存水果名稱。
• organic (類型：tinyint(1))：用於告知水果是否為有機。
• other_metadata (類型：JSON)：用於儲存水果的其他元資料資訊。

我們可以將以下參數與 MSSQLEngine.init_document_table() 一起使用來建立表格

1. table_name：在 Cloud SQL 資料庫中儲存 langchain 文件的表格名稱。
2. metadata_columns：一個 sqlalchemy.Column 的列表，指示我們需要的元資料欄位列表。
3. content_column：用於儲存 langchain 文件 page_content 的欄位名稱。預設值：page_content。
4. metadata_json_column：用於儲存 langchain 文件額外的 metadata 的 JSON 欄位名稱。預設值：langchain_metadata。

engine.init_document_table(
    TABLE_NAME,
    metadata_columns=[
        sqlalchemy.Column(
            "fruit_name",
            sqlalchemy.UnicodeText,
            primary_key=False,
            nullable=True,
        ),
        sqlalchemy.Column(
            "organic",
            sqlalchemy.Boolean,
            primary_key=False,
            nullable=True,
        ),
    ],
    content_column="description",
    metadata_json_column="other_metadata",
    overwrite_existing=True,
)

使用 MSSQLDocumentSaver.add_documents(<documents>) 儲存文件。正如你在這個例子中看到的，

• document.page_content 將儲存到 description 欄位中。
• document.metadata.fruit_name 將儲存到 fruit_name 欄位中。
• document.metadata.organic 將儲存到 organic 欄位中。
• document.metadata.fruit_id 將以 JSON 格式儲存到 other_metadata 欄位中。

test_docs = [
    Document(
        page_content="Granny Smith 150 0.99",
        metadata={"fruit_id": 1, "fruit_name": "Apple", "organic": 1},
    ),
]
saver = MSSQLDocumentSaver(
    engine=engine,
    table_name=TABLE_NAME,
    content_column="description",
    metadata_json_column="other_metadata",
)
saver.add_documents(test_docs)

with engine.connect() as conn:
    result = conn.execute(sqlalchemy.text(f'select * from "{TABLE_NAME}";'))
    print(result.keys())
    print(result.fetchall())

刪除具有自訂頁面內容和元資料的文件

我們也可以透過 MSSQLDocumentSaver.delete(<documents>) 從具有自訂元資料欄位的表格中刪除文件。刪除的條件是

如果列表中存在一個 document，使得

• document.page_content 等於 row[page_content]
• 對於 document.metadata 中的每個元資料欄位 k
  • document.metadata[k] 等於 row[k] 或 document.metadata[k] 等於 row[langchain_metadata][k]
• row 中不存在但在 document.metadata 中不存在的額外元資料欄位。

loader = MSSQLLoader(engine=engine, table_name=TABLE_NAME)
docs = loader.load()
print("Documents before delete:", docs)
saver.delete(docs)
print("Documents after delete:", loader.load())

相關內容

• 文件載入器 概念指南
• 文件載入器 操作指南