Google Cloud SQL for MySQL

Cloud SQL 是一項全託管關聯式資料庫服務，提供高效能、無縫整合和令人印象深刻的可擴展性。它提供 PostgreSQL、MySQL 和 SQL Server 資料庫引擎。擴展您的資料庫應用程式，利用 Cloud SQL 的 LangChain 整合來建構 AI 驅動的體驗。

本筆記本介紹如何使用 Cloud SQL for MySQL 和 MySQLVectorStore 類別來儲存向量嵌入。

在 GitHub 上了解更多關於此套件的資訊。

開始之前

要執行此筆記本，您需要執行以下操作

建立 Google Cloud 專案
啟用 Cloud SQL Admin API。
建立 Cloud SQL 執行個體。（版本必須 >= 8.0.36，且 cloudsql_vector 資料庫旗標設定為「開啟」）
建立 Cloud SQL 資料庫。
將使用者新增至資料庫。

🦜🔗 函式庫安裝

安裝整合函式庫 langchain-google-cloud-sql-mysql 以及用於嵌入服務的函式庫 langchain-google-vertexai。

%pip install --upgrade --quiet langchain-google-cloud-sql-mysql langchain-google-vertexai

僅限 Colab：取消註解以下儲存格以重新啟動核心，或使用按鈕重新啟動核心。對於 Vertex AI Workbench，您可以使用頂部的按鈕重新啟動終端機。

# # Automatically restart kernel after installs so that your environment can access the new packages
# import IPython

# app = IPython.Application.instance()
# app.kernel.do_shutdown(True)

🔐 身份驗證

以登入此筆記本的 IAM 使用者身份驗證到 Google Cloud，以便存取您的 Google Cloud 專案。

如果您使用 Colab 執行此筆記本，請使用以下儲存格並繼續。
如果您使用 Vertex AI Workbench，請查看此處的設定說明。

from google.colab import auth

auth.authenticate_user()

☁ 設定您的 Google Cloud 專案

設定您的 Google Cloud 專案，以便您可以在此筆記本中利用 Google Cloud 資源。

如果您不知道您的專案 ID，請嘗試以下操作

執行 gcloud config list。
執行 gcloud projects list。
請參閱支援頁面：尋找專案 ID。

# @markdown Please fill in the value below with your Google Cloud project ID and then run the cell.

PROJECT_ID = "my-project-id"  # @param {type:"string"}

# Set the project id
!gcloud config set project {PROJECT_ID}

基本用法

設定 Cloud SQL 資料庫值

在 Cloud SQL 執行個體頁面中找到您的資料庫值。

注意：MySQL 向量支援僅適用於版本 >= 8.0.36 的 MySQL 執行個體。

對於現有的執行個體，您可能需要執行自助維護更新，將您的維護版本更新到 MYSQL_8_0_36.R20240401.03_00 或更高版本。更新後，設定您的資料庫旗標，將新的 cloudsql_vector 旗標設定為「開啟」。

# @title Set Your Values Here { display-mode: "form" }
REGION = "us-central1"  # @param {type: "string"}
INSTANCE = "my-mysql-instance"  # @param {type: "string"}
DATABASE = "my-database"  # @param {type: "string"}
TABLE_NAME = "vector_store"  # @param {type: "string"}

MySQLEngine 連接池

將 Cloud SQL 建立為向量儲存庫的要求和引數之一是 MySQLEngine 物件。MySQLEngine 會設定到您的 Cloud SQL 資料庫的連接池，從而實現從您的應用程式成功連線並遵循業界最佳實務。

要使用 MySQLEngine.from_instance() 建立 MySQLEngine，您只需要提供 4 件事

project_id：Cloud SQL 執行個體所在的 Google Cloud 專案的專案 ID。
region：Cloud SQL 執行個體所在的區域。
instance：Cloud SQL 執行個體的名稱。
database：要在 Cloud SQL 執行個體上連線的資料庫名稱。

預設情況下，IAM 資料庫身份驗證將用作資料庫身份驗證的方法。此函式庫使用屬於從環境中取得的應用程式預設憑證 (ADC) 的 IAM 主體。

有關 IAM 資料庫身份驗證的更多資訊，請參閱

或者，也可以使用內建資料庫身份驗證，使用使用者名稱和密碼來存取 Cloud SQL 資料庫。只需將選用的 user 和 password 引數提供給 MySQLEngine.from_instance()

user：用於內建資料庫身份驗證和登入的資料庫使用者
password：用於內建資料庫身份驗證和登入的資料庫密碼。

from langchain_google_cloud_sql_mysql import MySQLEngine

engine = MySQLEngine.from_instance(
    project_id=PROJECT_ID, region=REGION, instance=INSTANCE, database=DATABASE
)

初始化表格

MySQLVectorStore 類別需要資料庫表格。MySQLEngine 類別有一個輔助方法 init_vectorstore_table()，可用於為您建立具有正確結構描述的表格。

engine.init_vectorstore_table(
    table_name=TABLE_NAME,
    vector_size=768,  # Vector size for VertexAI model(textembedding-gecko@latest)
)

建立嵌入類別執行個體

您可以使用任何 LangChain 嵌入模型。您可能需要啟用 Vertex AI API 才能使用 VertexAIEmbeddings。

我們建議在生產環境中釘選嵌入模型的版本，請了解更多關於文字嵌入模型的資訊。

# enable Vertex AI API
!gcloud services enable aiplatform.googleapis.com

from langchain_google_vertexai import VertexAIEmbeddings

embedding = VertexAIEmbeddings(
    model_name="textembedding-gecko@latest", project=PROJECT_ID
)

API 參考文檔：VertexAIEmbeddings

初始化預設 MySQLVectorStore

要初始化 MySQLVectorStore 類別，您只需要提供 3 件事

engine - MySQLEngine 引擎的執行個體。
embedding_service - LangChain 嵌入模型的執行個體。
table_name：要在 Cloud SQL 資料庫中用作向量儲存庫的表格名稱。

from langchain_google_cloud_sql_mysql import MySQLVectorStore

store = MySQLVectorStore(
    engine=engine,
    embedding_service=embedding,
    table_name=TABLE_NAME,
)

新增文字

import uuid

all_texts = ["Apples and oranges", "Cars and airplanes", "Pineapple", "Train", "Banana"]
metadatas = [{"len": len(t)} for t in all_texts]
ids = [str(uuid.uuid4()) for _ in all_texts]

store.add_texts(all_texts, metadatas=metadatas, ids=ids)

刪除文字

依 ID 從向量儲存庫中刪除向量。

store.delete([ids[1]])

搜尋文檔

query = "I'd like a fruit."
docs = store.similarity_search(query)
print(docs[0].page_content)

Pineapple

依向量搜尋文檔

也可以使用 similarity_search_by_vector 搜尋與給定嵌入向量相似的文檔，它接受嵌入向量作為參數，而不是字串。

query_vector = embedding.embed_query(query)
docs = store.similarity_search_by_vector(query_vector, k=2)
print(docs)

[Document(page_content='Pineapple', metadata={'len': 9}), Document(page_content='Banana', metadata={'len': 6})]

新增索引

透過套用向量索引來加速向量搜尋查詢。了解更多關於MySQL 向量索引的資訊。

注意：對於 IAM 資料庫身份驗證（預設用法），IAM 資料庫使用者需要由特權資料庫使用者授予以下權限，才能完全控制向量索引。

GRANT EXECUTE ON PROCEDURE mysql.create_vector_index TO '<IAM_DB_USER>'@'%';
GRANT EXECUTE ON PROCEDURE mysql.alter_vector_index TO '<IAM_DB_USER>'@'%';
GRANT EXECUTE ON PROCEDURE mysql.drop_vector_index TO '<IAM_DB_USER>'@'%';
GRANT SELECT ON mysql.vector_indexes TO '<IAM_DB_USER>'@'%';

from langchain_google_cloud_sql_mysql import VectorIndex

store.apply_vector_index(VectorIndex())

移除索引

store.drop_vector_index()

進階用法

使用自訂元資料建立 MySQLVectorStore

向量儲存庫可以利用關聯式資料來篩選相似性搜尋。

使用自訂元資料欄建立表格和 MySQLVectorStore 執行個體。

from langchain_google_cloud_sql_mysql import Column

# set table name
CUSTOM_TABLE_NAME = "vector_store_custom"

engine.init_vectorstore_table(
    table_name=CUSTOM_TABLE_NAME,
    vector_size=768,  # VertexAI model: textembedding-gecko@latest
    metadata_columns=[Column("len", "INTEGER")],
)


# initialize MySQLVectorStore with custom metadata columns
custom_store = MySQLVectorStore(
    engine=engine,
    embedding_service=embedding,
    table_name=CUSTOM_TABLE_NAME,
    metadata_columns=["len"],
    # connect to an existing VectorStore by customizing the table schema:
    # id_column="uuid",
    # content_column="documents",
    # embedding_column="vectors",
)

使用元資料篩選器搜尋文檔

在處理文檔之前縮小文檔範圍可能會很有幫助。

例如，可以使用 filter 引數依元資料篩選文檔。

import uuid

# add texts to the vector store
all_texts = ["Apples and oranges", "Cars and airplanes", "Pineapple", "Train", "Banana"]
metadatas = [{"len": len(t)} for t in all_texts]
ids = [str(uuid.uuid4()) for _ in all_texts]
custom_store.add_texts(all_texts, metadatas=metadatas, ids=ids)

# use filter on search
query_vector = embedding.embed_query("I'd like a fruit.")
docs = custom_store.similarity_search_by_vector(query_vector, filter="len >= 6")

print(docs)

[Document(page_content='Pineapple', metadata={'len': 9}), Document(page_content='Banana', metadata={'len': 6}), Document(page_content='Apples and oranges', metadata={'len': 18}), Document(page_content='Cars and airplanes', metadata={'len': 18})]

向量儲存庫概念指南
向量儲存庫操作指南

開始之前​

🦜🔗 函式庫安裝​

🔐 身份驗證​

☁ 設定您的 Google Cloud 專案​

基本用法​

設定 Cloud SQL 資料庫值​

MySQLEngine 連接池​

初始化表格​

建立嵌入類別執行個體​

初始化預設 MySQLVectorStore​

新增文字​

刪除文字​

搜尋文檔​

依向量搜尋文檔​

新增索引​

移除索引​

進階用法​

使用自訂元資料建立 MySQLVectorStore​

使用元資料篩選器搜尋文檔​

相關​

此頁面是否有幫助？