Rockset

Rockset 是一個為雲端建構的即時搜尋和分析資料庫。 Rockset 使用 Converged Index™，其中包含用於向量嵌入的高效率儲存區，以大規模提供低延遲、高並發的搜尋查詢。 Rockset 完全支援中繼資料篩選，並處理不斷更新的串流資料的即時擷取。

本筆記本示範如何在 LangChain 中使用 Rockset 作為向量儲存區。 在開始之前，請確保您可以存取 Rockset 帳戶和可用的 API 金鑰。 立即開始您的免費試用。

您需要使用 pip install -qU langchain-community 安裝 langchain-community 才能使用此整合

設定您的環境

1. 利用 Rockset 主控台，使用 Write API 建立一個集合作為您的來源。 在本逐步解說中，我們建立一個名為 langchain_demo 的集合。

   設定以下擷取轉換以標記您的嵌入欄位，並利用效能和儲存最佳化

   （此範例使用 OpenAI text-embedding-ada-002，其中 #length_of_vector_embedding = 1536）

SELECT _input.* EXCEPT(_meta), 
VECTOR_ENFORCE(_input.description_embedding, #length_of_vector_embedding, 'float') as description_embedding 
FROM _input

2. 建立集合後，使用主控台檢索 API 金鑰。 就本筆記本而言，我們假設您使用的是 Oregon(us-west-2) 區域。

3. 安裝 rockset-python-client 以啟用 LangChain 直接與 Rockset 通訊。

%pip install --upgrade --quiet  rockset

LangChain 教學課程

在您自己的 Python 筆記本中繼續操作，以在 Rockset 中產生和儲存向量嵌入。 開始使用 Rockset 搜尋與您的搜尋查詢類似的文件。

1. 定義金鑰變數

import os

import rockset

ROCKSET_API_KEY = os.environ.get(
    "ROCKSET_API_KEY"
)  # Verify ROCKSET_API_KEY environment variable
ROCKSET_API_SERVER = rockset.Regions.usw2a1  # Verify Rockset region
rockset_client = rockset.RocksetClient(ROCKSET_API_SERVER, ROCKSET_API_KEY)

COLLECTION_NAME = "langchain_demo"
TEXT_KEY = "description"
EMBEDDING_KEY = "description_embedding"

2. 準備文件

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Rockset
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

API 參考資料：TextLoader | Rockset | OpenAIEmbeddings | CharacterTextSplitter

3. 插入文件

embeddings = OpenAIEmbeddings()  # Verify OPENAI_API_KEY environment variable

docsearch = Rockset(
    client=rockset_client,
    embeddings=embeddings,
    collection_name=COLLECTION_NAME,
    text_key=TEXT_KEY,
    embedding_key=EMBEDDING_KEY,
)

ids = docsearch.add_texts(
    texts=[d.page_content for d in docs],
    metadatas=[d.metadata for d in docs],
)

4. 搜尋類似文件

query = "What did the president say about Ketanji Brown Jackson"
output = docsearch.similarity_search_with_relevance_scores(
    query, 4, Rockset.DistanceFunction.COSINE_SIM
)
print("output length:", len(output))
for d, dist in output:
    print(dist, d.metadata, d.page_content[:20] + "...")

##
# output length: 4
# 0.764990692109871 {'source': '../../../state_of_the_union.txt'} Madam Speaker, Madam...
# 0.7485416901622112 {'source': '../../../state_of_the_union.txt'} And I’m taking robus...
# 0.7468678973398306 {'source': '../../../state_of_the_union.txt'} And so many families...
# 0.7436231261419488 {'source': '../../../state_of_the_union.txt'} Groups of citizens b...

5. 搜尋具有篩選條件的類似文件

output = docsearch.similarity_search_with_relevance_scores(
    query,
    4,
    Rockset.DistanceFunction.COSINE_SIM,
    where_str="{} NOT LIKE '%citizens%'".format(TEXT_KEY),
)
print("output length:", len(output))
for d, dist in output:
    print(dist, d.metadata, d.page_content[:20] + "...")

##
# output length: 4
# 0.7651359650263554 {'source': '../../../state_of_the_union.txt'} Madam Speaker, Madam...
# 0.7486265516824893 {'source': '../../../state_of_the_union.txt'} And I’m taking robus...
# 0.7469625542348115 {'source': '../../../state_of_the_union.txt'} And so many families...
# 0.7344177777547739 {'source': '../../../state_of_the_union.txt'} We see the unity amo...

6. [選擇性] 刪除插入的文件

您必須擁有與每個文件相關聯的唯一 ID，才能從您的集合中刪除它們。 在使用 Rockset.add_texts() 插入文件時定義 ID。 否則，Rockset 會為每個文件產生唯一的 ID。 無論如何，Rockset.add_texts() 都會傳回插入文件的 ID。

若要刪除這些文件，只需使用 Rockset.delete_texts() 函數。

docsearch.delete_texts(ids)

摘要

在本教學課程中，我們成功建立了一個 Rockset 集合、使用 OpenAI 嵌入 插入了 文件，並搜尋了具有和不具有中繼資料篩選條件的類似文件。

密切關注 https://rockset.com/ 以取得此空間的未來更新。

相關內容

• 向量儲存區概念指南
• 向量儲存區操作指南