Atlas

Atlas 是 Nomic 開發的平台，用於與小型和網際網路規模的非結構化資料集互動。 它使任何人都能在其瀏覽器中可視化、搜尋和共享大量資料集。

您需要安裝 langchain-community，使用 pip install -qU langchain-community 才能使用此整合

此筆記本向您展示如何使用與 AtlasDB 向量儲存相關的功能。

%pip install --upgrade --quiet  spacy

!python3 -m spacy download en_core_web_sm

%pip install --upgrade --quiet  nomic

載入套件

import time

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import AtlasDB
from langchain_text_splitters import SpacyTextSplitter

API 參考：TextLoader | AtlasDB | SpacyTextSplitter

ATLAS_TEST_API_KEY = "7xDPkYXSYDc1_ErdTPIcoAR9RNd8YDlkS3nVNXcVoIMZ6"

準備資料

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = SpacyTextSplitter(separator="|")
texts = []
for doc in text_splitter.split_documents(documents):
    texts.extend(doc.page_content.split("|"))

texts = [e.strip() for e in texts]

使用 Nomic 的 Atlas 映射資料

db = AtlasDB.from_texts(
    texts=texts,
    name="test_index_" + str(time.time()),  # unique name for your vector store
    description="test_index",  # a description for your vector store
    api_key=ATLAS_TEST_API_KEY,
    index_kwargs={"build_topic_model": True},
)

db.project.wait_for_project_lock()

db.project

這是一個包含此程式碼結果的地圖。此地圖顯示國情咨文的文本。https://atlas.nomic.ai/map/3e4de075-89ff-486a-845c-36c23f30bb67/d8ce2284-8edb-4050-8b9b-9bb543d7f647

相關連結

• 向量儲存 概念指南
• 向量儲存 操作指南