跳到主要內容
Open In ColabOpen on GitHub

Apache Doris

Apache Doris 是一個用於即時分析的現代資料倉儲。它以閃電般的速度對大規模即時資料進行分析。

通常 Apache Doris 被歸類為 OLAP，並且在 ClickBench — 分析 DBMS 的基準測試 中表現出卓越的效能。由於它具有超快速的向量化執行引擎，因此也可用作快速向量資料庫 (vectordb)。

您需要使用 pip install -qU langchain-community 安裝 langchain-community 才能使用此整合

在這裡，我們將展示如何使用 Apache Doris Vector Store。

設定​

%pip install --upgrade --quiet  pymysql

在開始時設定 update_vectordb = False。如果沒有文件更新，那麼我們不需要重建文件的嵌入 (embeddings)。

!pip install  sqlalchemy
!pip install langchain
from langchain.chains import RetrievalQA
from langchain_community.document_loaders import (
    DirectoryLoader,
    UnstructuredMarkdownLoader,
)
from langchain_community.vectorstores.apache_doris import (
    ApacheDoris,
    ApacheDorisSettings,
)
from langchain_openai import OpenAI, OpenAIEmbeddings
from langchain_text_splitters import TokenTextSplitter

update_vectordb = False

載入文件並將它們分割成 tokens​

載入 docs 目錄下的所有 markdown 檔案

對於 Apache Doris 文件，您可以從 https://github.com/apache/doris 克隆 repo，其中有一個 docs 目錄。

loader = DirectoryLoader(
    "./docs", glob="**/*.md", loader_cls=UnstructuredMarkdownLoader
)
documents = loader.load()

將文件分割成 tokens，並設定 update_vectordb = True，因為有新的文件/tokens。

# load text splitter and split docs into snippets of text
text_splitter = TokenTextSplitter(chunk_size=400, chunk_overlap=50)
split_docs = text_splitter.split_documents(documents)

# tell vectordb to update text embeddings
update_vectordb = True

split_docs[-20]

print("# docs = %d, # splits = %d" % (len(documents), len(split_docs)))

建立 vectordb 實例​

使用 Apache Doris 作為 vectordb​

def gen_apache_doris(update_vectordb, embeddings, settings):
    if update_vectordb:
        docsearch = ApacheDoris.from_documents(split_docs, embeddings, config=settings)
    else:
        docsearch = ApacheDoris(embeddings, settings)
    return docsearch

將 tokens 轉換為 embeddings 並將它們放入 vectordb​

在這裡，我們使用 Apache Doris 作為 vectordb，您可以透過 ApacheDorisSettings 配置 Apache Doris 實例。

配置 Apache Doris 實例與配置 mysql 實例非常相似。您需要指定

  1. host/port
  2. username (預設值：'root')
  3. password (預設值：'')
  4. database (預設值：'default')
  5. table (預設值：'langchain')
import os
from getpass import getpass

if "OPENAI_API_KEY" not in os.environ:
    os.environ["OPENAI_API_KEY"] = getpass()
update_vectordb = True

embeddings = OpenAIEmbeddings()

# configure Apache Doris settings(host/port/user/pw/db)
settings = ApacheDorisSettings()
settings.port = 9030
settings.host = "172.30.34.130"
settings.username = "root"
settings.password = ""
settings.database = "langchain"
docsearch = gen_apache_doris(update_vectordb, embeddings, settings)

print(docsearch)

update_vectordb = False

建立 QA 並向它提問​

llm = OpenAI()
qa = RetrievalQA.from_chain_type(
    llm=llm, chain_type="stuff", retriever=docsearch.as_retriever()
)
query = "what is apache doris"
resp = qa.run(query)
print(resp)

此頁面是否有幫助？