跳到主要內容

TF-IDF

TF-IDF 代表詞頻-逆文檔頻率 (term-frequency times inverse document-frequency)。

本筆記本說明如何使用在底層使用 TF-IDF，並使用 scikit-learn 套件的檢索器。

有關 TF-IDF 詳細資訊，請參閱這篇部落格文章。

%pip install --upgrade --quiet  scikit-learn
from langchain_community.retrievers import TFIDFRetriever
API 參考：TFIDFRetriever

使用文本建立新的檢索器​

retriever = TFIDFRetriever.from_texts(["foo", "bar", "world", "hello", "foo bar"])

使用文件建立新的檢索器​

您現在可以使用您建立的文件建立新的檢索器。

from langchain_core.documents import Document

retriever = TFIDFRetriever.from_documents(
    [
        Document(page_content="foo"),
        Document(page_content="bar"),
        Document(page_content="world"),
        Document(page_content="hello"),
        Document(page_content="foo bar"),
    ]
)
API 參考：文件 (Document)

使用檢索器​

我們現在可以使用檢索器了！

result = retriever.invoke("foo")
result
[Document(page_content='foo', metadata={}),
 Document(page_content='foo bar', metadata={}),
 Document(page_content='hello', metadata={}),
 Document(page_content='world', metadata={})]

儲存和載入​

您可以輕鬆儲存和載入此檢索器，使其非常方便用於本地開發！

retriever.save_local("testing.pkl")
retriever_copy = TFIDFRetriever.load_local("testing.pkl")
retriever_copy.invoke("foo")
[Document(page_content='foo', metadata={}),
 Document(page_content='foo bar', metadata={}),
 Document(page_content='hello', metadata={}),
 Document(page_content='world', metadata={})]

此頁面是否對您有幫助？