Konko

所有與 Konko 相關的功能

Konko AI 提供全託管 API，以協助應用程式開發人員

1. 為其應用程式選擇合適的開放原始碼或專有 LLM
2. 透過與領先應用程式框架的整合和全託管 API，更快地建置應用程式
3. 微調較小的開放原始碼 LLM，以一小部分的成本實現業界領先的效能
4. 部署生產規模的 API，這些 API 符合安全性、隱私權、輸送量和延遲 SLA，而無需使用 Konko AI 的 SOC 2 合規、多雲基礎架構進行基礎架構設定或管理

安裝與設定

1. 登入我們的網路應用程式以建立 API 金鑰，以透過我們的端點存取模型，以進行聊天完成和完成。
2. 啟用 Python 3.8+ 環境
3. 安裝 SDK

pip install konko

4. 將 API 金鑰設定為環境變數 (KONKO_API_KEY、OPENAI_API_KEY)

export KONKO_API_KEY={your_KONKO_API_KEY_here}
export OPENAI_API_KEY={your_OPENAI_API_KEY_here} #Optional

請參閱 Konko 文件以取得更多詳細資訊。

LLM

探索可用模型： 首先瀏覽 Konko 上的可用模型。每個模型都適用於不同的用例和功能。

尋找 Konko 執行個體上執行模型清單的另一種方法是透過此端點。

請參閱範例用法。

端點用法範例

• 使用 mistralai/Mistral-7B-v0.1 完成

  from langchain_community.llms import Konko
  llm = Konko(max_tokens=800, model='mistralai/Mistral-7B-v0.1')
  prompt = "Generate a Product Description for Apple Iphone 15"
  response = llm.invoke(prompt)

聊天模型

請參閱範例用法。

• 使用 Mistral-7B 進行 ChatCompletion

  from langchain_core.messages import HumanMessage
  from langchain_community.chat_models import ChatKonko
  chat_instance = ChatKonko(max_tokens=10, model = 'mistralai/mistral-7b-instruct-v0.1')
  msg = HumanMessage(content="Hi")
  chat_response = chat_instance([msg])

如需進一步協助，請聯絡 support@konko.ai 或加入我們的 Discord。