月之暗面Kimi開放平臺(tái)將啟動(dòng)Context Caching內(nèi)測
提供預(yù)設(shè)內(nèi)容QA Bot、固定文檔集合查詢
2024-06-20
來源：IT之家
6 月 19 日消息，月之暗面官宣 Kimi 開放平臺(tái) Context Caching 功能將啟動(dòng)內(nèi)測，屆時(shí)將支持長文本大模型，可實(shí)現(xiàn)上下文緩存功能。
據(jù)介紹，Context Caching（上下文緩存）是由 Kimi 開放平臺(tái)提供的一項(xiàng)高級功能，可通過緩存重復(fù)的 Tokens 內(nèi)容，降低用戶在請求相同內(nèi)容時(shí)的成本，原理如下：
官方表示，Context Caching 可提升 API 的接口響應(yīng)速度（或首字返回速度）。在規(guī)模化、重復(fù)度高的 prompt 場景，Context Caching 功能帶來的收益越大。
Context Caching 適合于用頻繁請求，重復(fù)引用大量初始上下文的情況，通過重用已緩存的內(nèi)容，可提高效率降低費(fèi)用，適用業(yè)務(wù)場景如下：
提供大量預(yù)設(shè)內(nèi)容的 QA Bot，例如 Kimi API 小助手。
針對固定的文檔集合的頻繁查詢，例如上市公司信息披露問答工具。
對靜態(tài)代碼庫或知識(shí)庫的周期性分析，例如各類 Copilot Agent。
瞬時(shí)流量巨大的爆款 AI 應(yīng)用，例如哄哄模擬器，LLM Riddles。
交互規(guī)則復(fù)雜的 Agent 類應(yīng)用，例如什么值得買 Kimi+ 等。
官方后續(xù)將發(fā)布 Context Caching 功能的場景最佳實(shí)踐 / 計(jì)費(fèi)方案 / 技術(shù)文檔。
本站內(nèi)容除特別聲明的原創(chuàng)文章之外，轉(zhuǎn)載內(nèi)容只為傳遞更多信息，并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題，請及時(shí)通過電子郵件或電話通知我們，以便迅速采取適當(dāng)措施，避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話：010-82306118；郵箱：aet@chinaaet.com。