3 月 19 日消息，IT之家從中國信通院官方微信公眾號獲悉，為摸清大模型的幻覺現(xiàn)狀，推動大模型應(yīng)用走深走實(shí)，中國信息通信研究院人工智能所基于前期的 AI Safety Benchmark 測評工作，發(fā)起大模型幻覺測試。
大模型幻覺（AI Hallucination）是指模型在生成內(nèi)容或回答問題時，產(chǎn)生了看似合理，實(shí)則與用戶輸入不一致（忠實(shí)性幻覺）或者不符合事實(shí)（事實(shí)性幻覺）的內(nèi)容。隨著大模型在醫(yī)療、金融等關(guān)鍵領(lǐng)域廣泛應(yīng)用，大模型幻覺帶來的潛在應(yīng)用風(fēng)險(xiǎn)日益加劇，正得到業(yè)界的廣泛關(guān)注。
本輪幻覺測試工作將以大語言模型為測試對象，涵蓋了事實(shí)性幻覺和忠實(shí)性幻覺兩種幻覺類型，具體測評體系如下：
測試數(shù)據(jù)包含 7000 余條中文測試樣本，測試形式包括對應(yīng)于忠實(shí)性幻覺檢測的信息抽取與知識推理兩類題型，以及對應(yīng)事實(shí)性幻覺檢測的事實(shí)判別題型。總體涉及人文科學(xué)、社會科學(xué)、自然科學(xué)、應(yīng)用科學(xué)和形式科學(xué)五種測試維度。
中國信通院邀請各相關(guān)企業(yè)參與模型測評，共同推動大模型安全應(yīng)用。
本站內(nèi)容除特別聲明的原創(chuàng)文章之外，轉(zhuǎn)載內(nèi)容只為傳遞更多信息，并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題，請及時通過電子郵件或電話通知我們，以便迅速采取適當(dāng)措施，避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話：010-82306118；郵箱：aet@chinaaet.com。