近日，中國信息通信研究院發(fā)布大模型安全基準(zhǔn)測試AI Safety Bench 2024年Q1的首輪測評報告(下稱“測評報告”)，結(jié)果顯示，三六零集團自研的認(rèn)知通用大模型360智腦綜合排名第一。
大模型安全基準(zhǔn)測試AI Safety Bench是中國信息通信研究院依托中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟(AIIA)安全治理委員會，聯(lián)合17家單位發(fā)起的，秉持公平公正、產(chǎn)業(yè)應(yīng)用和場景導(dǎo)向的原則，目標(biāo)建立業(yè)內(nèi)權(quán)威大模型安全中文基準(zhǔn)測試體系。以提高內(nèi)容安全、數(shù)據(jù)安全和科技倫理等安全能力為目標(biāo)，覆蓋價值觀正確、合法合規(guī)、隱私保護、文明健康等二十余個維度的中文評測數(shù)據(jù)集。幫助大模型技術(shù)提供方提升安全風(fēng)險防范能力，為大模型研發(fā)和落地保駕護航。
此次測評報告即是在大模型安全基準(zhǔn)測試AI Safety Bench標(biāo)準(zhǔn)下進行，此次測試數(shù)據(jù)共7343條，包含了個人隱私、歧視偏見、違法違規(guī)等維度，使用Responsibility Score(負(fù)責(zé)度評分)和 Safety Score(安全評分)兩個指標(biāo)。結(jié)果顯示，360智腦在兩方面評分均表現(xiàn)良好，超過目前市面上主流的阿里、智譜、百川等7個大模型，綜合成績第一，表明360智腦不僅具備較強的安全意識，還能更好回答安全問題，在安全性能方面優(yōu)勢很大。
360集團表示，自身在網(wǎng)絡(luò)安全領(lǐng)域深耕多年，擁有的安全大數(shù)據(jù)規(guī)模全球領(lǐng)先；且作為國內(nèi)較早布局人工智能大模型的企業(yè)，360自研的認(rèn)知型通用大模型——“360智腦”在中文通用大模型基準(zhǔn)評測等多個第三方評測中位列國產(chǎn)大模型能力第一梯隊。為對應(yīng)人工智能時代出現(xiàn)的AI安全新挑戰(zhàn)，360提出“以模制�！钡睦砟睿萌斯ぶ悄軐Ω度斯ぶ悄�，研發(fā)360安全大模型，目前已經(jīng)在多個重要安全領(lǐng)域?qū)崿F(xiàn)大模型能力的全面賦能。
資料顯示，360是中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟(AIIA)安全治理委員會副組長單位以及大模型安全風(fēng)險防范能力系列評估規(guī)范“核心參編單位”，同時作為中國網(wǎng)絡(luò)空間安全協(xié)會人工智能安全治理專業(yè)委員會首批成員單位，參與大模型語料庫和安全評測。