首頁>專題>2023年中國國際服務(wù)貿(mào)易交易會(huì)
直擊服貿(mào)會(huì)丨作業(yè)幫發(fā)布銀河大模型,C-Eval、CMMLU雙榜排名第一
人民政協(xié)網(wǎng)北京9月5日電 (記者 李元麗)9月2日至6日,2023中國國際服務(wù)貿(mào)易交易會(huì)在北京舉辦,作業(yè)幫受邀參展,并正式發(fā)布自研銀河大模型。在服貿(mào)會(huì)現(xiàn)場(chǎng),銀河大模型在智能解題、知識(shí)問答、中英文寫作及AI伴學(xué)等方面的出色表現(xiàn)吸引了大量現(xiàn)場(chǎng)觀眾的互動(dòng)體驗(yàn)。同時(shí)作業(yè)幫公布了銀河大模型在C-Eval、CMMLU兩大權(quán)威大語言模型評(píng)測(cè)基準(zhǔn)的成績。數(shù)據(jù)顯示,作業(yè)幫銀河大模型表現(xiàn)卓越,以平均分73.7分位居C-Eval榜首;同時(shí)在CMMLU榜單Five-shot和Zero-shot測(cè)評(píng)中分別以平均分74.03分及73.85分位列第一,成為首個(gè)同時(shí)在上述兩大權(quán)威榜單平均分排名第一的教育大模型。
銀河大模型作為作業(yè)幫自主研發(fā)的大語言模型,深度融合作業(yè)幫多年的AI算法沉淀和教育數(shù)據(jù)積累,是一款專為教育領(lǐng)域量身打造的覆蓋多學(xué)科、多學(xué)段、多場(chǎng)景的教育大模型。它不僅具備高度的多學(xué)科知識(shí)解答能力,更能協(xié)助不同學(xué)段學(xué)生進(jìn)行創(chuàng)意寫作,同時(shí)還能夠?qū)崿F(xiàn)自主提問、陪伴式輔導(dǎo)等,助力學(xué)生個(gè)性化學(xué)習(xí)與成長。作業(yè)幫銀河大模型的綜合實(shí)力在權(quán)威測(cè)評(píng)榜單中得到驗(yàn)證。作為全球最具影響力的中文評(píng)測(cè)集之一,C-Eval是由清華大學(xué)、上海交通大學(xué)和愛丁堡大學(xué)合作構(gòu)建的面向中文語言模型的綜合性考試評(píng)測(cè)集,包含13948道多項(xiàng)選擇題,涵蓋52個(gè)不同學(xué)科和四個(gè)難度級(jí)別。根據(jù)C-Eval排行榜的最新數(shù)據(jù)顯示,作業(yè)幫銀河大模型以平均分為73.7分位居榜首。
在由MBZUAI、上海交通大學(xué)、微軟亞洲研究院共同推出的CMMLU榜單中,作業(yè)幫銀河大模型表現(xiàn)同樣出色,在Five-shot和Zero-shot 測(cè)試中分別以74.03分及73.85分占據(jù)榜首。
據(jù)了解,CMMLU共涵蓋了67個(gè)主題,涉及自然科學(xué)、社會(huì)科學(xué)、工程、人文以及常識(shí)等。在CMMLU榜單中的卓越表現(xiàn),再次印證了作業(yè)幫銀河大模型在知識(shí)儲(chǔ)備和語言理解方面的突出實(shí)力。作業(yè)幫銀河大模型不僅在中文方面表現(xiàn)優(yōu)異,在英文方面表現(xiàn)同樣不俗。由美國加州大學(xué)伯克利分校、哥倫比亞大學(xué)、芝加哥大學(xué)等高校聯(lián)合打造的全球性大規(guī)模多任務(wù)語言理解評(píng)測(cè)基準(zhǔn)MMLU,在集合了科學(xué)、工程、數(shù)學(xué)、人文、社會(huì)科學(xué)等領(lǐng)域的57個(gè)科目的評(píng)測(cè)中,作業(yè)幫銀河大模型平均分高達(dá)71.88分,體現(xiàn)了其在英文領(lǐng)域的專業(yè)能力和問題解決能力。作業(yè)幫表示,作業(yè)幫銀河大模型即將在作業(yè)幫APP等學(xué)習(xí)工具、智能硬件、智能圖書、教育數(shù)字化等業(yè)務(wù)場(chǎng)景中實(shí)現(xiàn)應(yīng)用,同時(shí)將持續(xù)優(yōu)化銀河大模型性能與多模態(tài)能力,加速推進(jìn)在更多教育場(chǎng)景的落地實(shí)踐。
編輯:李敏杰