天眼查財產(chǎn)線索信息顯示,6月6日,科大訊飛股份有限公司申請的“大模型評估方法、裝置、設(shè)備、系統(tǒng)及程序產(chǎn)品”專利公布。
摘要顯示,該方法通過獲取通過目標大模型問答所得的對話數(shù)據(jù);然后基于問答對話之間的跟隨關(guān)系依次對問答對話進行指令抽取得到對話指令,并對對話指令進行打分得到第一得分;并提取問答對話對應(yīng)的答案信息,并將答案信息與前序答案信息進行比對得到第二得分;且對答案信息進行回復(fù)質(zhì)量評價,以得到第三得分;進而結(jié)合第一得分、第二得分以及第三得分得到目標得分,以通過目標得分對目標大模型進行評估。從而實現(xiàn)多維度的評估過程,由于針對多輪次對話的特點進行多維度的指標配置,實現(xiàn)了自動化評估,可以大幅降低人工的參與度,減少因個人主觀看法造成的偏差,提高大模型評估的準確性。