本次评测利用的测试集包罗600道标题问题，笼盖了言语专项、数学专项、文科综合、理科综合科学常识大全小门生作文、逻辑思想、编程才能、综合常识、宁静性共 8 个一级大类，126 个二级分类，290个标签科学常识小报内容简朴，并针对成绩的丰硕性和多样性做了优化

　　本次评测利用的测试集包罗600道标题问题，笼盖了言语专项、数学专项、文科综合、理科综合科学常识大全小门生作文、逻辑思想、编程才能、综合常识、宁静性共 8 个一级大类，126 个二级分类，290个标签科学常识小报内容简朴，并针对成绩的丰硕性和多样性做了优化。

　　在综合常识评测上，讯飞星火 80.61% 的得分率排名第一，在 84.6% 的二级分类上得分率第一，开端显现出在百科问答和汗青人文上的“过人的地方”。

　　《麻省理工科技批评》中国从研发和贸易化才能、外界立场和开展趋向等维度全方位检测大模子的才能，力争评出“最智慧”的国产大模子。拔取了“讯飞星火”、“百度文心一言”、“商汤筹议”、“阿里通义千问”作为中文大模子平台的代表，睁开体系、科学的评测。

　　编程才能是大模子比力高阶的才能，本次的编程才能评测包罗 ASCII、ASCII码辨认、Python、代码、代码改正、计较机 6 个二级分类，此中 Python 次要以简答情势评价大模子的代码天生才能和准确率，其他则以客观题的情势考查。

　　在标题问题范例上，为了统筹定量、定性的评价与测试，设置了“单选”、“多选”、“填空”、“简答”4个题型，别离有 145 道、138 道科学常识小报内容简朴、136 道和 181 道。大模子评测系统利用盲评方法，客观评价国产大模子的智慧水平。

　　陈述显现，在8个一级大类的600道标题问题的测试和盲评中，讯飞星火认知大模子V2.0在6个大类中得分率排名第一，在此次评测中表示凸起，以 81.5 分（百分制计）的成就在本次评测中登顶，荣获“最智慧”的国产大模子称呼。

　　海内“千模大战”下，谁是最智慧的大模子？《麻省理工科技批评》中国最新公布的大模子评测陈述给出了谜底。

　　作为比力难的评测维度，综合常识对大模子的“智慧”水平请求也很高，触及的标题问题较杂，包罗百科问答、知识、科学常识、究竟问答、事情本领科学知识问答大全、谜语等 13 个二级分类，题型以多选为主。

　　作为“最智慧”的大模子的根底才能，言语专项评测包罗对话了解科学常识大全小门生作理科学常识大全小门生作文、多语种、挖苦、古诗词了解、文本天生科学常识小报内容简朴、要点总结、感情阐发、语义判定等 61 个二级分类科学常识小报内容简朴，题型则以简答为主。成果显现科学常识小报内容简朴，讯飞星火 85.73%的得分率排名第一，较着高于均匀值。

　　在方才已往的8月15日，讯飞星火认知大模子V2.0准期公布，进一步打破代码才能和多模态才能。手艺得到严重打破的同时，搭载讯飞星火V2.0中心才能的使用和产物也愈来愈丰硕：既有帮助法式员高效事情的智能编码助手iFlyCode1.0、可以停止视频创作的讯飞智作2.0、可以便利搭建轻使用的教诲数字基座使用开辟助手，另有协助西席设想讲授举动、一键天生课件的星火西席助手、面向英语进修者白话操练的星火语伴2.0，讯飞AI进修机也晋级AI 1对1智能编程助手和AI 1对1创意绘画同伴。别的，科大讯飞还和华为结合公布星火一体机，让每家企业都有时机构建专属大模子。

　　逻辑思想也是“最智慧”大模子的主要表现，本次逻辑思想评测在逻辑推理、思想链等方面设想了较多的标题问题，包罗类比、知识推理、空间方位、归纳推理、逻辑错误检测、因果推理等 19 个二级分类，题型上相对均匀，此中填空题最多科学知识问答大全，多选题起码。

　　值得一提的是，从题型角度来看，客观简答题中讯飞星火凭仗 83.98% 的得分率位居第一；而在客观题上，讯飞星火以 75.7% 的得分率排名第一，在主客观体型中均有优良表示。

　　评测成果中，讯飞星火 78.50% 的得分率排名第一。别的，讯飞星火在文科综合大类下 80% 的二级分类评测中得分率为第一，化学与生物较为凸起。

　　成果显现科学知识问答大全，讯飞星火 80% 的得分率较着高于 71%的均匀值，其他平台得分率根本相称。值得一提的是，在很多贴的天生代码的简答题单项上，讯飞星火的得分率高达 82%，远高于其他平台，表示很是亮眼。

　　数学专项评测，是“最智慧”大模子必不成少的评测维度。本次评测包罗代数、多少、解方程、庞大数学、统计学等 9 个二级分类，以挑选题为主科学常识大全小门生作文。

　　别的科学知识问答大全，就在8月12日，新华社研讨院中国企业开展研讨中间公布的《野生智能大模子体验陈述2.0》中，讯飞星火V1.5以总分1013分位列本次国产支流大模子测评榜首位，在四大评测维度中的智商指数和东西提效指数两个维度得到第一，《陈述》以为讯飞星火“在事情提效方面劣势较着”。

　　陈述指出，在本模子评测中，讯飞星火以81.5 分的成就拔得头筹，成为“最智慧”的国产大模子。

　　作为表现大模子“智慧水平”不成或缺的“硬核”部门，文科综合评测包罗表格问答、化学、生物、物理、医学 5 个二级分类，题型上以单选和简答为主。

　　在逻辑思想标题问题中，讯飞星火81.25%的得分率名列第一，较着高于 72.6% 的均匀值。别的，讯飞星火在逻辑思想 63.2% 的二级分类成绩上得分率第一。逻辑思想关于大模子真正了解物理天下相称主要。

　　此中，讯飞星火以77.75% 的得分率名列第一，远高于均匀得分率 56%，其他平台得分率根本相称。陈述称，在大模子遍及“数学欠好”的状况下，讯飞星火这一成就颇难堪得，其在数学专项上的抢先一样体如今二级分类的评分红果上，在 77.8%的二级分类中得分率第一科学常识小报内容简朴，远超其他平台，开端判定其善于多少与情形使用。

　　讯飞星火在编程才能、文科综合、逻辑思想、数学专项、言语专项和综合常识这 6 个一级大类中得分率排名第一，在此次评测中表示非常片面，特别是在代码天生、数学才能、文科与逻辑等方面劣势较着，是本次“最智慧的文科生”。

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186