近期，胜过英语大词汇数学模型蓬勃发展，财经但却一直没有出现可应用于点评大数学模型潜能的新闻宣传学模型试试验甲骨易AI研究所提出一种衡量英语大数学模型处置虚拟化准确度的试验，并在此基础上制做了一套网络连接试验英语大数学模型的照图统计数据集，并将其命名为“胜过”

统计数据集的片财试验文本涵盖四大应用领域：医疗保健、法律条文、经新社会学和基础教育透过综合性评估结果数学模型在多个学科专业上的闻M文通科学知识广度和深度，能够帮助研究者更精准地找出数学模型的英用型言数验集预瑕疵，并对数学模型的大语潜能展开评分简介自ChatGPT正式宣布发布以来，大词汇数学模型(LLMs)保持着在计算机科学技术与自然词汇处置应用领域的胜过热度，并且仍不断升温。财经

ChatGLM、新闻宣传学模型试 MOSS、照图聚花一言、片财记事千问、经新商量、SL400等众多具备英语潜能的大数学模型也接连正式宣布发布这些数学模型有着庞大的统计数据规模，透过广泛的预体能训练以达到能够正确认识人类文明话语和指令并生成类似人类文明词汇的文本的潜能目前，特别针对英语大词汇数学模型早已有较为完善的点评形式，如2021年由Dan Hendrycks等人正式宣布发布的MMLU。

然而，特别针对英语大词汇数学模型潜能的试验仍然缺失，推出高质量英语点评统计数据集早已迫在眉睫于是，甲骨易AI研究所制做了一个大规模的虚拟化试验统计数据集——“胜过”(Massive Multitask Chinese Understanding)

“胜过”的意义是希望英语大词汇数学模型“超”出多数数学模型只能如前所述英语统计数据集试验的现状，透过发现大数学模型的瑕疵，从而促进大数学模型理解英语词汇的潜能，使其“越”来越强大“胜过”所包涵的试题由源自不同科学知识分支的大项和多项选择题组成。

统计数据分散的难题是由专业人员从申明廉价品中搜集，覆盖学科专业范围广，专业科学知识难度高，适合用来评估结果大数学模型的综合性潜能为了试验统计数据集的可行性和效果，甲骨易AI研究所在正式宣布申明前早已使用其对目前开放源码的大数学模型展开了点评。

“胜过”统计数据集预计于2023年5月20日正式宣布申明正式宣布发布获取形式，具体正式宣布发布相关信息详见variations接下来，将对“胜过”统计数据集(MMCU)中所收录的试题展开介绍，并如前所述试验结果分析统计数据在词汇数学模型体能训练过程中的重要性虚拟化试验

“胜过”统计数据集(MMCU)的试验文本源自医疗保健、法律条文、社会学和基础教育四个大类的试题，包涵大项选择和多项选择题，意在使试验过程中数学模型更接近人类文明笔试的形式统计数据沙唐瓦县搜集了11900个难题，将其分成 few-shot合作开发集和一个试验集。

few-shot合作开发集每个主题有5个难题，共计55个难题；试验沙唐瓦县计11845个难题下面分别对不同应用领域试验试题的学科专业美树任务实例展开展示医疗保健医疗保健类试题源自大学英语专业笔试，包括医学三基、药物学、专科学院、病理学、药学、传染病学、外科、解剖学等，共计2819个难题。

实例：首次急性发作的椎间盘突出的治疗方法首选：A. 绝对卧病在床歇息，3 数周后戴身高体重下床活动B. 卧病在床歇息，可以站立坐起C. 皮质类固醇骨膜炎注射D. 髓核化学溶解法律条文法律条文类试题源自国家统一法律条文职业资格笔试，包括中国特色社会主义法治理论、宪法、中国法律条文史、国际法、刑法、民法典、科学知识产权法、商法、商法、劳动与社会保障法等，共计3695个难题。

实例：根据法律条文规定，下列哪一种社会关系应由民法典调整？A. 甲请求纳税退还其多缴的个人所得税B. 乙智能手机丢失后正式宣布发布谜语该刊称：“张顺者送还智能手机，本人当面酬谢”C. 丙对女友书面承诺：“如我在上海找到工作，则BR欧洲旅游”

D. 丁作为青年志愿者，定期去福利院做帮工社会学社会学类试题源自心理咨询师笔试和研究生入学笔试社会学专业基础综合性笔试，包括社会学概论、人格与社会社会学、发展社会学、心理咨询概论、心理评估结果、咨询方法等，共计2000个难题。

实例：把与自己本无关系的事情认为有关，这种临床表现最可能出现于：A. 被害妄想B. 钟情妄想C. 关系妄想D. 夸大妄想基础教育基础教育学试题源自中国普通高等学校招生全国统一笔试（中国高考），包括语文、数学、物理、化学、政治、历史、地理、生物，共计3331个难题。

实例：若圆锥的侧面积等于其底面积的3倍，则该圆锥侧面展开图所对应扇形圆心角的度数为（ ）A. 60°B. 90°C. 120°D. 180°点评过程依靠以上获取到的优质统计数据，可以开始对大数学模型的潜能点评下面将介绍本次点评的一些数学模型和点评形式。

点评数学模型：Bloom系列：bloomz_560m、bloomz_1b1、bloomz_3b、bloomz_7b1_mt清华大学科学知识工程和统计数据挖掘小组：ChatGLM 6B复旦大学：MOSS 16BOpenAI：GPT-3.5-turbo

点评形式：zero-shot和few-shotzero-shot模式：试题直接输入到数学模型以获取答案并计算准确率few-shot模式：先给数学模型提供5个难题和答案的例子，再附上难题让数学模型给出答案点评结果透过比较各个数学模型的 zero-shot准确率（如图1和表1），GPT-3.5-turbo在四个应用领域的正确率都遥遥领先；MOSS 16B数学模型虽然有160亿参数，但准确率却只接近随机准确率(大约25%)；bloomz_560m 数学模型的参数量最小，表现却胜过了参数量更大的数学模型。

点评结果体现了大数学模型的参数量不是评价大数学模型的唯一标准，在体能训练过程中统计数据的质量也应得到重视。

试验结果还表明，所有数学模型在few-shot模式下都有不同程度的性能下降例如，与 zero-shot 准确率相比，GPT-3.5-turbo 在语文、化学、政治子任务上的few-shot 准确率都有下降(见表2和表3)。

表2 所有数学模型在基础教育子任务上的few-shot准确率

表3 所有数学模型在基础教育子任务上的zero-shot准确率结论大数学模型体能训练通常采用海量互联网申明统计数据，因此统计数据高效筛选以及垂直应用领域高质量统计数据的标注也非常重要透过试验发现，在四大应用领域中，所有数学模型的平均zero-shot的准确率均未超过0.5，这就证明了目前所有数学模型的英语体能训练统计数据还存在明显不足。

试验的结果表明，更大的数学模型参数量不一定带来更好的性能，而体能训练形式和所用统计数据质量也是至关重要的，需要得到更多的重视研究者们应该考虑如何设计更好的建模形式以便更好地学习文本统计数据中蕴含的科学知识，并且思考如何准备或者标注优质的统计数据集。

，去使英语大数学模型获得更准确的理解潜能和文本生成潜能写在最后综上，就目前而言，用于点评大数学模型的高质量英语统计数据集仍是稀缺资源，但行业内却亟需一种申明、科学的形式来试验大数学模型的潜能甲骨易AI研究所率先提出要制做出一套

高质量的英语统计数据集，并迅速搜集整合统计数据资源完成了“胜过”统计数据集，成为国内首家制做英语专门应用领域虚拟化统计数据集的研究单位甲骨易AI研究所致力于推动计算机信息科技与自然词汇处置应用领域的发展，希望扩大英语词汇在大数学模型中的应用，促进英语大词汇数学模型的理解力与生成力。

“胜过”统计数据集(MMCU)正是为了帮助每一位正在LLMs和NLP方向研究的学者、专家以及工程师，携手促进英语大词汇数学模型向着更准确、更智能、更优质的方向发展后续，甲骨易AI研究所也依旧会根据反馈持续优化“胜过”统计数据集。

甲骨易AI研究所预计于2023年5月20日14点甲骨易第三空间举办“胜过”统计数据集正式宣布发布会，我们诚挚地邀请您莅临。报名链接：https://jinshuju.net/f/ig5SQP报名二维码：

(责任编辑：焦点)