NOAI国赛规则解读:6小时4道题,到底比什么、如何得分?
这6小时,决定了IOAI中国国家队
6月21日上午9点开考,6个小时,4道题。孩子要做的不是答题,是给每道题训练出一个能打的AI模型。
全程用Python,在玻尔(Bohrium)平台上写代码,深度学习框架统一用PyTorch,连TensorFlow都不提供。
不是做对几道题,是看模型跑得多好
每道题给你一份训练数据,你训出一个模型,系统把模型扔到一份你看不见的测试数据上跑,按模型的实际表现打分,再跟全场所有选手比。这套打法,跟Kaggle那类数据竞赛一个路子。
比赛时有一个公开榜,你只能看到自己的分和全场的最高分,拿来调模型。真正算成绩的是另一个闭榜,所有人都看不见,比完才跑出最终分。每人最多手动选两次提交、取高的那次;不选的话,系统自动拿你公开榜上最高的那次去算。
打过信息学竞赛的孩子,会对这套打分觉得陌生。信息学竞赛有满分解:一道题有最优算法,程序通过全部测试数据,就是满分,一分不差。AI竞赛没有这种东西,没有一份标准答案等你去对,你能做的是把模型一点点调得更准,去逼近一条谁都没真正够到的上限。
真实世界里的难题,大多也是这样:没有标准答案,只有更接近的那个解。
AI比赛,却不让AI帮你解题
既然是AI比赛,能不能让AI帮忙写代码?
现场平台带一个AI助手,但被刻意调弱了:它只能把你已经想清楚的指令转成代码、供你复制,没法直接给你解题思路。平时的文献查询这类功能,现场大都关掉。单次对话还卡了上限,一千个token上下,也就几百字的来回。
评测环境同样锁得很死。不能用pip另装库,不能下载预训练模型,也不能调用Bohrium平台以外的任何外部AI服务。
考的就是孩子自己的建模和调参,不是会不会指挥AI。
这场比赛有多吃算力
今年只考一场,不分多轮,原因是算力。NOAI在规则里解释:这种选拔,每个选手都得独占一张同型号的GPU,连转48小时以上。算力紧张,一下子凑不出这么多卡,今年只能一场比完定名次。官方说,等未来两三年国家算力中心跟上,才有条件分多轮考。
两百多名选手,就是两百多张GPU连轴转两天,全为这一场4道题的比赛。
孩子能有什么收获
所有参赛的孩子都有一张学术表现证书。
综合奖按总分名次分四档:前10%、10%到30%、30%到50%,以及其余选手。除此之外,每一道题还单设一个"最佳AI模型奖",发给这道题闭榜原始分排前3的选手。总分排不到前面,单科做到全场最好,照样有奖。
再往上,成绩最靠前的选手会入选IOAI中国国家队,代表中国去打国际赛。
看得见的是证书、奖项和国家队席位。看不见的,是孩子完整跑了一遍真实的AI竞赛:拿到一份陌生数据,自己训出模型、反复调参,最后让它在看不见的测试集上,跟全国最强的一批同龄人比个高下。