新井纪子(NorikoArai)一直在做的事情是,让机器人通过日本各所大学的入学考试。
她来自日本国立情报研究所(NII),于2011年发起了“东大机器人计划”(TodaiRobotProject)。自2013年以来,团队每年都让机器人在真实的考场接受演练。
新井纪子在2017年TED大会上分享她的成果
在去年的中心考试(日本大学招生的统一考试)中,Todai机器人排名在前20%,达到了超过60%的大学的入学标准。其中数学排名前1%,作文的主题是17世纪的海上贸易。
团队的目标是,2020年以前能让Todai机器人考进东京大学。
TodaiRobot的考试技能依靠于AI的检索和优化能力:利用自然语言处理将数学题转换为可计算的公式,用搜索引擎来做选择题,作文则是天下文章一大抄,变成了复制和组合书摘和维基百科的过程。
机器人答题的速度并不慢
AI并不能“理解”题目的意思,尽管高分很好地伪装了这个事实。“今天没有一个AI——包括沃森、Siri和Todai机器人,知道如何阅读(read)。它们擅长的是搜索和改进,”新井纪子说,“它们并不‘理解’(understand),虽然看上去像这么回事。”
在去年《日本时报》的采访当中,新井纪子说,AI并不能依靠观点来做预判,但擅长依据事实分析可能性。比如将AI用于医学诊断时,误诊的概率很低。AI会收集信息并做出分析,但并不能像人类一样概括总结、举一反三。
这项研究的目的,是研究AI与人类相比的表现。那机器人愚钝至此,考试表现为什么会优于学生呢?在给数以千计的高中生进行了测试之后,新井纪子发现了这个问题的答案:学生们也没有好好地读。
例如,一道测试中的材料题是这样的:
Buddhism spread mainly to Southeast Asia and East Asia, Christianity to Europe, North and South America and Oceania, and Islam to North Africa, West Asia, Central Asia and South east Asia.(佛教主要传播到东南亚和东亚地区,基督教主要传播到欧洲、南北美、大洋洲地区,伊斯兰教主要传播到北非、西亚、中亚、东南亚地区。)
这是一个选择题,问题是哪种宗教传播到了大洋洲,答案直接明了地列在材料当中。Todai机器人做出了正确的选择,然而有三分之一的学生答错。
《NIIToday》2013年对Todai机器人的报道
“我们相信任何人都会学习,并能学得很好,”新井纪子说,“但只有会阅读的人能从最好的教育资源中受益匪浅——许多人并不位于其中。”
新井纪子说机器人的成功并不让她感到高兴,反倒更让她紧张。
人类的学生大部分都还停留在死记硬背的水平,像AI一样不能理解、不会阅读。
“我们要加快脚步,”新井纪子最后总结,“因为我们的时间不多了。”