解放教师!给作文评分也能交给机器?

1966年,计算机体积还很庞大,康涅狄格大学的研究员埃利斯·佩奇(EllisPage)就率先开始了对自动评分的研究。计算机在那时是相对新颖的技术,主要用来处理最高级的任务。在佩奇同龄人眼中,利用计算机进行文本输入而非计算数据更是新奇的想法。在当时的环境下,不管是从实用的角度、还是从经济成本来看,利用计算机给作文评分这个想法都非常得不切实际。与同代的人相比,佩奇是个眼光真正长远的人。

埃利斯佩奇团队开发出第一套作文自动评分系统PEG(ProjectEssayGrader)。PEG(ProjectEssayGrade)、IEA(IntelligentEssayAssessor)和E-rater是国外最具代表性的三种作文自动评分系统。

国外作文自动评分系统述评

作文自动评分是近三年自然语言处理中的热点问题。大规模作文阅卷面临两大难题:其一,阅卷需要耗费大量人力、物力等资源;其二,评判作文质量具有很强的主观性,阅卷的信度和效度不强。近几十年来,随着计算机硬件和软件性能快速提高,自然语言处理等技术获得了长足的发展,国外一批作文自动评分系统相继问世,这两个长期困扰大规模作文阅卷的难题有望得到解决。

(一)PEG——一个重语言形式的评分系统

PEG于1966年由美国杜克大学的EllisPage等人开发。PEG的设计者们认为,计算机程序没有必要理解作文内容,大规模考试中尤其如此。因此,他们在其网站上公开申明:“PEG不能理解作文的内容”。在PEG的开发者看来,作文质量的诸要素是作文的内在因素,无法直接测量,因此,最为合乎逻辑的方法是从作文文本中提取一些能够间接反映作文质量的文本表层特征项。

概括起来,PEG的技术大体包括两方面:其一,PEG使用的统计方法是多元线性回归,以此来确定各变量的beta值,这样,基于训练集作文而构建的统计模型便可以用来为新的作文进行自动评分。这一技术合理而容易理解,后期出现的作文自动评分系统大多采用这一技术。其二,自然语言处理技术是PEG提取变量的主要方法。基于这两种技术,PEG取得了很好的评分效果。

(二)IEA——一个重内容的评分系统

IEA是一种基于潜伏语义分析的作文自动评分系统,由美国科罗拉多大学的ThomasLandauer等学者开发。与PEG显著不同的是,IEA的设计者们在其网站上申明:“IEA是唯一能够测量语义和作文内容的程序”。据IEA的设计者们报告,潜伏语义分析主要分析文本的内容和学生作文中所传达的知识,而不是作文的风格或语言。

将潜伏语义分析用于学生作文自动评分时,待评分的作文与预先选定的范文(训练集)被视作为矢量,对矢量进行比较之后,可以得到每一篇待评分作文与范文在内容上的相似度得分。该得分被直接视为机器评分或经过转换后得到机器评分。

(三)E-rater——一个模块结构的混合评分系统

E-rater是由美国教育考试处于20世纪90年代开发,其目的是评估GMAT考试中的作文质量。据Bursteineta.l(2001)、Coheneta.l(2003)和Valentieta.l(2003)的描述,E-rater自1999年以来已经进入操作阶段,至2003年,共评定作文750,000篇。

E-rater的开发者们声称,他们的作文评分系统利用了多种技术,其中包括统计技术、矢量空间模型技术和自然语言处理技术(Valentieta.l2003)。凭借这些技术,E-rater不光能够像PEG那样评判作文的语言质量,还能够像IEA那样评判作文的内容质量。除此之外,E-rater还对作文的篇章结构进行分析。

国内主要英语作文自动评价工具软件

在国内,业已颁布的《国家中长期教育改革和发展规划纲要(2010-2020年)》明确指出,信息技术对教育发展具有革命性的影响,必须给于高度重视。到2020年,全国范围内应该力争基本建成覆盖城乡各级各类学校的教育信息化体系,以促进教育内容、教学手段和方法现代化。就受众群体庞大的英语教学领域而言,国内关于英语作文自动评价系统的研究起步晚,缺乏系统性的综述研究。

(一)句酷批改网

由北京词网科技有限公司研发,于2011年4月开始展开大规模使用。它是一个基于语料库和云计算技术的英语作文在线自动批改服务网站。批改网的核心算法是计算学生作文和标准语料库之间的距离,再通过一个映射将距离转化成作文分数和评语。核心技术点是将每一篇输入的作文分析成可测量的192个维度,分析过程充分利用了先进的自然语言技术和机器学习的方法,每篇作文先被自动切分成句子,然后对每个句子进行深度的语义分析,从中抽取词、搭配、词组等结构化单元。主要功能包括:分数即刻显现、图文报表式作文分析结果、错误自动批改、点评细致入微、阶段性进度报告、抄袭检测等。

批改网是完全自主研发的国产软件,从核心引擎到批改应用都是完全自主知识产权的。它体现写作教学的多样性,鼓励学生的自主性学习、探索性学习、团队式学习、研究型学习等教与学新模式。

(二)冰果英语智能作文评阅系统

杭州增慧网络科技有限公司联合浙江大学、外语教学与研究出版社,以及中外人工智能专家队伍,依据语言教学理论、计算机网络教育技术、大规模数据挖掘技术,研发出这一个性化智能化的作文评阅软件。它可以即时给出作文评分,并从词汇、语法、文风、内容等方面给出反馈。但是,该系统目前无法做到用户同一篇作文多次反复修改,多次提交给系统,并得到系统的即时评阅和反馈。

(三)TRP教学资源平台

经过对一线教师的调研及需求分析,高等教育出版社与清华大学杨永林教授的科研团队合作研究,2010年10月正式对外发布了《体验英语写作教学资源平台》。2012年3月,该平台的升级版产品《TRP教学资源平台》面世。它根据写作教学需求,将数字化、网络化与区域化教学平台进行了有机的整合,并涵盖了资源建设、平台构建、写作学习、句型练习、语法测验、作文评分、写作研究、评语生成、作为考试等功能。为高校英语教学的进一步改革提供了“专本硕博,四级贯通”的可操作平台。特别一提的是,学术写作是该写作软件系统的特色版块,从这一点来讲,TRP教学资源平台似乎对于研究型高校的学习者来说具有更加特殊的意义。

国内中文作文自动评价工具软件概述

根据作文自动评分的原理,可以得到计算机评分的工作机制:首先提取出反映写作水平的特征,然后利用这些特征和数学模型计算出分数。并且确保这个分数最大程度的接近人工评分的结果。

人工与智能,效率与质量的较量

自动评分的应用效果及发展前景

自动评分目前仍有几项瓶颈和技术局限(一)评分标准未统一

自动评分系统还没有科学深入地研究人类分级机之间的评估差异,且个体间的差异性很可能非常大。很明显的是,从最初主要依赖计算字数、检测句子和单词复杂性和结构的简单工具,自动分级技术蒸蒸日上,有了很大的进展。

(二)基于规则的弊端

由于计算机无法读取,解决过度拟合最可行的方法是为计算机明确指定一套具体的规则,来检测文本是否讲得通。这一方法在其他软件上都行得通。目前,自动评级供应商大量投入来制定这样的规则,因为要制定出一条检测诸如论文这样创造性文本质量的规则十分困难。计算机倾向于用常见的方式解决问题:计算。

在自动评分系统中,例如,评分预测器可以是句子长度、单词数量、动词数量、复杂单词的数量等。这些规则是否能做出合理的评估?至少派勒尔曼不这样认为。他说,预测规则通常非常死板局限,限制了评估的质量。例如,他发现:

—使用“贪婪”这种复杂词汇会比使用“贪心”这种简单词汇评级高。

他发现规则很难应用或者根本没有应用的另一些例子是这个软件不能分辨真实性。

(三)信度和效度有待提高

作文自动评分的目的是利用多学科技术有效地模拟人工评分,以达到快速评定作文质量的目的。因此,在对计算机评分模型进行训练时,训练集作文人工评分的信度至关重要。只有有效地模拟具有较高信度的人工评分,计算机评分才有意义。根据Barrett(2001)和Stemler(2004)的研究,评分员间的信度达到r=0.70左右才是可以接受的,但现有作文评分系统在对训练集作文进行人工评分时常常达不到这样的信度要求,可能使得计算机评分模型很难模拟到人工评分的精髓。

评价对学生作文的评分是否合理,所需考察的另一个方面是评分的效度。对作文进行评分一般至少需要从作文的语言质量、内容质量和篇章结构质量三个主要方面对作文的整体质量加以衡量。自动评分系统在评分过程中并未能够很好地兼顾这三个主要方面,因而评分的结构效度值得质疑。PEG虽然对作文的语言质量有着较强的分析能力,但忽略了作文的内容质量和篇章结构质量,因而其评分结果存在较大的效度问题。与此相类似,IEA突出了评分过程中作文内容的重要性,但忽略了作文的语言质量和篇章结构质量,显然也存在较大的效度问题。与这两种系统相比,E-rater虽然以其模块结构兼顾了作文质量的三个主要方面,但每个模块的分析能力尚可进一步提高。

9月2日消息,不造车的华为或将催生出更大的独角兽公司,随着阿维塔和赛力斯的入局,华为引望愈发显得引人瞩目。

加利福尼亚州圣克拉拉县2024年8月30日/美通社/--数字化转型技术解决方案公司Trianz今天宣布,该公司与AmazonWebServices(AWS)签订了...

伦敦2024年8月29日/美通社/--英国汽车技术公司SODA.Auto推出其旗舰产品SODAV,这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具,可用于创建软件定义汽车。SODAV工具的开发耗时1.5...

北京2024年8月28日/美通社/--越来越多用户希望企业业务能7×24不间断运行,同时企业却面临越来越多业务中断的风险,如企业系统复杂性的增加,频繁的功能更新和发布等。如何确保业务连续性,提升韧性,成...

8月30日消息,据媒体报道,腾讯和网易近期正在缩减他们对日本游戏市场的投资。

8月28日消息,今天上午,2024中国国际大数据产业博览会开幕式在贵阳举行,华为董事、质量流程IT总裁陶景文发表了演讲。

8月28日消息,在2024中国国际大数据产业博览会上,华为常务董事、华为云CEO张平安发表演讲称,数字世界的话语权最终是由生态的繁荣决定的。

要点:有效应对环境变化,经营业绩稳中有升落实提质增效举措,毛利润率延续升势战略布局成效显著,战新业务引领增长以科技创新为引领,提升企业核心竞争力坚持高质量发展策略,塑强核心竞争优势...

北京2024年8月27日/美通社/--8月21日,由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。活动现场NVI技术创新联...

北京2024年8月27日/美通社/--在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上,软通动力信息技术(集团)股份有限公司(以下简称"软通动力")与长三角投资(上海)有限...

山海路引岚悦新程三亚2024年8月27日/美通社/--近日,海南地区六家凯悦系酒店与中国高端新能源车企岚图汽车(VOYAH)正式达成战略合作协议。这一合作标志着两大品牌在高端出行体验和环保理念上的深度融合,将...

上海2024年8月28日/美通社/--8月26日至8月28日,AHNLAN安岚与股神巴菲特的孙女妮可巴菲特共同开启了一场自然和艺术的疗愈之旅。妮可·巴菲特在疗愈之旅活动现场合影...

8月29日消息,近日,华为董事、质量流程IT总裁陶景文在中国国际大数据产业博览会开幕式上表示,中国科技企业不应怕美国对其封锁。

上海2024年8月26日/美通社/--近日,全球领先的消费者研究与零售监测公司尼尔森IQ(NielsenIQ)迎来进入中国市场四十周年的重要里程碑,正式翻开在华发展新篇章。自改革开放以来,中国市场不断展现出前所未有...

上海2024年8月26日/美通社/--今日,高端全合成润滑油品牌美孚1号携手品牌体验官周冠宇,开启全新旅程,助力广大车主通过驾驶去探索更广阔的世界。在全新发布的品牌视频中,周冠宇及不同背景的消费者表达了对驾驶的热爱...

此次发布标志着Cision首次为亚太市场量身定制全方位的媒体监测服务。芝加哥2024年8月27日/美通社/--消费者和媒体情报、互动及传播解决方案的全球领导者Cis...

上海2024年8月27日/美通社/--近来,具有强大学习、理解和多模态处理能力的大模型迅猛发展,正在给人类的生产、生活带来革命性的变化。在这一变革浪潮中,物联网成为了大模型技术发挥作用的重要阵地。作为全球领先的...

北京2024年8月27日/美通社/--高途教育科技公司(纽约证券交易所股票代码:GOTU)("高途"或"公司"),一家技术驱动的在线直播大班培训机构,今日发布截至2024年6月30日第二季度未经审计财务报告。2...

8月26日消息,华为公司最近正式启动了“华为AI百校计划”,向国内高校提供基于昇腾云服务的AI计算资源。

THE END
1.《评估语言:英语评价系统(当代国外语言学与应用语言学文库)(升级《评估语言:英语评价系统》是一部全面系统介绍语言评价系统框架的语言学专著,揭示了评估性语言的本质及其社会功能和修辞功能,并通过对各种文本的分析,清晰阐明了评价系统在文本分析中的应用,是了解、研究语篇语义学的参考书。 作者简介 J. R. 马丁(J. R. Martin)是当代知名语言学家、语言评价理论和积极性话语分析http://product.dangdang.com/29307102.html
2.英语考试反思,科技助力重塑语言学习之旅考点总结软件配备了先进的智能语音评估系统,能够实时对你的口语发音进行评估和反馈,无论你身处何地,都能得到专业的口语指导,帮助你纠正发音问题,提高口语表达能力,这一功能让你轻松掌握流利的英语口语,自信面对各类考试。 云端同步学习:随时随地,学习无忧 通过云计算技术,我们的软件实现学习进度云端同步,无论你使用何种设备,都https://www.yitijiaoyu.com/post/25572.html
3.英语智能评测系统智能英语评测API是一种利用人工智能技术来评估和提升英语语言能力的系统。它通过分析学习者的语音、语法、词汇、流利度等方面的表现,为学习者提供个性化的学习建议和反馈。 该系统的分类可以分为以下几个方面: 1. 语音评https://cloud.tencent.com/developer/information/%E8%8B%B1%E8%AF%AD%E6%99%BA%E8%83%BD%E8%AF%84%E6%B5%8B%E7%B3%BB%E7%BB%9F-article
4.英语写作教学与评阅系统产品介绍 批改体验 GPTCheck 申请试用 关于我们注册 登录 版权所有1999-2024 外语教学与研究出版社 帮助中心 客服邮箱:service@unipus.cn 在线咨询 京公网安备:11010802020838号 京ICP备18030989号-2https://iwrite.unipus.cn/classes
5.评估语言:英语评价系统(White,P.R.R.)著【丛书名】语言学文库【形态项】278【出版项】北京:外语教学与研究出版社,2008.08【ISBN号】978-7-5600-7739-0【中图法分类号】H31【原书定价】32.90【主题词】英语-语言学-研究【参考文献格式】(澳)马丁(Martin,J.R.),(澳)怀特(White,P.R.R.)著.评估语言:英语评价系统.北京:外语https://max.book118.com/html/2017/1203/142593383.shtm
6.系统评价英文怎么写系统评价英语怎么说conjunction of tectonic systems 构造体系的联合 environmental systems management 环境系统管理 general systems simulation 一般系统模拟 Systems Operator 系统操作员 Systems Analyst 系统分析 systems program phr. 系统程序 socioeconomic systems management 社会经济系统管理 special assembly systems 专用组合系统 http://m.hujiang.com/ciku/w_612521_-318167189/
7.评估语言:英语评价系统(当代国外语言学与应用语言学文库)(升级版评价: 写笔记 写书评 加入购书单 分享到 内容简介· ··· 《评估语言:英语评价系统》是"当代国外语言学与应用语言学文库"(升级版)中的一本,以英文原文辅以中文导读的形式出版。本书是第一部全面系统介绍语言评价系统框架的语言学专著,堪称语篇语义学的扛鼎之作。它以崭新的视角揭示了评估性语言的本质及其社会https://book.douban.com/isbn/978-7-5213-2956-8/
8.在线评价系统的英文在线评价系统翻译在线评价系统英语怎么说海词词典,最权威的学习词典,专业出版在线评价系统的英文,在线评价系统翻译,在线评价系统英语怎么说等详细讲解。海词词典:学习变容易,记忆很深刻。http://dict.cn/%E5%9C%A8%E7%BA%BF%E8%AF%84%E4%BB%B7%E7%B3%BB%E7%BB%9F
9.英语写作自动评价系统(精选三篇)随着计算机多媒体技术在大学英语教学中的广泛应用, 英语写作自动评价 (Automated Writing Evaluation, AWE) 系统被引入写作教学中, 并引起广泛关注。然而, 在涉及这一系统的具体应用时, 研究结论却存在争议。一些研究者认为英语作文自动评价系统的应用能帮助学生提高英语写作水平[1,2,3], 另一些研究者则发现系统评价主https://www.360wenmi.com/f/cnkey1wz5184.html
10.安徽中考英语改革,安徽中考英语改革:重塑评价体系,引领教育发展因此,在考试改革中,对于教师不仅意味着提升教学水平,还意味着深入了解学生的真实水平,更从全面促进英语教育的发展,进一步提升了教学水平。 通过重塑评价体系、引领教育发展的方式,安徽中考英语改革旨在推动大中小学教育评价系统转型,创造更理性、更科学的评估体系。这一次考试体系的调整,从考试形式、评分标准、考试内容、对https://m.zhongzhao.org.cn/news/show-242131.html
11.江苏初中《英语》教材系统性评价本研究旨在评价江苏初中《英语》教材,探寻其是否符合新课程标准(2011版),及其优点和不足。本研究所用的评价框架是程晓堂提出的系统评价。通过对《英语》的评价,教师能够针对其优缺点更好地使用该套教材。同时,为教材编写者改编或开发新教材提供一定的参考。对《英语》的系统评价包括两个部分:内部评价和外部评价。内部https://wap.cnki.net/touch/web/Dissertation/Article/1015662389.nh.html
12.关于多元智能理论在初中英语教学评价系统中的应用研究第二部分中提出新课程标准对教学评价提出的新要求,因此,教学评价应向多元化发展。第三部分阐述初中英语教学评价中存在的问题。第四部分关于多元智能理论如果应用到初中英语教学评价中,它可能产生的影响及对英语教师提出更高的要求。第五、六两部分主要探究如果将多元智能理论应用到教学评价中去,及可以采用的设计方案及https://cdmd.cnki.com.cn/Article/CDMD-10200-2006097018.htm
13.信息系统评价办法中文翻译成英语信息系统英文翻译成汉语信息系统评价办法翻译价格受翻译目的语语种、交付工期要求、工作时间段等因素影响,可参见翻译服务标准,信息系统实用化评价办法中文翻译成英语、信息系统实用化评价办法英文翻译成汉语、信息系统英语翻译成汉语、英文翻译成中文等,请联系专联译盟网客服QQ(3162264339)咨询。 https://www.zlitra.com/xxxtpjglbffy.html
14.评价系统流程图的翻译是:Evaluationofsystemflowchart中文Be careful. 给你。 小心。 [translate] a班级荣获“华南理工大学先进团支部”主要负责人 正在翻译,请等待 [translate] a评价系统流程图 Appraisal system flow chart [translate] 英语翻译 日语翻译 韩语翻译 德语翻译 法语翻译 俄语翻译 阿拉伯语翻译 西班牙语翻译 葡萄牙语翻译 意大利语翻译 荷兰语翻译 瑞典http://riyu.zaixian-fanyi.com/fan_yi_2028859
15.《小学英语课堂教学中多元性评价》课题研究阶段性小结我们所构建的小学英语课堂教学五维评价体系在评价主体、评价内容、评价形式三个评价维度的基础上增加评价时机和评价效能,使立体的评价实体成为发展的动态的评价系统,成为时时刻刻发挥最佳效能的评价系统。五个评价维度相互促进、相互发展,构成一个统一的、富有生命力的有机体,成为促进小学英语课堂教学发展、促进师生共同发展https://lsgj.csedu.gov.cn/datamigration/jsyd/jyztd1/xxyyjyz/xxyyjxjycg/content_229025
16.2024年信息系统管理工程师考试大纲信息系统管理工程师通过本考试的合格人员能对信息系统的功能与性能、日常应用、相关资源、运营成本、安全等进行监控、管理与评估,并为用户提供技术支持;能对信息系统运行过程中出现的问题采取必要的措施或对系统提出改进建议;能建立服务质量标准,并对服务的结果进行评估;能参与信息系统的开发,代表用户和系统管理者对系统的分析设计提出评价意https://www.educity.cn/rk/5251495.html
17.评价体系,evaluationsystem英语短句,例句大全10.Research on the Evaluation System and Method of Virtual Enterprise PPC System;虚拟企业PPC系统评价体系及评价方法的研究 11.Index system and method for assessing the health status of river河流系统健康状况评价体系及评价方法 12.Research on the Industry and Trade Value Chain Evaluating System of an https://www.xjishu.com/en/101/y562085.html
18.基础教育英语教学评价试验项目实施指南(讨论稿)国家颁布的英语教学大纲和即将进入试验阶段的课程标准提出了基础教育英语教学的整体目标体系。这个目标体系需要形成性具体目标系统的过程支持。“基础教育英语教学评价试验项目”(以下简称“评价试验项目”)就是在这一背景下提出来的,目标是建立基础教育英语学科课程评价体系,落实《九年义务教育全日制初级中学英语教学大纲》(http://www.xdstudy.com/h5/info/527/detail/
19.自考《管理系统中计算机应用》复习题及答案14.评价系统开发质量的首要标准是系统( B ) A. 技术先进 B. 能满足用户需求 C. 提供信息准确 D. 有决策功能 15.在设计数据库概念结构时,实体的属性应对应数据字典中( D ) A.数据流条目B.数据存储条目 C.数据结构条目D.数据项条目 16.教师数据库表结构为:编号、姓名、电话、工资。四个字段类型依次应为https://www.oh100.com/kaoshi/zikao/shiti/302435.html
20.英语实践活动方案(通用17篇)为了确定工作或事情顺利开展,时常需要预先制定方案,方案是书面计划,具有内容条理清楚、步骤清晰的特点。方案要怎么制定呢?以下是小编帮大家整理的英语实践活动方案,希望对大家有所帮助。 英语实践活动方案 1 评价是英语课程的重要组成部分。英语课程的评价体系要体现主体多元化和评价形式多样化。 https://www.yuwenmi.com/fanwen/huodongfangan/4030070.html