网络信息中心(挂靠医药信息工程学院)
服务热线

网络故障报修(信息点维护) 68129114

校园网上网账号申请、维护  68129114

VPN相关问题咨询指导     68129114

网站群问题咨询        68129284

邮箱申请            68129284

一卡通咨询          68129283

虚拟服务器申请       68129283

数字校园咨询        68129283

  

 

信息化技术


MOOC有效评价反思与对策研究

【2016-09-30】 【作者/来源 吕旭佳】 【阅读:次】 【关 闭

来源:中国教育网络

随着MOOC(Massive Open Online Courses大规模开放课程)热潮,如何评价MOOC受到关注。MOOC是课程,也要遵循教学规律,其评价要围绕学生、教师、教学方法、教学效果等因素,要定性与定量相结合,但在实践中这些评价效果不佳。

MOOC是课程,是要让学生掌握某些知识和学习,这种学习,不论包装得如何生动有趣,如何互动或互助,都是为有持续学习意愿的学习者准备的。2015年对221门课程调查发现,完成率的中位数为12.6%,其中多数学习者都是在前两周就退出了。无论是哪种方式的学习,都需要安排时间、专心致志、理解思考、表达沟通、记忆背诵、坚持不懈,与读小说和看电视不同,多数MOOC要以考试的方式检验学习效果。与传统课程一样,在MOOC也存在多数学生怕考试,多数学生不愿意自主学习的现象。

MOOC评价的实践

当前MOOC的评价体系并没有国家标准。2015年教育部发布的《关于加强高等学校在线开放课程建设应用与管理的意见》提出以先建设应用、后评价认定的方法,到2020年,认定3000余门国家精品在线开放课程,各高校根据实际建立在线开放课程的评价机制。而在2006年针对国家精品课程建设,是有教学队伍、教学内容、教学方法与手段、教学条件、教学效果、特色及政策支持等6项一级指标和15项二级评估指标,每个指标有具体的分值。从早期精品课程建立明确的评价指标体系,到目前MOOC先建设,后评价的做法,表明评价体系的建立存在困难。

在近年研究中,不少学者试图构建多样的MOOC评价体系。德国亚琛工业大学尤瑟夫等建立了教学维度技术维度的评价。教学维度下有教学设计与考核2个二级指标,下设29个指标;技术维度有使用者界面、视频内容、学习与社交工具,及学习分析四个二级指标,下设44个评价指标。欧洲远程教育大学联合会的开放教育质量评价包括2个一级指标:机构层面与课程层面。机构层面包含6个二级指标:战略管理、课程体系设计、课程设计、课程传递、教职人员支持及学生支持;课程层面未设置二级指标,有11个三级指标。

MOOC评价的缺陷

在实践中,每个评价指标都有其重要作用,但作为整体的MOOC评价体系是否科学合理,仍面临不少挑战。

1.评价体系指标繁杂,有效性缺乏大范围验证。评价体系要有可操作性,要考虑评价的成本和时间。如果在购物平台上消费后,要给出的评价指标有几十项,多数买家可能都会放弃评价。很多情况下,全面客观与精练直观是矛盾的,规范化标准化与特色化个性化也是矛盾的。

2.评价主体不明确,以专家经验代替用户体验。在实践中往往以专家代替普通用户,对MOOC进行评价。一方面多数用户无法完成某项MOOC课程的学习,其评价可能偏低,而少数完成了学习的用户,对MOOC的评价可能偏高;另一方面用户缺乏横向比较,不会把多个高校提供的同一门课程都学习,对于知识点设置是否合理,考试难度是否恰当等,难以做出正确评价。但以专家代替用户的评价模式,带来了新问题。专家不会像普通用户,一个学期深入学习后作出评价,其极短时间的体验,可能对MOOC课程的流畅度、易用性、互动性等产生误判,更强调MOOC的知识体系和专业细节,忽略趣味性和口碑宣传等隐性优势。

3.评价目标和时点值得商榷。除了由谁来评价外,MOOC评价体系还有两个绕不过的问题。一是评价的时点,每门MOOC课程建设都是个不断完善的过程,刚上线课程与成功运营几年的课程在同一评价体系中显失公平。二是评价的目的,在计划经济时代,评价与评比和评奖是对应的,但在市场经济下,如果只是由主管部门进行评价,可能并不客观,有些被高校专家推崇的精品课程,学生中的口碑却一般,学生可能喜欢和蔼、幽默、颜值高,课程浅显、考核简单的老师和课程,专家却不认可。

4.评价体系缺乏可比性。所有MOOC放置在一个评价体系中仍值得商榷。不同学科专业、不同课程体系、面向不同教师和学生的MOOC,其评价指标也应多元化。即使同一门课程,面向不同年龄或学术背景的学生,他们评价的结果也会有较大差别。有的学科需要实践操作,有些强调书面表达,有些注重学习互动,让这些MOOC课程放在相同的评价体系中,不仅有失公允,也无法发挥通过评价而产生的改善和提高的效用。

5.评价体系缺乏导向性、动态性与前瞻性。MOOC的评价要发挥导向性作用,课程建设者对照指标,查漏补缺。相对宽泛的指标体系显然无法发挥导向作用。此外,MOOC的教学理念和技术实现手段是不断变化的,用户也会更加成熟,是个动态演变过程,相应的评价指标体系也应是动态变化并具有一定的前瞻性,要充分预计评价指标的发展趋势变化,使评价指标体系的适用更具有长远性。现有的评价体系,在这方面仍有提升的空间。

MOOC的二维体系

在对MOOC评价前,可从需求和受众两个角度,将所有MOOC课程分为四个象限,不同特点的课程,其评价侧重点也应不同。见图1所示。横坐标是用户需求,左侧是内在需求,右侧是外在需求。内在需求强调个人兴趣驱动,外在需求是为了满足外在的要求,如考试、入职或专业升级等。纵坐标是受众的数量,自下而上,受众越来越多,从小众关注到大众追捧,有些MOOC只能吸引少量用户,有些却有大量的用户关注。在MOOC网站首页推荐的课程,多数都是大众追捧的,位于第一象限和第二象限。


这四类的MOOC不宜用采相同的评价体系。偏个人兴趣的MOOC,用户往往是随机进入这些课程,前几期的点击率很高,在没有硬性课程考试和时间压力的情况下,多数用户不会坚持到课程结束,这些课程需要有特色、有观点、风趣、博学、耐人寻味等。而偏现实压力的MOOC,如高校由原精品课程和专业课程转型的MOOC,需要学生注册后,在学期内配合传统课程学习,完成作业和考试并获得成绩;或者是需要由培训通过国家或行业类考试;这类MOOC强调课程体系、逻辑架构和专业性,需要用户反复学习和相互讨论后才能掌握,课程难度较高,一般而言,用户更愿意为这类MOOC付费。

MOOC的双层评价

以最终考试成绩认定MOOC课程的质量,并不容易,这也让MOOC的评价更加困难。由于很难监督分布在各处的学习者的作业和考试状态,作弊和替考都有可能发生。MOOC如果不与传统课堂相结合,学生的成绩是难以认定的。换句话说,多数学生不是为了通过考试而参加学习的,如果传统课堂学习不用考试,也没有成绩,想学就学,可能很多课程的毕业率也不高。有研究者将参与MOOC学习的学生聚类为4种类型即完成者、旁听者、脱离者和体验者,还有称为潜行者、顺访者、消极参与者和积极参与者,无论如何表述,不参与到MOOC中的学习者比例可能高于传统课堂。

MOOC评价应采用双层体系。第一层是准入评价,第二层是综合评价。参照更加复杂的电影评价体系,一部好的电影,其题材、演员、导演、情节、摄影、音乐、道具、服装都是重要的评价指标,每个指标也可再作细分,但很少有电影采用这种机械式的、相互分离的评价体系,常见的IMBD、豆瓣电影评分等,只需要用户提交一个综合分,如果有足够多的用户,这个评分就能显示出其相对的公正性。当然,电影的综合评价,是基于第一层准入评价的基础上,即所有电影都要有制作和发行的批准,其程序就是以专家为主体,对相关内容进行严格审查,制作方根据修改意见进行调整并符合标准后,才能获得批文并进入市场。在MOOC体系中,准入评价也是审查,包括技术规范、教学内容、相关材料等,只要符合标准要求的MOOC,就能进入各平台发布。由于MOOC的持续更新性,相应的审核也应不定期地进行。

基于MOOC双层评价的建议

1.尽快建立全国统一的MOOC准入审核平台。随着各类MOOC课程越来越多,相关部门应联合成立全国统一的MOOC准入审核平台。对国内外所有拟进入各类平台,包括学校内部自建平台的MOOC课程进行审核,并开展定期检查和反馈。审核的重点是技术规范、讲授内容、实名制注册等,应符合国家相关法规要求。

2.逐步建设全国统一的MOOC评价平台。借鉴电影的评价模式,建设覆盖所有MOOC的评分网站,所有注册用户能给相应课程评分,撰写相应的评价、意见和建议,根据用户学习内容的多少,给出评分的相应权重,例如课程共10章,用户只观看了第1章少量内容,则其给出的低分应作相应调整。平台建立后,也逐步可将专家或同行等给出的分值作相应权重的增加。平台应做好刷分等舞弊事件的监控和处理,防止人为操作。

3.建立评奖体系,鼓励创新。借鉴电影的评奖模式,让专家推荐四个象限MOOC的入围课程,然后评选出相应的获奖MOOC作品予以表彰。相对于繁多的MOOC平台和课程,用户的注意力变成了稀缺资源,评奖能让用户更好地关注MOOC中的新课程、新创意,以此鼓励创新。同时,采用独立于评价平台的评奖体系,也能纠正仅由用户打分所带来的片面性,建立正确的导向。

  (文:涂伟 李曼 作者单位为武汉科技大学现代教育信息中心)

原文链接:http://www.media.edu.cn/zyyy/wj/201609/t20160914_1448913.shtml

 

 

 安徽中医药大学 网络信息中心 版权所有 © 2018 All rights reserved
地址:合肥市新站区前江路1号  电话:0551--68129284 邮编:230012   皖ICP备020526号