遵循进一步算法的道德和专业数据科学需要避免进一步的算法
根据BCS的一份报告,应当将严格的道德和专业标准应用于社会影响的算法,以恢复该技术的公众信任,根据BCS,特许研究所。
标题为考试问题:我们如何使算法做正确的事情?,该报告分析了导致OFQual算法考试FIASCO的失败,以确定如何嵌入开放性,问责和客观性的原则如何嵌入到算法中,以高 - 赌注关于人们的决定。
OFQUAL算法降级了近40%的学生的A级结果,此后被教育部(DFE)被遗弃(DFE)被遗弃,支持了学生大规模反障碍之后的教师预测等级。
该报告提出了一些关于如何恢复算法的信任信任的建议,包括政府赞同BCS,皇家统计会(RSS)和其他人的持续工作,包括专业化的数据科学;政府采取领导作用,以确保算法设计中良好的道德和专业实践变得无处不在;并且该算法通过在生活前通过独立的影响评估进行。
“长期缺乏公众对数据分析的信心将非常损害。依赖算法的信息系统可能是一个良好的力量,但 - 随着学生发现巨大的成本 - 我们一直在使用它们根据具有主观,不确定和部分的数据来对史式的高赌注判断,“账单说Mitchell Obe是BCS政策总监。
“我们需要真正对使用算法的监督,包括识别意外后果,以及系统级别的能力,以解决可能在出现问题时对熟食造成的伤害。
“这意味着,首先,专业的数据科学使英国拥有世界上最值得信赖,伦理和追捧的数据科学团队。”
该报告增加了“缺乏专业的良好做法和围绕发展和实施信息系统的专业标准”,以及任何依赖于实时进行统计判断的自动化系统应被视为“高风险算法”系统。
“减轻了政策制定或实施中这些系统造成的风险需要了解所有组织商业惯例以及跨学科团队如何在政策边界上努力共同努力,”它说。
该报告概述了算法开发和设计的关键阶段,即组织应该考虑,包括政策目标,所有权,数据模型和数据收集。
“只有在[上述]的选择后,可以开发一组算法,这些算法集体自动化这些判断,数据适合用于使用,”报告称,在整个开发周期中添加了对系统的严格测试需要不同的元素和整个包装,需要了解系统是否足够好。
“上述所有阶段都需要合理的道德判断,以使最佳选择成为可能。他们涉及许多不同的利益攸关方,这些利益攸关方需要合适的治理机制,以快速有效地在密切合作中工作,“它说。
“幸运的是,练习这些做法的工作已经开始......协作地形状和发展数据科学专业。我们建议政府支持并加入这一合作,确保它热情地采用这一伙伴关系开发的专业标准和实践。“
报告称,DFE和OfQual在一些问题上咨询了广泛的利益相关者,例如计算的等级估计应该用于取代考试,以及应使用哪种类型的数据作为这些计算的基础,其他问题完全被忽视,包括如何最好地维护标准以及如何将教师的预测成绩与历史数据相结合奖励结果。
得出结论,“开放意味着打开关于将使用的数据,该数据的出处,如何使用它以及用于确定所得信息系统是否适合的标准。
识别企图确保客观性的尝试中的缺点,也表示,需要清楚地区的信息系统旨在在辛勤水平实现哪些信息系统,并且应该在过程的开始“中建立”正确“。
例如,基于不同学生的不同队列的特征分发等级,因此它们与前几年进行统计学 - 这是占间算法所做的 - 与确保每个史式学生都可以如此公平处理的东西,这是应该拥有的它说,所有利益攸关方都被讨论并理解,它说。
在问责制方面,BCS说:“在开始时,为联合治理的有效机制是必要的信息系统的设计和发展。”
虽然它没有分配责任,但它补充说:“目前的考试情况不应归因于任何单一政府部门或办公室。”
然而,RSS的首席执行官斯坦斯威斯拉特告诉天空新闻,结果惨败是“可预测的惊喜”,因为DFE的要求降低了级通胀。
“这可能产生了很多不准确的事实,这意味着不公平的逃生,即闻名,”他说。
尽管RSS提供了4月份的算法,但如果学者涉及签署的非披露协议(NDA),则只能同意考虑承担其援助,这将阻止他们在评论所选的援助结果日期后五年。