微软研究院首席研究员凯特·克劳福德(Kate Crawford)在2013年Strata大会上的精彩演讲仔细研究了大数据及其含义,探讨了克劳福德所谓的“算法错觉”以及大规模数据解决方案的局限性在商业世界的许多地方都受到欢迎。
克劳福德(Crawford)使用一种基本的类比来描述涉及旋转猫的光学错觉,从而得出以下结论:尽管大数据对于许多业务应用程序必不可少,但有多种方法可以解释对人类决策者看来是客观的数据集的许多结果。
克劳福德说:“事情可以有不同的看法。”她和他的合著者戴维·博伊德(David Boyd)在论文中反思了大数据使用的一些主要原则,包括克劳福德所说的“神话”,或者认为大数据带来绝对真理的信念。对项目的客观主义。 她说,领导者经常直接将大数据与客观的鸟瞰图联系起来,而忽略了她所说的可能以关键方式影响客观性的三个基本局限性或考量:偏差,信号和规模。
从偏见开始,克劳福德以澳大利亚和美国的洪灾为例,表明大数据并不总是与街上的现实相符。 她将第二个原则(信号)联系在一起,进一步说明了数据集如何反映可能严重扭曲结果的隐藏现实。 举例来说,克劳福德(Crawford)列举了多种世界地图,目的是为了客观地了解各大洲和国家的相对规模。
克劳福德说:“地图不是中立的。” “每次决定代表数据时,我们都会做出选择。”
为了进一步说明该原理,Crawford使用了向城市官员报告波士顿坑坑洼洼的应用程序的示例,表明在智能手机和移动设备上运行的这类应用程序最终可能会使总体报告看起来像人口普查地图,表明相对年龄和城市或市政当局的收入。
克劳福德说:“我们冒着进一步加深特定类型的社会不平等的风险,”他指出,由于技术使用的差异,可能在给定的大数据集中被排除在外的人们。
“如果您生活在大数据集的阴影下,会发生什么?” 她说。
此外,克劳福德还谈到了几年前的研究,该研究质疑高级信息是否总是代表更细粒度的数据,以及“客观全景图”是否始终比小规模数据更准确地表示。 克劳福德还要求听众不仅考虑大数据,还考虑“深度数据”。 通过这种方式,她的意思是真正指导读者实现客观现实的数据,而不是用更全局的方法掩盖细节,尽管这种方法更容易理解,但可能会忽略实际存在的关键要素。