最近，我采访了Terbium Labs的首席技术官Clare Gollnick，科学的了解了关于AI再现性危机和其对数据科学家的影响。该内容似乎真的与听众产生了共鸣(根据我们通过演出笔记页面和Twitter收到的评论数量来判断)，原因有几个。
综上所述，许多自然和社会科学的研究人员报告表明他们无法重现彼此的发现。2016年的一项自然调查显示，超过70%的研究人员试图重现另一名科学家的试验，而超过半数的人未能重现他们自己的试验。这一发现对研究人员进行科学研究的方式有着深远的影响。
Gollnick认为，造成重现失败的一共重要原因是“p-hacking”的概念——即在您确定关于潜在因果关系的特定假设之前，检查您的实验数据，直至找到符合统计显著性标准的模式。P-hacking被称为“数据捕鱼”有一个原因：你正在从你的数据向后工作到一种模式，这打破了首先确定统计显著性的假设。
Gollnick指出，数据捕捞真是机器学习算法所做的事情，尽管他们从数据到模式的关系都是逆向工作的。因此，数据科学家可以成为自然科学家所犯同样错误的受害者。特别是在科学领域的P-hacking，类似于开发一种过于适合的机器学习模型。对于数据科学家来说，幸运的是，我们很清楚交叉验证，即研究者在训练数据集上生成假设，然后在验证数据集上进行测试，这是一种必要的时间。正如Gollnick所说，在验证集上的测试很像做一个非常具体的预测，除非你的假设是正确的，否则不太可能发生，这本质上是最纯粹的科学方法。
除了科学，人们越来越关注机器学习中再现性危机。谷歌研究工程师Pate warden最近发表的一篇博客文章谈到了数据科学家和其他崇业者所面临的一些核心的可重复性。Warden引用了当前机器和深度学习方法的迭代性质，以及数据科学家不容易在每次迭代中记录他们的步骤的事实。此外，深度学习的数据科学堆栈有很多可移动的部分，并且这些层的任何变化——深度学习框架、GPU驱动程序、培训或验证数据集——都会影响结果。最后，对于像深层神经网络这样不透明的模型，很难理解语气和预测结果之间差许多简化的假设或实现细节，使其他人更难复制他们的工作，这进一步加剧了这些问题。
在深度学习的过程中，我们真的不知道为什么、什么时候或者在多大程度上深入学习，从而进一步加深了对深度学习结果的研究。在2017年NIPS大会上的获奖感言中，谷歌的AI Rahimi将现代机器学习比作炼金术。他解释说，炼金术给了我们冶金、现代玻璃制造和药物治疗，炼金术师也相信他们可以用水蛭来治疗疾病，并将贱金属转化为黄金。同样，虽然深度学习为我们提供了难以置信的数据处理新方法，但Rahimi呼吁负责医疗保健和公共政策关键的系统“建立在可验证的、严格的、全面的知识上”。
Gollnick和Rahimi联合倡导对我们使用的模型的工作方式和原因提供更加深入的了解，这样做可能意味着一切将回到基础，也许能追溯到科学方法的基础上。Gollnick在我们的谈话中提到，她最近为“数据哲学”着迷——也就是对科学知识的哲学探索，对某些事物的确定意味着什么以及数据如何支持这些。
事实上，我们有理由认为，随着现代机器学习方法应用范围的扩大，任何迫使我们面对诸如解释能力、因果关系和确定性等问题的思维联系都有很大的价值。在像Karl Popper和Thomas Kuhn这样的现代科学哲学家的著作以及18世纪的经验主义者David Hume的指导下，这种对我们方法的深刻反思对整个人工智能领域都有所帮助。
