本文共 2436 字，大约阅读时间需要 8 分钟。
AI前线导读：
人工智能、机器学习，在这个智能当道的时代，你几乎可以在任何地方看到AI的身影，小到你手里的智能手机，大到工厂的超大型生产设备，人们相信人工智能，甚至在某些领域，人们已经开始对AI产生了依赖。但是，AI的判断一定是准确的吗？如果AI出现了失误，那么这个责任应该是谁的呢？本文作者Cassie Kozyrkov对这一问题提出了他的想法。
更多干货内容请关注微信公众号“AI前线”（ID：ai-front）
别误会，我其实很喜欢，但我不会盲目地相信它们，你应该也是吧，因为建立有效的、可信任的解决方案是一个建立信任的过程。
设定场景
欢迎吸猫。在之前的文章中我们建立了一个分类器将以下这六张图片分为两组。
我们的想法欺骗了我们
还没这么快！其实我们的期望欺骗了我们！仔细观察这些图片，你会发现，在所有Tesla的图片背景中都有散热器，而Huxley的则没有。
猫咪检测器还是散热器检测器？
很不幸，实验结果表明，这的确是一个散热器检测器。使用新样本进行测试可能会有所帮助，所以让我们看看是否以这种方式解决问题……
即使我使用新数据（这些新图片）来测试它，也不会有太多的错误，所以我们的分类器到底有问题吗？
假设Tesla总是和散热器一起而Huxley总是不和散热器一起，那么谁会在乎它是如何工作的？它总能奏效。它每次都会给出合适的分类，如果是这样就没有问题了。
但这真的是一个很大的假设。如果猫搬到另一间公寓了会怎样？如果你直接使用我的分类器对你的图片进行分类会怎样？
在这些情况下，返回的标签将是“Huxley”，依赖了我的检测器的任意一个关键任务系统都会发生崩溃。
这到底是谁的错？
让我们先分析一下：
将像素转换为标签的方法太过复杂，搞得我一头雾水。
我观察到的只是输入（像素）和输出（Hux / Tes标签）。
因为我是人，我没有注意到眼皮底下的一些细节（散热器和Tes总是一起出现）。
我告诉自己关于输入如何与输出相关的故事不仅被简化了，而且还一厢情愿地偏离了对散热器的解释。
只要我确信过它确实有效，就不必理解它的工作原理的。
检查它是否有效的方法是评估它如何处理以前没有见过的一组相关样本。
到现在为止还挺好，实际上还没有什么问题。你相信很多东西，却不知道它们是如何起作用的，例如我们许多人因为头痛而服用。它的确有效，。重要的是，你可以验证扑热息痛确实有效。
可惜的是，我检查了一些样本，这些样本与我希望系统使用的样本不同。
这一次，它出了大问题。只要我们使用适当的样本适当地测试系统，其他就不会有问题。所以答案是：这是我的人为错误。
这就是为什么从一开始就要考虑到你的，这点很重要。开始之前一定要指定规格和设置。起一个成年人的责任，否则你只能开发一些玩具一样的应用程序。
是常识，不是魔术
我一直在使用“样本”这个词而不是“数据”（实际上它们是同样的东西）来提醒你这不是魔术。 。为了使它起作用，这些样本必须是相关的。并且，任务越复杂，你所需要的样本就越多。你每天都使用样本进行交流，因此你已经知道了这些内容。也许你想知道数学是否表达了不一样的东西，实际上它没有。请放心，常识是你最好的算法。
在你规定的条件之外，你对系统的安全性一无所知，因此请注意：
如果你没有测试它，不要相信它。
如果你没有在【环境】中测试它，请不要相信它在【环境】中的结果。
如果你没有使用【用户群】进行测试，请不要相信【用户群】使用它得到的结果。
如果你没有使用【数据组】进行测试，请不要相信系统在【数据组】上的结果。
如果输入异常，请不要相信你的系统输出是合理的。考虑使用异常值检测和安全网。
如果你使用的工具尚未经过测试，那么你的工具导致的错误应该算到你头上。A也只是一种工具而已。
查看原文：
链接：
转载地址：http://tnqtx.baihongyu.com/