您好、欢迎来到现金彩票网!
当前位置:刘伯温论坛 > 图像分类 >

德国学者给CNN泼冷水:图像分类策略太简单提高准确率全靠调参

发布时间:2019-05-20 20:11 来源:未知 编辑:admin

  来自德国的一群学者构造了一个简单模型BagNet,就是为了解答上面的疑惑。该模型可以在ImageNet上实现很高的准确率,甚至超过了AlexNet。文章已经发表在ICLR 2019上。

  上面一堆杂乱无章的图片,你能看出是什么吗?但CNN却能很轻松地识别它们。其实,人与机器在这方面的差异,恰恰蕴含着神经网络分类策略背后简单的逻辑。

  最近,来自德国的一群学者构造了一个简单模型BagNet,就是为了解答上面的疑惑。该模型可以在ImageNet上实现很高的准确率,甚至超过了AlexNet。文章已经发表在ICLR 2019上。

  BagNet模型重要的意义在于,它不仅证明ImageNet比我们想象得要容易得多,还能帮助我们构建一个更具解释性和透明度的图像分类pipeline,从而更好地理解CNN背后的原理。

  在深度学习出现以前,图像识别使用的是一种特别简单的方法:定义一组关键视觉特征(“单词”),识别每个视觉特征在图像中存在的频率(“包”),然后根据这些数字对图像进行分类。

  举个例子,如何分辨人和鸟,我们定义两个关键视觉特征“人眼”和“羽毛”。如果图像中出现人眼,就把图像是人的“证据”+1;如果出现羽毛,就把图像是鸟的“证据”+1。

  这就是特征包模型,在深度学习出现之前,它曾是最先进的方法。但是在深度学习出现以后,它因为性能不佳又被抛弃。

  但我们是否能确定今天的CNN与过去的“特征包”使用了两种截然不同的决策策略呢?

  为了用最简单有效的方式实现这一策略,作者采用标准的ResNet-50架构,用1x1卷积替换掉大多数的3x3卷积。

  在这种情况下,最后一个卷积层中的隐藏单元只能“看到”图像的一小部分,其感受野远小于图像的整体尺寸。

  当q=17时,BagNet的性能已经达到与AlexNet相同的水平。当q=33时,top5的准确率能达到87.6%。在加上额外的超参数调整,BagNet还能达到更高的准确率。

  以上结果证明:只需使用一组小图的特征即可解决ImageNet问题。对象形状或对象部分之间的关系等远程空间关系对分类结果影响不大,完全可以忽略。

  因为BagNet用到了“特征包”的策略,它的决策也是透明和可解释的。我们可以查看哪个图像特征对于某个特定类判别的作用最大。

  上图中,最上面的手指图像被识别成一种鱼,因为这个类别中的大多数图像中,都有渔民用手举起鱼的画面。

  同样,我们还能得到一个精确定义的热图,显示图像的哪些部分有助于模型做出判定。

  BagNets的实验结果表明,基于局部图像特征和对象类别之间的弱统计相关性,可以在ImageNet上达到很高的精度。

  如果这就够了,为什么像ResNet-50这样的标准深度神经网络会学到完全不同的东西?

  如果丰富的局部图像特征足以解决图像分类任务,为什么还要让ResNet-50了解更复杂的大尺度关系?

  为了验证现代DNN与特征包模型有着类似的策略,作者又用下面的几种“标记”来测试BagNet、ResNet、DenseNet和VGG:

  经过上面四项实验,作者发现CNN和BagNets之间的行为非常相似。上面的实验证明了BagNets最敏感的图像部分与CNN基本相同。

  实际上,BagNets的热图(灵敏度的空间图)比DeepLift更好地预测了DenseNet-169的灵敏度。

  人们绕了一圈后才发现,原来这些年的神经网络和并不比过去的特征包在策略上高明多少。

  当然,DNN并不完全类似于特征包模型,确实显示出一些偏差。特别是,网络越深,功能越来越大,远程依赖性也越来越大。

  因此,更深的神经网络确实改善了特征包模型的性能,但作者认为其核心分类策略并没有真正改变。

  总之,这篇论文的结果表明CNN可能遵循极其简单的分类策略。更悲观的说,这表明深度神经网络在过去几年的进步大部分是通过调参取得的,从决策策略上来说,他比古典的特征包模型并没有高明太多。

  因为缺乏对DNN的理解使我们无法发展出更好的模型和架构。而德国学者的这篇文章或许对我们深化深入理解神经网络有一定的启发。

  标签:图像 策略 模型 特征 神经网络 作者 德国 cnn bagnet 准确率 量子 深度神经网络 深度学习 全靠调 标记 公众号 单词 架构 羽毛 图像识别

  俄罗斯猛砸17亿美金赶追基因编辑技术,目标10年内开发出30个编辑动植物品种

http://airgomusic.com/tuxiangfenlei/27.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有