Contact us
近日,在加拿大多伦多大学向量学院发起的“2017 - 2018年机器学习进展与应用”研讨会中,神经网络之父Geoffrey Hinton做了一场报告《What is wrong with convolutional neural nets?》,在报告中Hinton讲解了他多年来一直在做的研究工作,他称之为“胶囊理论”(capsules theory)。
在报告中,他认为“标准神经网络”与真实的大脑神经网络相比有以下四个问题:
1、池化过程并没有很好地模仿大脑中形状知觉的心理过程——它不能解释为什么我们人类能将内在的坐标系映射到物体上,以及为什么这些坐标系这么重要;
2、池化解决的问题是错的——我们想要的是信息的同变性而不是不变性,是理清信息而不是丢弃信息;
3、池化没有利用底层线性结构——它没有利用在图形中能很好地处理方差最大来源的自然线形流形。
4、池化在处理动态路由时很差劲——我们需要将输入信息的每一部分路由到知道如何处理它的神经元中,找到最佳的路径就是在解析图像。