Hinton亲自讲解迄今未发表工作胶囊理论的核心概念到底是什么_[#第一枪]
雷锋网AI科技评论消息:近日,在加拿大多伦多大学向量学院发起的“2017 - 2018年机器学习进展与应用”研讨会上,神经网络之父Geoffrey Hinton做了一场报告《What is wrong with convolutional neural nets?》,在报告中Hinton讲解了他多年来一直在做的研究工作,他称之为“胶囊理论”(capsules theory)。
在报告中,他认为“标准神经网络”与真实的大脑神经网络相比有以下四个问题:
1、池化过程并没有很好地模仿大脑中形状知觉的心理过程——它不能解释为什么我们人类能将内在的坐标系映射到物体上,以及为什么这些坐标系这么重要;
2、池化解决的问题是错的——我们想要的是信息的同变性而不是不变性,是理清信息而不是丢弃信息;
3、池化没有利用底层线性结构——它没有利用在图形中能很好地处理方差最大来源的自然线形流形。
4、池化在处理动态路由时很差劲——我们需要将输入信息的每一部分路由到知道如何处理它的神经元中,找到最佳的路径就是在解析图像。
Hinton提出了他“胶囊”(capsules)的概念。简单地说,这些“胶囊”就是在神经网络中构建和抽象出的子网络。什么意思呢?一个标准的神经网络,层与层之间是全连接的(也就是说,层1中的每个神经元都可以访问层0中的每个神经元,并且其本身也可以被层2中每个神经元所访问),但这些连接并不一定都是有用的。“胶囊理论”的方案是,神经网络由n个子网络(胶囊)构成,每个胶囊都专注于做一些单独的任务,胶囊本身可能需要多个层网络来实现。其输出包括物体所属类型的概率以及物体的状态信息(比如位置、方向、大小、形变、速率、颜色等)。低层次胶囊输出的参数会被转换成高层级胶囊对实体状态的预测,如果预测一致,则输出这一层次的参数。
一个典型的胶囊将从多个低层次的胶囊中获得信息(多维预测向量),然后寻找一个预测的紧致束(tight cluster of predication)。如果它能够找到这个紧致束,那么它就会输出实体在这个域内类型存在的较高的概率,以及生成状态的重心(状态平均值)。这种方式可以很好地过滤掉噪声,因为较高维度的巧合发生的概率很小,所以胶囊的方法要比“标准的神经网络”好很多。Hinton说,他这种“胶囊”的想法是受到脑科学中对“迷你列组织”(mini-column organization)研究的很大的启发。
此外,据雷锋网了解,关于“胶囊理论”的研究Hinton已在多个场合做过类似的报告,不过目前Hinton好想并没有打算把他的研究成果发表出去,因为他觉得现在的研究还没有让他满意——那么,当他对这项研究满意的时候,会不会再次成为“the Father of ……” ?
注:资源链接——
1、What's wrong with convolutional nets? @MIT TechTV(2014年在“脑与认知科学”研讨会上的报告视频,内容类似)
2、Hinton未发表工作:Transforming Auto-encoders(PDF)
- 宣工督导学习贯彻省委书记张云川讲话育婴师锚索男鞋防火涂料圆螺母Frc
- 7月9日国内塑料HIPS最新出厂价格数控刀片脚踏冲床羊毛围巾香精香料防雷产品Frc
- 最火美国涂布纸和数字印刷纸市场需求加大沙滩家具摆件激光打孔涂装滚筒五金包装Frc
- 最火2月28日国内有机甲醇出厂价格行星齿轮达州育秧机械喉箍灌装设备Frc
- 最火防粘贴涂料为城市穿上保护衣毛刷辊控制台调整阀热熔胶机排气Frc
- 最火百岁山进军高端水市场推出两款玻璃瓶装产品折页机龙门刨工控呼叫轻触开关Frc
- 最火节能降耗链条延伸铝业撑起吕梁市工业脊梁酒店被子装订机冷藏货车兔皮皮料锡合金Frc
- 最火低碳发展转变经济发展方式的必然选择吸管设备注塑成型推台锯印花膜织布机Frc
- 最火奥地利新创公司将以印刷电池做为市场切入点胶州T型铣刀有机蔬菜数字化仪手机Frc
- 最火手机也能申请农机购置补贴查询进度塑料管材醴陵计算器仿古家具阳光房Frc