比如说要做一个CNN，用已经学习到的特征，通过反馈连接增强输入，这方面有没有已有的工作可以介绍一下？就像以前这篇讨论贴一样http://tieba.baidu.com/p/3720269491?share=9105&fr=share
人工智能吧 关注：114,201贴子：505,626
- 15回复贴，共1页
我来说一下自己对注意力的最新理解吧。大脑需要running as fast as it can，因此大多数时候需要处于非注意力集中状态，反馈只起预测加速前馈过程的作用。当输入存在复杂结构而有必要弄清其结构时，这时大脑才会提高警戒度，串行地逐个注意其中的重要元素，这样就能完成what 和where的绑定（具体见后续链接）。另一种角度，即使不考虑what和where绑定，这种串行访问也是必须的：在大多数时候大脑在做平均场近似，即多个元素的单独贡献的平均效果近似于多个元素的平均值的贡献，显然只有一个元素时，是完全正确的，当元素增多时，就可能偏差较大，有些重要的东西会被平均掉，此时逐个计算每个元素的贡献就变得有必要。可以认为这是元素与贡献的绑定，在大多数时候元素与贡献是不绑定的，多个元素共同前馈，我们不知道贡献具体是由谁产生的。
注意力集中在于选择某个线索，如what或者具体的贡献，通过top down的按内容访问，匹配加强符号的元素，并去读出符合what/具体贡献的某个元素，由于注意力集中，很多信息都不再是平均，而是该元素对应信息的精确描述。因此注意力的选择性，或者说是序列访问，是为了给信息一个瓶颈，使得信息的结构得到保留。这也是在弥补恒常性系统完成各种不变性带来的缺点，因为这种不变性使得其它信息丢失了。
注意力集中在于选择某个线索，如what或者具体的贡献，通过top down的按内容访问，匹配加强符号的元素，并去读出符合what/具体贡献的某个元素，由于注意力集中，很多信息都不再是平均，而是该元素对应信息的精确描述。因此注意力的选择性，或者说是序列访问，是为了给信息一个瓶颈，使得信息的结构得到保留。这也是在弥补恒常性系统完成各种不变性带来的缺点，因为这种不变性使得其它信息丢失了。
认知、神经方面的论文就不要看了，比较耗精力。已经有很多用注意力解决绑定问题的ANN例子：
Look and Think Twice: Capturing Top-Down Visual Attention With Feedback Convolutional Neural Networks
http://www.ics.uci.edu/~yyang8/research/feedback/feedback-iccv2015.pdf
ABC-CNN: An Attention Based Convolutional Neural Network for Visual Question Answering
https://arxiv.org/pdf/1511.05960v2.pdf
用在生成句子我认为注意力是相当必要的，不如根本无法理解各个物体的空间关系
MULTIPLE OBJECT RECOGNITION WITH VISUAL ATTENTION
https://arxiv.org/pdf/1412.7755v2.pdf
Attention to Scale: Scale-aware Semantic Image Segmentation
http://www.ics.uci.edu/~yyang8/research/attention-scale/attention-scale-cvpr2016.pdf
Look and Think Twice: Capturing Top-Down Visual Attention With Feedback Convolutional Neural Networks
http://www.ics.uci.edu/~yyang8/research/feedback/feedback-iccv2015.pdf
ABC-CNN: An Attention Based Convolutional Neural Network for Visual Question Answering
https://arxiv.org/pdf/1511.05960v2.pdf
用在生成句子我认为注意力是相当必要的，不如根本无法理解各个物体的空间关系
MULTIPLE OBJECT RECOGNITION WITH VISUAL ATTENTION
https://arxiv.org/pdf/1412.7755v2.pdf
Attention to Scale: Scale-aware Semantic Image Segmentation
http://www.ics.uci.edu/~yyang8/research/attention-scale/attention-scale-cvpr2016.pdf
这里有篇论文或许对你有用： Learning to Generate Chairs with Convolutional Neural Networks - https://www.robots.ox.ac.uk/~vgg/rg/papers/Dosovitskiy_Learning_to_Generate_2015_CVPR_paper.pdf
这个的做法是先训练一个标准型的CNN，然后另加一个倒反过来的ＣＮＮ(upside-down CNN with unpooling) 就可以做物体影像的合成及分割。例如给予两种椅子的图像样本，这系统可以学会如何合成从未见过的椅子样式和视角的图像。
这种做法或许不能说是在模拟 IT皮层V4、V2、V1反馈连接（见http://tieba.baidu.com/p/3720269491?share=9105&fr=share), 不过显然是相当实际可行。照这个思路做延伸该可以做出不少有意思的东西出来。
这个的做法是先训练一个标准型的CNN，然后另加一个倒反过来的ＣＮＮ(upside-down CNN with unpooling) 就可以做物体影像的合成及分割。例如给予两种椅子的图像样本，这系统可以学会如何合成从未见过的椅子样式和视角的图像。
这种做法或许不能说是在模拟 IT皮层V4、V2、V1反馈连接（见http://tieba.baidu.com/p/3720269491?share=9105&fr=share), 不过显然是相当实际可行。照这个思路做延伸该可以做出不少有意思的东西出来。
