运维开发网

Visual Question Answering with Memory

运维开发网 https://www.qedev.com 2020-07-25 13:41 出处:网络 作者:运维开发网整理
Visual Question Answering with Memory-Augmented Networks 引用论文 Hierarchical Question-Image Co-Attention for Visual Question Answering 在一般的VQA问题中,我们使用梯度下降来更新模型,使用低频截断来减少答案分类数,这样会造成模型对低频答案得到的分数较低,难以得到正确答

Visual Question Answering with Memory-Augmented Networks

引用论文 Hierarchical Question-Image Co-Attention for Visual Question Answering

在一般的VQA问题中,我们使用梯度下降来更新模型,使用低频截断来减少答案分类数,这样会造成模型对低频答案得到的分数较低,难以得到正确答案。这篇文章介绍了一种新的Memory-Augmented方法来解决这一问题。

模型结构

Visual Question Answering with Memory

模型主要有三大块

1. 问题及图像特征提取

这里使用了双向LSTM提取问题特征,而对于图像特征,这里是将图片输入CNN网络中,从它的一层池化层中输出,(如VGG-16从pool5层输出,得到矩阵为14 X 14 X 512),再reshape得到(196 X 512)的矩阵,这里的196就是CNN feature中的分区(region)数。

2. Sequential Co-Attention 协同注意力

Visual Question Answering with Memory

这里用的是Parallel模型,主要是为了做attention提取出question与image的相关的特征。

First, compute a base vector $m_0$:

Visual attention:

where $W_v$, $W_m$, $W_h$ denote hidden states.

Question attention:

3. Memory Augmented Network

这里用到了一个LSTM作为memory controller

将h_t与memory中的所有记忆单元计算余弦相似度,再过softmax得到概率,再与$M_t$相乘得到记忆向量$r_t$,将$h_t$与$r_t$ concatenate到一起输入到分类网络中。

Memory 的更新

0

精彩评论

暂无评论...
验证码 换一张
取 消

关注公众号