A Relation-Augmented Fully Convolutional Network for Semantic Segmentation in Aerial Scenes

1. 传统CNN无法处理语义分割的上下分消息
2. 现有的关系模型有：
   1. 图模型
   2. 空间传递网络
   3. 现有模型在空间的长距离关系中处理的并不好
3. 本文提出的方法使用了两种模型
   1. a spatial relation module
      1. 两两像素上的vector乘上权重矩阵后做内积
      2. 拼合上原输入feature maps得到最后结果
   2. a channel relation module
      1. 不同channel取最大池化降维，然后不同channel两两相乘得到C*C的feature maps
      2. 和原输入feature maps矩阵相乘得到最后结果
   3. 两种模型可以并行最后融合，或者是串行先经过通道模型再经过空间关系模型
4. 数据集
   1. Vaihingen dataset，16类有标注的影像中的11类训练，5类测试
   2. Potsdam dataset，10类训练，7类测试
5. feature extraction使用预训练的CNN网络
6. 关系模块使用
   1. glorot初始化权重
   2. Nestrow Adam优化器
   3. 交叉熵损失函数
   4. 使用tensorflow
   5. nvidia tesla p100 16G，迭代250k轮
   6. batch=5
   7. 当损失函数不再下降时停止
7. 性能评估
   1. 评价F1，β=1；mIoU；OA
8. 比较的网络
9. 本文提供的方法对于指标的提升有一定的作用，并且在测试集上表现明显优于其他方式。但是因为目前只是进行了简单的空间像素内积，通道向量平均池化降维再外积。最后输出结果拼接上原feature maps，故虽然可以表现出一定的优异性，但是对于更深层次的关系还未完全挖掘，需要进一步的研究

[29][31]

原文