遥感X机器学习 相关研究方向

2020.10.20

1.遥感相关学术期刊

• 遥感相关的期刊，没有入选CCF的，但是CVPR中有不少遥感相关论文，以下是在遥感领域中比较好的期刊
• 数字为影响因子
• Remote sensing--------------------------------------------------------------------3.406
• ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING---7.319
• IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING------4.662
• Remote Sensing of Environment-------------------------------------------------9.085
• 遥感学报

2.综述论文

• 综述论文1
• 本文介绍了融合机器学习的遥感图像在各方面的应用，天气，降雨量，土壤，农作物类型、岩石特征、气体污染扩散、气溶胶、植被指数、海洋产品、地面参数监测、液化现象、遥感图像解析等。具体内容都有对应的References可以作为参考。
• 综述论文2
• 内容：本文介绍了遥感图像处理（主要是土地类型分类处理）中的机器学习。并且对比了不同的算法（k-nn、svm、RF等）的性能
• 结论：
• 1、遥感影像因为第三方工具包的支持还不够，并没有在遥感工作中大规模使用；
• 2、不同的数据对于最后的精确度结果影响很大，特别是稀有数据方面，精度还不够；
• 3、将机器学习运用到遥感图像处理中有很大的潜力。并且还分析了主流遥感软件（arcgis、envi等对机器学习的支持情况）。

3.cvpr2020论文

• 2020年在cvpr上共发布了18篇遥感、航拍相关的CV论文。其中筛选了符合研究条件的7篇论文进行泛读、1篇精读、调通2篇代码
• 1、自动时空正则化的无人机高性能视觉跟踪系统
• 内容翻译自摘要：
• 现有的基于判别相关滤波器(discriminative correlation filter, DCF)的跟踪器大多尝试引入预定义的正则化项来提高目标对象的学习，如通过抑制背景学习或限制相关滤波器的变化率等。然而，预先定义的参数在调优时需要付出很大的努力，而且它们仍然不能适应设计者没有考虑到的新情况。提出了一种在线自动自适应学习时空正则化项的新方法。将空间局部响应图变化引入到空间正则化中，使DCF专注于对象可信部分的学习，而全局响应图变化决定了滤波器的更新率。广泛的在四个UAV基准上的实验证明了我们的方法与最先进的基于CPU和gpu的跟踪器相比的优越性，在单个CPU上的跟踪速度高达每秒60帧。本文还提出了一种用于无人机定位的跟踪器。
• 2、街景建模
• 通过正射和侧射影响来生成街景图的建模，和第4篇论文的3D建模有相似之处。
• 尚未对这两篇论文完成精读，暂时没给出两篇文章具体技术层面的区别
• 3、密集物体检测
• 利用图像（不一定是航拍或者遥感影像），进行多目标物体的检测
• 可用于广场人流监控，考场监考，停车场车辆检测，货架货物自动判别等
• 4、大比例尺下的3D建模
• 采用的是多角度的航摄影像相结合，然后进行3D建模
• 5、交通模型[精读]
• 传统的traffic flow模型都是利用历史数据进行分析（如uber的数据集），从而对道路拥堵情况进行预估计。但是需要预估，会因为各方因素而导致结果偏差很大。并且根据文章的数据，A recent study found that the average driver in the U.S. travels approximately 17 500 kilometers per year in their vehicle, which equates to more than 290 hours behind the wheel [33].
• The Texas A&M Transportation Institute [26] estimated that in 2017, considering 494 U.S. urban areas, there were 8.8 billion vehicle-hours of delay and 12.5 billion liters of wasted fuel, resulting in a congestion cost of 179 billion dollars.
• 该文章使用了遥感影像来实时计算traffic flow模型。可以给交通运输的决策者、规划者提供实时的参考数据。也可以基于突发情况，给出第一时间的交通数据模型。
• 主要原理是利用ResNet和LinkNet，将遥感航拍图像、地理位置、时刻信息（数据集是Uber Movement Speeds）输入到网络中。然后根据像素值，进行三个解码器逐像素处理，然后进行聚合并可视化输出。损失函数使用的是三个损失函数（道路的二值分割、方向的16分类问题和带方向的速度的回归问题）相加并带上一个带权重的正则项。三个网络中的损失函数和激活函数主要是交叉熵、均方差、softmax。
• 该文章提出了一个非常好的研究方向，并且根据论文的内容来看，目前该方向的研究没有足够的完善，甚至是刚起步。不过最大的问题是作者没有开源源码，并且也多种渠道尝试联系作者都失败了。文章采用了pytorch进行开发，如果能获得源码，肯定能对文章有更深一步的理解，甚至提出新的可改善的观点。
• 结论：
• 随着城市的数字化，交通越来越拥堵，该方向的研究具有很强的现实意义和研究前景。且处于刚起步阶段，是个不错的方向。但是相关的理论和文献很少，可能需要做第一个过河的人。而且对于交通流模型的分许，需要提取的数据很多，精度方面也将是一个不小的难题。
• 6、基于CNN的点迭代道路提取[代码]
• 同传统的影像道路提取相比，该文章的重点在于点迭代。传统使用卷积进行的道路提取，遇到遮挡或者特征不明显的情况，很容易使提取出来的道路产生断点，即连通性不够好。道路一旦断开，对于路网应用来说是灾难性的，但是传统方式又很容易产生这样的问题。
• 本文提出的通过点不断迭代动态步长，然后生成路网的方式，可以很好地解决这一问题。该文章提供了pytorch的相关代码。数据集共8G，代码和环境以及调通并且正常运行，但是因为CPU版本无法负荷起运算量，导致我电脑死机三次（进度条停在0%）。所以之后会放在服务器上进行测试，不过因为目前还在阅读别的论文，所以还未将代码放置服务器上运行。
• 总结：该领域已经有不少人进行了尝试，但是本文的作者提出了一个非常novel的想法。不是直接使用CNN对图像进行卷积处理，然后结合了点迭代，然后保证了路网的连通性，很巧妙的解决了传统方式提取路网产生断点的情况。
• 在查论文的时候发现，电子科大有一个课题组专门研究道路相关的CV（道路材质提取，路网提取等）。如果从事这个方向的研究，可以同他们进行学术交流。
• 7、地理语义分割
• 地理语义分割和传统的地类划分相比，他更像是热成像图性质的，本文采用的是更高分辨率的航摄影像。不是简单的对地块进行classification。他是将地面上的物体同周围环境分隔开来，如将飞机从飞机场分隔开来。虽然采用的是不同的形式，但是和第三篇论文的密集目标检测有相似的地方。
• 8、使用像素编码和卫星影像时序分类[代码]
• 专业性较强，阅读存在一定障碍。但是提供的代码比较完善，代码已经调通，并且还提供了toy-dataset。我在PC上已经用CPU成功运行出结果。但是对于文章的理解还存在一定阻碍，所以未能很好地理解和使用运行出来的结果。
• 内容翻译自摘要：
• 卫星图像时间序列，由于其可用性日益增加，正处于国际机构实现地球自动监测的广泛努力的前沿。特别是农业地块的大规模控制，是一个具有重大政治和经济意义的问题。在这方面，混合卷积-递归神经结构在卫星图像时间序列的自动分类中显示了良好的效果。我们提出了一种替代的方法，在这种方法中，卷积层的优点是用对无序像素集操作的编码器来替代，以利用公开可用的卫星图像的典型的粗分辨率。我们还提出使用一种定制的基于自我注意的神经结构来代替递归网络来提取时间特征。我们通过实验证明，我们的方法不仅在精度方面执行了以前的最先进的方法，而且显著降低了处理时间和内存需求。最后，我们发布了一个大型openaccess注释数据集，作为未来卫星图像时间序列工作的基准。

4.个人研究方向总结

• 近期大量阅读和查找了遥感相关的论文。遥感影像在机器学习中，最直接的应用就是影像分类。对地块中不同使用途径的地块进行不同种类划分（多年前我还在本科阶段时，envi已经实现影像的监督和非监督分类）。
• 具体应用中，除去需要一定地理学、遥感测绘学、地理信息科学、海洋大气学等需要专业知识的方向外，道路提取、目标检测、实时检测是不错的方向。并且第5、6两篇论文均为非常好，且有研究价值和意义的文章。第5篇是提出了一个全新的研究方向，并且使用性意义很大。第6篇是在一个非常热门的领域另辟蹊径的解决了一个很严重的问题。两者共同点就是都还未完善，并且有很大的改善空间，而且也有非常好的实际意义。
• ICCV论文没有进行大规模总结，不过根据初步的阅读，点云是一个目前很热门的方向。
• 经过一些论文文献的研究，我发现目前流行、热门的研究方向都是深度学习相关的。所以我也想去尝试深度学习相关的课题研究。

5.上周总结

• 对论文进行了分析和阅读
• 学习、复习了深度学习相关的理论知识并做了笔记整理
• 研究、搜寻了目前遥感方向比较有潜力的方向