学科动态：基于深度学习的海洋遥感影像信息挖掘
图片来源网络
随着卫星和传感器技术的发展，海洋遥感数据朝着更加大量（Volume）、快速（Velocity）、多变（Variety）和真实（Veracity）的方向发展，而其中蕴含的高价值（Value）信息则是稀疏存在、需要挖掘的，从而体现出大数据的5V特点。海洋遥感进入大数据时代，亟待研究高效、准确、稳定的信息挖掘模型、技术与系统。
中国科学院海洋研究所李晓峰研究员团队，近期发表论文《Deep Learning-Based Information Mining From Ocean Remote Sensing Imagery》，系统总结过去几年的研究成果，对基于深度学习的海洋遥感影像信息挖掘、特别是像素级图像分类与对象级目标检测进行深入剖析和阐述，提出相应的深度学习模型，在内波提取、海岸带水淹区域制图、全球中尺度涡检测等八个典型应用上进行性能验证，并对未来需要重点突破的几个问题进行探讨。
研究背景
图1 深度学习与海洋遥感大数据的碰撞将催生一系列高精度、高效率、智能化的海洋遥感影像信息挖掘模型与应用技术，最终将会诞生人工智能海洋学
自1978年第一颗海洋遥感卫星SEASAT成功发射运行以来，经过近半个世纪的发展，在轨运行的海洋遥感传感器数量急剧增长，覆盖温度、盐度、风场、高度、海冰、内波、涡、生物量、舰船、溢油、珊瑚礁、海岸带等等诸多方面。
同时，深度学习近年来在海量图像数据信息挖掘中大放异彩，其采用“端对端”的特征学习，通过多层处理机制揭示隐藏于数据中的非线性特征，从大量训练集中自动学习全局特征，这是其在图像信息挖掘领域取得成功的重要原因，也标志着特征模型从人工设计特征向机器学习特征转变。
可以预见的是，深度学习与海洋遥感大数据碰撞将诞生一系列高精度、高效率、智能的海洋遥感影像信息挖掘模型与应用技术（图1）。
研究内容
从海洋遥感影像中进行信息挖掘，有两类重要的基础性问题：基于像素级的分类和基于对象级的检测。这些问题的传统解决思路是物理建模、统计建模、人工设计特征结合分类器等。在很长时间内，这些思路发挥着重要作用，但是也存在泛化能力有限、稳定性不足的性能瓶颈。针对这两个基础问题，该综述分别基于经典的U-Net架构（像素级分类）和SSD架构（对象级检测）提出适合于海洋遥感影像的深度学习模型（图2）。
该模型具有两个特点：
（1）将海洋遥感物理机理与深度学习网络进行结合，是海洋遥感影像信息挖掘的定制化模型；
（2）采用模块化的设计和阐述思路，有利于在其他类似的海洋遥感应用问题中实现模型的复用和推广。
图2 模块化的海洋遥感影像信息挖掘深度学习模型 (a) 用于像素级图像分类的模型;(b) 用于对象级目标检测的模型
该文选取内波提取、海岸带水淹区域制图、全球中尺度涡检测（图3）、溢油区域提取、海冰检测、绿藻提取、舰船检测、珊瑚礁检测八个典型海洋遥感应用进行验证，均取得了精准、高效的性能，并且在复杂背景、系统参数干扰情况下保持了性能的稳定性，证实提出的海洋遥感影像信息挖掘深度学习模型的科学价值与应用前景。
图3 基于深度学习的全球中尺度涡检测 (a) 2019年1月1日全球检测结果；(b) 在南海区域的局部放大图；(c)-(f)涡旋内Drifter浮标在不同时刻的轨迹
基于深度学习的海洋遥感影像信息挖掘展示出了其强大的性能，未来仍有几个问题需要重点突破：
（1）基于深度学习的模型需要大量匹配真值的观测数据进行驱动和验证，这需要集合整个海洋科学领域的力量，融合多种观测手段，构建标准数据集，才能够快速推动领域的发展；
（2）目前遥感影像信息挖掘的深度学习模型大部分来自于计算机视觉领域，针对海洋遥感问题，需要深度融合海洋科学领域知识，构建适用于领域的模型，既实现海洋科学的探索，也能反过来促进深度学习通用模型的发展；
（3）对于同一海洋现象，不同类型的传感器都有可能实现观测，但是信息挖掘所需特征差异巨大，需要研究面向不同传感器均能稳定发挥的深度学习模型，这样能够提升模型的泛化能力和实用价值。
除该文关心的两种经典深度学习网络架构外，根据实际问题所需，有许多经典网络架构可供选择，如DeepLab系列、Faster R-CNN、YOLO系列等。此外，随着AI技术的发展，自动最优化的设计网络架构在未来也将成为可能。当然，AI所引发的伦理道德法律问题不容忽视，利用遥感影像结合AI侵犯隐私、利用AI技术生成虚假的遥感影像实现不法目的，这些都引起人们的担忧，需要学界对此进行思考和研究、对AI进行引导和约束。
论文标题
Deep Learning-Based Information Mining From Ocean Remote Sensing Imagery
作者
Xiaofeng Li, Bin Liu, Gang Zheng, Yibin Ren, Shuangshang Zhang, Yingjie Liu, Le Gao, Yuhai Liu, Bin Zhang, Fan Wang
发表期刊
National Science Review
论文全文链接
https://academic.oup.com/nsr/advance-article/doi/10.1093/nsr/nwaa047/5809984
第一作者简介
李晓峰，中国科学院海洋研究所研究员，IEEE Fellow。研究方向为卫星海洋遥感、人工智能海洋学研究与大数据业务化系统开发等。
Email：lixf@qdio.ac.cn
通信作者简介
王凡，中国科学院海洋研究所研究员，现任中国科学院海洋研究所所长。研究方向为海洋环流动力学、人工智能海洋学等。
Email：fwang@qdio.ac.cn
相关论文推荐
郑益勤,杨晓峰,李紫薇.2020.深度学习模型识别静止卫星图像海上强对流云团.遥感学报,24(1):97-106
张洪群,刘雪莹,杨森,李宇.2017.深度学习的半监督遥感图像检索.遥感学报,21(3):406-414
徐彬仁,魏瑗瑗,张晗,宋毅,杨支中.2020.中国海洋上空细粒子气溶胶与短寿命痕量气体的时空关系.遥感学报,24(2):173-181
杨欣,苏华,黎文娥,黄琳瑾,汪小钦,严晓海.2019.全球海洋次表层温度异常遥感反演的季节时空变化特征.遥感学报,23(5):997-1010
邹巨洪,林明森,张毅,穆博,郭茂华,崔松雪.2017.海洋二号卫星微波散射计面元匹配.遥感学报,21(6):825-834
深度学习遥感影像数据集
1.DOTA：A Large-scale Dataset for Object Detection in Aerial Images
数据集介绍：该数据集一共有15种土地利用类型，总样本数约为18万，可用于目标检测，且有训练好的rcnn\yolo\ssd的示例。
下载网址：
(1)http://captain.whu.edu.cn/DOTAweb/dataset.html：2018年数据集，含有训练完成的rcnn/yolo/ssd网络框架。
(2)https://captain-whu.github.io/DOAI2019/challenge.html ：2019年数据集，用于CVPR2019年的航片目标检测的数据。
2.TGRS-HRRSD-Dataset
数据集介绍：是中国科学院西安光学精密机械研究所光学影像分析与学习中心制作用于研究高分辨率遥感图像目标检测的数据集，共13类，约21000张图，共计4万个目标对象，位深度是24，每个影像的大小不一样。
下载网址：
https://github.com/CrazyStoneonRoad/TGRS-HRRSD-Dataset/tree/master/OPT2017
3.RSOD-Dataset
数据集介绍：武汉大学团队标注，包含飞机、操场、立交桥、 油桶四类目标，约1000张图像。
下载网址：
https://github.com/RSIA-LIESMARS-WHU/RSOD-Dataset-