[00068840]基于超算的云边协同高通量海洋数据智能处理方法及系统

　　随着物联网、大数据、人工智能的发展,越来越多的海洋观/监测网统被搭建起来,并发挥着日益重要的作用。由于传感器本身质量问题、传感器工作环境复杂性及传输网络可靠性等问题导致物联网数据异常频发,如数据漂移、数据缺失、数据失真等,海洋观/监测网统采集的数据质量已成为制约海洋数据深度应用、人工智能发挥作用的关键性问题。针对这一问题,本成果突破了云边协同的高通量海洋数据智能处理技术,提出了基于超算的云边协同高通量数据智能处理框架,研发了时序数据异常检测、时序数据缺失值填补、图像自适应智能增强等系列数据智能处理算法,及时发现数据异常并进行修复,研建了海洋观测数据异常智能检测算法库,包含10余种基于机器学习、深度学习的数据智能检测算法,研发了基于超算的海域级分布式海洋数据质控与智能处理平台系统。

　　本成果的核心技术包括: 1)提出了基于超算的海量模型并发训练方法,基于超算计算优势,充分发挥超算核心多的特点,将海量模型以负载均衡的方式分配到不同超算核心上,从而实现海量模型并发训练,实现了分钟级万级模型优化; 2)针对在云端推理时延过高问题,提出了基于云边协同的模型更新及推理方法,将超算训练优化后的模型推送到边缘端,在边缘端进行模型更新,并进行具体推理应用,从而避免了数据远程传输,降低了延迟; 3)设计了基于Transformer的海洋观测数据多步预测模型,通过多头注意力机制灵活捕获输入序列各个时刻位置之间的相关性与多种特征交互模式,取得了良好的预测效果,此外,该方法通过并行地处理输入序列,在保证模型高精度的同时,相比循环神经网络大大提高了模型的计算效率: 4)提出了基于双路GAN的水下图像数据增强方法,设计基于多特征和多尺度融合的条件生成对抗网络,生成符合真实环境的水下图像配对数据集,在UNet网络基础上加入残差网络和边缘检测模块,提升图像修复能力,研究了基于国产超算的性能优化方法,通过主从核加速性能提升40-45倍海,并实现了方法性能随节点数量的线性提升。

　　本成果属于海洋数据处理领域关键技术,具有广泛应用场景和市场空间可观。

　　本成果可服务于海洋传感器、浮标、台站、风车等海洋装备研发与制造企业,帮助其研发智能装备,实现设备智能运维,从被动维护向“预防性”主动维护升级,从而提升海洋装备可靠性,提升产品竞争力。本成果可服务于搭建有海洋观/监测网的科研和产业单位,提升海洋装备运维能力的同时,有效提升数据有效性,为数据深度应用打下良好数据质量基础。

　　本成果采用“云 边”方式转化。云端需要较强的计算能力,可依赖超算中心搭建。边缘端所需的计算能力有限,搭建在用户单位,需要一定数量的服务器,可根据用户业务规模而定,最少1台即可,为了保障系统可靠,建议2台以上。用户单位如果有机房更佳。投资规模约为20-100万。