0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

蓝海大脑高性能气象大数据平台为气象局掌握风云变幻提供助力

GPU视觉识别 ? 来源:GPU视觉识别 ? 作者:GPU视觉识别 ? 2022-07-28 12:01 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

随着气候预测、气候模拟、智慧气象、并行计算集群、气象大数据平台、高性能数值计算、气象高性能计算集群的发展,人类步入全新的人工智能大数据时代。

“雷声大雨点小”“久晴大雾必阴,久雨大雾必晴”……自古以来,人们从云卷云舒、风停雨歇中学会了观天象,并将这些经验用于出行、农事活动中。进入现代社会,天文学、流体力学等学科的快速发展,气象站、气象气球和卫星等工具的利用,人类对气象的理解迈进了新的台阶。

对于如何增强气象科技自主创新能力,赋能高质量发展。有专业人士指出一方面是利用人工智能、大数据等技术把气象服务做得更加精细化、准确化;另一方面是创新行业解决方案,挖掘更多行业或场景的气象需求,让气象服务更加紧密结合生产生活。

大数据如何满足

未来气象预报的发展

超级计算机、大数据应用将能够满足未来气象预报在三个关键领域的需求:

管理和利用庞大数据集

环境数据的数据量和多样性将以指数形式成倍增加,将对基础设施管理和存储这些数据提出极大的需求,也要求更大计算能力模拟使用。这也为公立和私营机构研究人员专业化服务提供了新机遇。

提高模型的分辨率

高分辨率模型是一个关键因素,可以更好地评估长期气候系统状态,提高气象预报能力,特别是对灾害性天气的预报能力。美国国家大气研究中心和大学的研究人员使用超级计算机对于飓风的模拟,已经提高到500米分辨率,相当于几个街区的预报。

解决技术障碍

鉴于天气建模和分析变得更加数据密集型,需要更大计算能力,研究人员必须更加关注性能瓶颈,如内存、I / O、互连延迟和带宽。天气模拟需要成千上万微处理器并行运算,突破硬件和软件的可扩展性限制。此外,可扩展的操作系统、编译器和应用程序库正在发挥作用。最终,底层技术基础设施必须紧密集成,支持模拟和分析工作流程。

pYYBAGLiCjCATWPOAAZgbMMfWyw482.png

大数据叠加AI算法

天气实现分钟即、公里级预报

在过去,全球广泛采用的天气预报模式是数值模拟法,通过实验室内的大型计算机作数值计算,用物理方程表达天气演变,从而预测一段时间内大气运动状态和气象。尽管很长一段时间的天气预测都是依靠数值模拟法,但是数值模拟由于精准度和准确率有限,慢慢达到了瓶颈,难以满足现代社会的发展需求。

中国气象局高级工程师卡赞表示:天气预报和人工智能有着天然耦合的关系。天气预报需要大量的、多种多样的资料,人工智能天生就是处理大数据的工具;现有资料的时空数据密度不够,人工智能具有对不完全不确定信息的推断能力;此外人工智能还可以总结专家的知识经验,提高平均预测水平以及利用统计与数值模式中无法利用的抽象预报知识等。

人工智能预测主要的方法是用大量的训练数据加上人工智能模型,通过数据进行计算优化的方法,可以和数值模拟进行很好的互补。

直接采用端到端的AI技术,通过长时间收集到的雷达云图运动的时间序列数据及人工智能和模式数据的融合,进行预测云在未来移动的方向、下雨积雨云运动的方向等。

天气是一个混沌系统,从现有技术看,不可能实现100%准确,但人工智能、大数据等新兴技术的加入,使得预报结果与真实情况之间不断接近,目前已可实现公里级、分钟级的格点化天气预报。

通过人工智能和大数据的加持,智慧气象已经在各个领域发挥作用,其优势也逐渐显现。与传统气象预测手段相比,人工智能具有数据处理能力更强、预测准确性更高、精细化程度在空间维度达到公里级甚至百米级,时间维度达到分钟级、并与其他的生产生活相关的指数等相结合。

用好预报工具

“ 气象+” 赋能经济社会发展

人们日常的生产生活与天气变化之间的关系密切,而灾害性天气对农业、交通、经济、生活等方面影响更加显著。

国家应急管理部发布的2021年全国自然灾害基本情况数据显示,2021年全年各种自然灾害共造成1.07亿人次受灾;倒塌房屋16.2万间,不同程度损坏198.1万间;农作物受灾面积11739千公顷;直接经济损失3340.2亿元。

如何尽量规避天气风险并利用好天气为经济社会发展服务成为当今社会的一道“必答题”。国务院印发的《气象高质量发展纲要(2022-2035年)》提出,要筑牢气象防灾减灾第一道防线,提高气象灾害监测预报预警能力;提高气象服务经济高质量发展水平,实施气象为农服务提质增效行动、海洋强国气象保障行动、交通强国气象保障行动、“气象+” 赋能行动。

在国家层面,气象科技赋能高质量发展要把气象技术观测设备,卫星观测站基础设备能力提升。对气象服务企业来说,利用好这些设备和技术,创新行业解决方案,赋能各个需求场景和行业,更深入的为经济社会发展服务。

在农业领域,农业是国民经济的基础,“三农”工作与气象工作息息相关。墨迹天气负责人黄渤海表示“在农业种植决策上,通过预测天气,农民可以选择合适的时间进行春播秋收,通过判断整年的气候情况和水土选择合适的作物种植,增加产量。耕作后,农民可以通过天气预报进行防灾减灾,减少损失。此外,通过预测降水情况还可以帮助农民减少灌溉成本,提升对水资源的利用效率。”

poYBAGLiCjGAE-BuAAGA91AandE029.jpg

蓝海大脑气象大数据平台

项目背景

某省是我国受台风、暴雨、干旱、寒潮、大风、冰雹、冻害、龙卷风等灾害影响最严重地区之一。在气象灾害相对频发的情况下,某省气象局在服务经济社会发展中作用日益突出,提高气象观测、数据共享和精细化预报水平变得至关重要。通过与蓝海大脑合作,摆脱原有IT基础构架对于气象工作的限制,实施弹性的统一架构,实现了高水平的气象观测、预测和服务业务。

pYYBAGLiCjGAdHHaAAD7GrpQZZY252.jpg

客户需求

由于天气预报模拟具有计算量大、通讯密集、I/O要求高和规范的模式系统化集成等特点,对高性能计算系统的计算性能有着超高的要求,具体要求表现如下:

计算量大

气象预报本身具有时效性,要求定时定点自动运行,无需人工干预。一般每天在固定的2-4个时段运行,每个时段2小时内运行完。因此,必须使用计算性能卓越的高性能计算系统来进行并行计算。

通讯密集

由于采用并行计算,因此各CPU间的通讯量很大。主要体现在WRF各计算域间的通讯及各类不同数据划分间的通讯。因此,要求本高性能计算系统在具有高性能计算的同时,兼具高性能的通讯网络。

I/O要求高

由于涉及大量的用户和大量的小文件读写,气象模式对整个系统的IOPS性能有较高要求,存储系统的稳定性和可用性对整个业务系统的运行至关重要,要求存储系统具有故障自愈功能。另外,考虑到气象数据的周期性访问特点,需要支持基于策略的分级存储功能。

模式系统集成化

从软件的处理流程上看,一般分为前处理、主模式和后处理。整个模式系统从前处理到主模式再到后处理,需要系统具有较高的稳健性,所以优秀的模式软件应用专家支持、硬件级的系统技术支持,对预报模式的良好使用也是关键。

poYBAGLiCjKARHEVAASMBhXt72k556.png

解决方案

蓝海大脑依托接收的常规气象观探测资料、气象卫星资料、雷达资料、数值预报产品等多源数据,基于定量反演、机器学习云计算、云存储、大数据分析、 快速循环同化、虚拟现实等前沿技术,研发了具备多元化高性能算力、精准化短临预报、一站多源数据融合及多样化气象服务等优势的气象大数据平台,面向整个气象行业提供信息化系统顶层设计、 软件研发应用、数据共享服务等,同时也向道路、航空、物流、农业等行业领域开展针对性的精准气象预报保障服务。

蓝海大脑为满足客户需求,结合行业特点从计算节点、网络、存储、功耗、扩展、散热等方面出发,提出完善的解决方案。

计算节点

采用高性能英特尔酷睿系列处理器,计算节点采用双路混搭方案。四路计算节点依靠其突出的计算能力与内存容量,可在一台机器上完成中小模式的处理分析,减少资料预处理、计算、分析的时间,提高计算效率。

高速网络

采用高性能专用高速IB网络,将计算节点、管理节点、登录节点全线速互联,保证集群通讯网络的高性能。并将NAS存储通过万兆连入高速网络,配合集群并行文件系统,实现全部节点的数据共享。

存储系统

综合以往存储硬件解决方案,系统应用要求存储设备具备的特点及蓝海大脑在多年高性能计算领域的实施经验,充分满足用户现阶段使用及未来扩展需求。

低功耗

解决方案不仅强调整体运算效率,同时强调单位体积内的计算能力以及单位能耗可提供的计算能力。

可扩展

计算系统采用机架式服务器,既可保证节点内的扩展性,又可保证整个集群的横向扩展性。总体上,满足用户对未来集群的扩展需求。

液冷散热

蓝海大脑液冷服务器 HD210 H系列突破传统风冷散热模式,采用风冷和液冷混合散热模式——服务器内主要热源 CPU 利用液冷冷板进行冷却,其余热源仍采用风冷方式进行冷却。通过这种混合制冷方式,可大幅提升服务器散热效率,同时,降低主要热源 CPU 散热所耗电能,并增强服务器可靠性。经检测,采用液冷服务器配套基础设施解决方案的数据中心年均 PUE 值可降低至 1.2 以下。

pYYBAGLiCjKAGE9qAADulx7sg8Q927.jpg

用户收益

资源重新整合,实现更好的业务连续性

通过应用的分区分域部署,显著提高关键应用程序的性能、稳定性和容量,从而更好的保障业务连续性。

气象信息分发服务更高效

帮助客户建立更高效、及时的气象信息分发服务,以减轻极端天气事件对某省社会和经济结构的影响。

数据安全性提升,人力投入降低

整合后的架构将加强灾难恢复计划,降低管理复杂性和成本,解放气象局的团队,使其专注于更具战略性的任务。

运营敏捷性提升,快速响应资源请求

稳定、安全的新存储,可有效地管理和保存大量雷达数据。统一的基础架构将有助于优化运营敏捷性,使气象局能够快速响应开发团队对资源的请求。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 高性能
    +关注

    关注

    0

    文章

    239

    浏览量

    21022
  • 气象
    +关注

    关注

    0

    文章

    31

    浏览量

    17629
  • 大数据
    +关注

    关注

    64

    文章

    8966

    浏览量

    140854
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    微型气象站系统:智慧气象建设和应急管理体系现代化提供关键技术支撑

    微型气象站系统:智慧气象建设和应急管理体系现代化提供关键技术支撑【WX-PQX6】不仅简化了传统气象监测流程、降低了成本,更通过云
    的头像 发表于 08-13 14:47 ?128次阅读
    微型<b class='flag-5'>气象</b>站系统:<b class='flag-5'>为</b>智慧<b class='flag-5'>气象</b>建设和应急管理体系现代化<b class='flag-5'>提供</b>关键技术支撑

    中国气象局与海康威视进行交流座谈

    近日,中国气象局党组成员、副局长毕宝贵与海康威视董事长胡扬忠一行就进一步深化人工智能领域技术应用与研发攻关合作等进行座谈交流。
    的头像 发表于 08-12 17:34 ?420次阅读

    中科曙光让气象数据解码迈入毫秒级时代

    依托曙光超智融合与液冷技术,某气象大数据平台数据并发处理能力跃升显著,数据解码速度进入毫秒级时代,
    的头像 发表于 07-31 17:17 ?462次阅读

    华为与河北省气象局达成战略合作

    近日,河北省气象局与华为技术有限公司(以下简称“华为”)签署战略合作协议。河北省气象局党组书记、局长薛春芳、河北省气象局副局长赵妙文、华为公共事业军团副总裁夏侯宇、华为河北政企业务数字政府业务部总经理刘骏出席本次签约仪式。
    的头像 发表于 07-15 10:46 ?489次阅读

    华为与上海市气象局达成战略合作

    上海市气象局与华为技术有限公司(以下简称“华为”)签署战略合作框架协议。上海市气象局党组书记、局长冯磊、华为上海政企总经理李然见证签约。上海市气象局副局长陶立英、华为上海政企副总经理王学林代表双方签约。
    的头像 发表于 07-15 10:41 ?410次阅读

    中科曙光打造中部首个液冷气象高性能系统

    面对长江流域暴雨预报的挑战,近期,曙光依托“超智融合”技术,成功某省气象单位打造了中部地区首个全液冷气象高性能计算系统—“暴雨强对流天气预测”平台
    的头像 发表于 07-07 18:06 ?648次阅读

    华为与陕西省气象局签署战略合作协议

    陕西省气象局与华为技术有限公司(以下简称“华为”)签署战略合作协议。陕西省气象局党组书记、局长罗慧,华为副总裁、公共事业军团CEO李俊风见证签约。陕西省气象局副局长赵奎锋、华为陕西政企总经理刘嘉佳代表双方签约。
    的头像 发表于 06-03 10:44 ?577次阅读

    广东省气象局携手华为推进气象数字化智慧化发展

    广东省气象局持续积极探索智慧气象保障城市精细化管理新模式,与华为在多个领域展开合作。双方共同推进气象数字化智慧化发展,打造创新融合发展的新业态,其中尤其以高性能计算成果斐然,
    的头像 发表于 03-03 13:57 ?568次阅读

    华为iMaster NCE-IP网络数字地图助力山东省气象局打造全新SRv6生态气象感知网

    ? 伴随着气象业务的飞速发展,数据流量迅速增加,基于5G技术的气象通信系统应运而生,新一代气象通信系统对网络高带宽、低时延的诉求日趋迫切,山东省气象
    的头像 发表于 01-20 09:18 ?657次阅读

    中国气象局海雾智能观测重点开放实验室揭牌

    近日,全国首个海雾智能观测实验在海康威视揭牌。中国气象局党组成员、副局长毕宝贵,预报司副司长张洪政,计财司副司长郭雪飞;浙江省气象局党组书记、局长苗长明,党组成员、副局长潘劲松,预报处处长周春雨;海康威视董事长胡扬忠,高级副总裁黄方红,副总裁陈继国,副总裁、政府业务部总裁
    的头像 发表于 01-06 17:14 ?712次阅读

    华为与甘肃省气象局签署全面合作协议

    甘肃省气象局与华为技术有限公司(以下简称“华为”)在深圳华为总部签署全面合作协议。根据协议,双方将深入整合各自优势资源,在探索甘肃区域气象信息化建设、行业数字化转型、数字化专业人才培养等领域开展全面的合作。
    的头像 发表于 12-31 14:05 ?631次阅读

    索尼HXC-FZ90助力气象局演播设备升级

    近期,索尼HXC-FZ90演播室系统摄像机连续中标多个省市气象局设备升级改造项目,各省市气象局在升级城市安全智慧气象设备、公共气象服务影视
    的头像 发表于 12-05 10:23 ?704次阅读

    中国气象局推出“中国天气小助手”智能体

    近日,中国气象局华风气象传媒集团携手支付宝,正式推出了首个国家级天气智能体——“中国天气小助手”。这一创新服务由中国气象局提供权威的气象
    的头像 发表于 12-02 18:06 ?1834次阅读

    中国气象局研讨班学员到访华为参观交流

    近日,中国气象局第3期司局级领导干部“增强推进气象科技能力现代化和社会服务现代化本领 助力中国式现代化建设”研讨班学员走进华为进行座谈交流,华为中国政企数字政府系统部副部长秦子冉及相关部门负责人参加了会谈。
    的头像 发表于 11-25 10:21 ?653次阅读

    华为助力贵州气象高性能算力项目建设

    在全球气候变暖的背景下,异常天气气候事件增多,对气象预报的精准度和及时性提出了更高要求。贵州省发展和改革委、省气象局联合印发《贵州气象高质量发展三年规划(2023—2025年)》具体指出,依托全国
    的头像 发表于 11-25 10:19 ?626次阅读