打造通信信息领域解决方案深度定制第一品牌
北京博识创智科技发展有限公司
Borsche Technologies Co., Ltd
无线电频谱大数据云平台
   2018-05-14 11:47:54

方案简介

随着无线电业务的迅猛发展、无线电设备的日益增多,以及无线电监测设施的不断建设,对于数据量越来越庞大的无线电管理,特别是无线电监测来说,已经不可避免地需要拥抱大数据时代。

以大数据处理为核心的网格化监测

通过网格化监测和大数据技术的结合,无线电资源管理手段将得到大幅提升。网格化监测覆盖广、频段宽、时间长,可以全面掌控频谱资源使用和演变动态,并且通过广域、全时监测,实现多域的统计和深度分析,获取频谱态势也将更加主动。而且,随着监测“粒度”细,数据挖掘深,可以实现频谱管理的精细化。同时,台站管理功能也将得到进一步强化。利用监测辅助台站管理,实现对在用频率和发射设备的远程监控,分析监测检测结果,掌控台站工作状态,提升台站监管的时效性和覆盖率。此外,还可以更好地服务经济社会发展。数据的深度挖掘可以为业务使用者提供电磁环境态势,为公众和企业提供电磁环境数据,打造开放的无线电监管平台,实现数据共享,发挥无线电管理行业优势,为国家建设、社会发展作贡献。



四大关键技术助力监测数据“深加工”

无线电监测已经积累了海量数据,这些数据还在不断急速地增加,给无线电监测带来两个巨大的变化:一方面,在过去没有数据积累的时代无法实现的应用现在终于可以实现;另一方面,从数据匮乏时代到数据泛滥时代的转变,给数据的应用带来新的挑战与困扰。如何从海量数据中高效获取数据,有效深加工并最终得到感兴趣的信息变得异常困难,需要具备下面4个关键技术:

一是数据存储和预处理技术。监测节点采集了很多数据,如果要将这些海量数据全部传输到数据中心进行有效的分析统计,会给现有通信网的传输能力和数据中心的处理能力带来很大挑战。利用大数据分布式存储集群概念,可将原始采集数据做一些简单的清理和预处理工作,将其暂时缓存在监测节点端。数据预处理有多种方法:数据清理、数据集成、数据变换以及数据归约等。这些数据预处理技术可以大幅提高数据挖掘的质量,并减少实际挖掘所需要的时间。

二是分布式计算技术。分布式计算是一种把需要进行大量计算的工程数据分成小块,由多台计算机分别计算,再上传运算结果,将结果统一合并得出数据结论的技术。目前常见的分布式计算项目通常使用世界各地上千万志愿者计算机的闲置计算能力,通过互联网进行数据传输。如分析计算蛋白质的内部结构和相关药物的Folding@home项目,该项目结构庞大,需要惊人的计算量,由一台电脑计算是不可能完成的,借助分布式计算可以相对廉价地完成计算任务。其他还有如模拟百年以来全球气象变化,并计算未来地球气象的Climateprediction.net;主攻医药领域,以寻找抗癌药物和天花疫苗为主的United Devices等项目。在网格化监测中,可利用监测节点的计算功能实现这一技术。各个监测节点(任务服务器)在监测中心(作业服务器)的统一调度下,根据不同的业务类型(客户端)和工作目标(客户端),分布式计算完成各自的数据挖掘任务,将结果上传到监测中心,再进行高层次的统计,形成有价值的数据处理结果。

三是数据挖掘技术。数据挖掘(Data Mining)是通过分析每个数据,从大量数据中寻找其规律的技术,主要有数据准备、规律寻找和规律表示3个步骤。数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。网格化无线电监测中的数据挖掘主要是通过分析和统计监测网中各个监测设备产生的频谱扫描数据、IQ数据、解调结果数据、占用度统计数据等,生成各种频谱资源状态和趋势、台站工作状态、空间信号分布等。

四是数据处理结果的可视化。可视化(Visualization)是利用计算机图形学和图像处理技术,将数据转换成图形或图像在屏幕上显示出来,并进行交互处理的理论、方法和技术。在无线电监测工作中要将看不见的频谱资源用可视化手段展现非常重要。无线电监测数据的可视化能够把抽象的监测数据变为直观的、以图形图像信息表示的、随时间和空间变化的物理现象呈现在管理者面前,使他们能够观察、研究。网格化监测平台的可视化重点要做到:报表模板灵活、图表形式多样、OA集成展现、移动跨平台访问,使管理者看得明白、管得方便。