怎么把大数据赋予时空概念并整合应用?11日,上游新闻·重庆晨报记者探访了近日建成的重庆市时空大数据展示中心,在这里,数据被赋予了时空概念,服务于城市运转和市民生活。
重庆市时空大数据展示中心,是由重庆市规划和自然资源局利用云计算、大数据和空间地理信息技术,建成集空间数据采集汇聚、融合治理、共享应用、运行监测于一体的自动化、智能化的时空大数据“加工厂”,实现了对时空数据采集自动化、治理流程化、应用智能化,成果支撑了全市超过200个系统的应用,平均每天数据调用量超过700万次。
一幅画 看尽重庆每天大数据运用情况
整个展示中心分为了时空序厅、数聚千里、智惠广大、未来城市四个区域。这里汇聚了8.24万平方公里土地上各方面的数据,通过高技术手段,以大数据智能化应用,辅助决策。
按顺序走完重庆市时空大数据展示中心,最后一部分的一幅正在盛开的繁花图,和我们所想象的枯燥的大数据计算,风格完全不一样。
而正是这样一幅不断盛开的繁花图,显示了重庆每时每刻大数据运用的情况。“画面中,各部门共享调用数据超过3万条,就会盛开一朵花;每秒数据调用超过3次,会飞进一只蝴蝶;每秒超过10次,则会飞进一只飞鸟。另外,流水流动的速度代表了每秒钟数据调用频率的快慢。”重庆市地理信息和遥感应用中心工作人员介绍。
最原始 产生于上世纪90年代左右
这些时空大数据怎么发展而来?
在展示中心,就罗列了重庆时空大数据发展的几个阶段。
第一个阶段,在上世纪90年代左右,采用地形图、等高线、数据高程模型的方式描绘地表地貌的形态。展示中心,参观者就可通过一个互动的沙盘体验来了解。
第二个阶段,随着航空遥感技术的进步,可以在空中采用遥感影像对地球进行描绘,展示中心选择了部分区域的遥感影像,可以清楚看到重庆的变化。
第三个阶段,随着信息技术的进步,采用了三维的方式,对现实世界进行描绘,建立与现实世界对应的虚拟世界,可以从地下、地表、地上等多个维度对现实世界进行建模。这时,就能够看到城市地下管网等情况。
第四个阶段,在对现实世界进行建模的基础上,集成城市运行的各方面信息,建立起与物理城市对应的数字孪生城市。展示中心工作人员一操控,除了显示建筑基本信息,甚至连建筑内企业的情况都能够一清二楚。
原材料 超200亿条数据形成时空大数据工厂
时空大数据,究竟包含了哪些具体的数据?重庆市地理信息和遥感应用中心信息所所长梁星介绍,这些数据包括政务共享数据、地理信息数据、网络公开数据等,“整个采集体系自去年开始运行以来总采集量接近40亿条,平均每日更新数据量达到40万以上,形成了我们海量的原始数据资源池。”
除了上线以来采集的数据,“我们整个数据资源池还包括前期汇聚的数据。仅是以政务共享数据为例,就包含了全员人口信息、企业基本信息、各部门行政审批等数据,已有60多个市级部门数据的自动化共享,打破了全市部门信息壁垒,实现了政务资源互联互通。目前,共享平台已汇聚63个部门,3005类、26705项信息资源,总数超过200亿条,其有效支撑全市跨层级、跨区域、跨部门、跨系统、跨业务的数据共享交换与业务协同。”重庆市地理信息和遥感应用中心信息所所长梁星介绍道。
地理信息数据则覆盖了重庆市基础地理、自然资源、遥感影像、房屋建筑、道路、水系等地理相关数据;网络公开数据,主要是利用互联网获取大量兴趣点、房屋、点评、市民意见等社会化数据;物联网数据,主要包含一些水环境、空气质量监测数据、GPS数据、视频监控数据等等。
有标准 2353条质量评估规则对数据进行清洗
由于原始数据由于来源不一,因此在数据质量上参差不齐,所采用的标准上也千差万别,“为了更好的支撑后续应用,我们需要对这些数据原材料进行进一步的加工处理。”据重庆市地理信息和遥感应用中心工作人员介绍,整个数据治理就包括了对数据原材料进行质量评估、数据清洗和时空融合,“首先我们要对采集到的这些原始数据进行质量评估,从数据的完整性、正确性、规范性、关联性等方面摸清数据的质量情况,找到问题数据。”
针对不同数据,“总共制定了2353条质量评估规则,对数据进行自动化的检测,这些数据主要是重复、错误、不完整、不标准的数据。”该工作人员说。
接下来,针对质量评估检测出的问题数据,将在数据清洗阶段对其进行实时处理,去掉重复、错误的数据,同时对不标准的数据进行标准化,统一各数据的标准,有利于时空融合。
据重庆市地理信息和遥感应用中心工作人员介绍,在数据清洗阶段,总共引用了包括国家标准、地方标准、行业标准、企业标准在内的555个标准。
时空融合是对数据清洗后的多源数据进行时空关联整合的过程,通过建立主题数据融合模型,利用数据转换工具,将原本独立、离散的数据资源,以时间、空间为轴线进行融合,最终形成了高质量的时空融合数据。
已应用 每天数据调用近700万次
经过数据治理后形成的这些时空融合数据,“我们再根据不同应用领域,进一步加工形成了自然资源、交通出行、电子证照、宏观经济、健康保障等31个数据产品,为数据应用提供服务。”重庆市地理信息和遥感应用中心工作人员说。
目前,时空大数据工厂所形成的数据产品支撑了重庆80多个单位,200余个应用,“比如渝快办生态修复、精准扶贫大数据平台、两江新区市场综合监管平台等应用。数据总数据累计调用超过73亿条,平均每天调用接近700万。”重庆市地理信息和遥感应用中心工作人员说。
上游新闻·重庆晨报记者 罗薛梅 重庆市规划和自然资源局供图
【免责声明】上游新闻客户端未标有“来源:上游新闻-重庆晨报”或“上游新闻LOGO、水印的文字、图片、音频视频等稿件均为转载稿。如转载稿涉及版权等问题,请与上游新闻联系。