随着数据采集量的增大,而且数据类型多种多样,有结构化数据(比如人口档案数据、宾馆住宿记录等),也有半结构化和非结构化数据(比如监控视频、卡口照片等),这对当前公安信息化系统提出了极大挑战。
传统关系型数据库和大容量存储的技术方案即将或已经出现瓶颈。对这些海量数据合理地进行存储和利用必须要进行架构升级,建立专门的数据中心是一种势不可挡的趋势,云计算和大数据会在这些数据中心落地。云计算技术通过对物理资源(CPU、存储、网络等)虚拟化,通过资源池的方式,实现应用的弹性扩展和无缝迁移,对资源进行充分利用。
大数据技术包含分布式存储和分布式执行引擎,对海量公安数据进行有效地存储和利用,当前比较流行的Hadoop、MPP数据库、内存计算、流式计算、搜索都属于大数据技术的范畴。云计算和大数据技术当前已在公安内部实现局部落地。
传统的基于SQL语句的数据分析方式已无法充分发挥海量数据的价值,公安海量数据需要经过一个价值发现或重新发现的过程。
首先,对当前响应时间缓慢、运行状态不稳定的业务系统基于大数据技术进行升级改造,保证业务系统的正常高效运转。这中间主要是进行一些业务迁移和升级,以增删改查的数据处理模式为主。
再者,是对已有海量数据的深度挖掘。对于结构化数据(存储在当前数据库中的数据),从业务角度出发,综合利用,深度挖掘数据模型(比如作案人预测模型、突发事件预测模型等),重新发现其潜在价值。对于半结构和非结构化数据(视频、图片等),优化语义分析技术,把非结构化数据转换为结构化数据,提升这部分数据的信息化程度,发挥出其应有的价值。
大数据的一个特点就是价值密度低,并且仅凭单一类型数据本身无法发挥出应有的价值。不同数据放在一起会发生”化学作用”,往往比单一数据的价值大很多,比如金融数据跟电商数据碰撞在一起,就产生了像小微贷款那样的互联网金融;电信数据跟政府数据碰撞在一起,可以产生人口统计学方面的价值,帮助城市规划人们居住、工作、娱乐的场所。随着”互联网+”时代的不断发展,社会各行业数据化、互联网化,融合公安数据和社会数据为公共安全服务,做到防患于未然,是公安大数据的真正价值所在。
以上是思迈特软件Smartbi的分享,更多行业干货可关注我们下一期的分享。思迈特软件Smartbi是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。经过多年持续自主研发,凝聚大量商业智能最佳实践经验,整合了各行业的数据分析和决策支持的功能需求。满足最终用户在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI智能分析等大数据分析需求。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
山西孝义一辆满载演出人员的城乡巴士发生事故,当地:两名女士现场身亡,两人重伤送医
乐山闹市一轿车快速倒车连撞3车 交警:女司机刚拿驾照4天,操作不当负全责
再见佐罗!再见阿兰·德龙!用脸征服了半个世纪却晚景凄凉:除了幸福,我什么都有
“我妈一张口我就烦” 为什么你说话孩子不爱听?不了解这个公式,你可能说得越多孩子越烦龙8体育官网