智慧公安警务大数据分析平台开发情报信息研判平台开发
[本文由源中瑞涂先生编辑/智慧公安系统开发咨询微信:ruiec999]
在信息时代,数据就是灵魂、是基础,谁掌握了数据谁就掌握了主动权。就公安机关而言,掌握了海量数据,就掌握了核心战斗力。
所以在当前,各省公安工作面对的风险挑战日益复杂艰巨,各级公安也深刻认识建设“公安大数据”的极端重要性,不断加快推进公安大数据智能化建设向广度、深度、实时和高端发展,争当创新强警领跑者、抢占现代警务制高点,不断提高公安机关核心战斗力。
同步建立了包括图像视频监控、情报信息、网络舆情等在内的智能查询数据库系统;建立了网上办公、网上办事和信息公开等公安办公自动化系统;还建成以“云”分布计算、“云”数据存储、“云”应用服务全保障为内容的统一的警务运行平台。这些智能平台和系统使各警种能够轻松获得工作所需的各类相关信息,使警务工作实现了跨平台、跨部门、跨警种、跨地区的信息共享,形成综合的“警务云”应用。
整套平台主要构建在Hadoop大数据架构之上,针对各种不同应用场景,采用Hbase数据库对需要随机访问处理、实时读写的数据进行标准化存储;同时使用基于MapReduce、Spark等的技术体系实现并行计算需求。针对明确的应用场景和业务需求,使用Hive技术手段基于Hbase进行数据主题仓库建设,数据通道建立在以Kafka为基础的消息中间件之上。大数据平台架构主要包括数据采集层、数据治理层、数据处理层、数据应用层来分别支撑前面提到的三个应用体系的建设。
数据采集层
数据主要来源分别为物联网、互联网、政务内网。根据不同数据来源场景,使用不同的应用采集前置服务来完成。基于微服务架构,结合Docker容器部署,统一使用K8S进行服务容器资源协调来实现整个大数据ETL过程。
为处理多来源异构环境下的结构化、半结构化、非结构化数据,针对不同的数据来源场景使用不同的采集服务方式处理。
通过前置服务的环境适配元数据提取,将进行标准化数据转换。通过自定义转换处理模型、关键特征过滤等,实现向高价值结构化数据转换,并结合多维元数据信息,利用关键特征数据结合业务核心算法实现,最终建立适合解决业务主题分析的数据仓库,为实现高性能并行查询分析统计提供支撑。
数据处理层
根据业务特征关系,将标准化数据进行非范式关系、数据冗余等处理,形成完整的业务数据集。针对不同的业务场景、分析特征进行预制的智能化标签处理,实现多维度大数据融合规约处理。使用大数据处理引擎Spark计算平台,对交互式查询和流处理进行高性能大数据集计算服务。实现高性能分析运算,支撑业务主题仓库的建设。
数据应用层
应用层主要建设两个方面的内容。首先,使用企业级服务总线技术对各警务、警种等业务系统进行统一集成,并将各业务系统需要大数据平台处理后的主体数据集进行标准化接口集成,各业务系统将共享大数据主题仓库数据集。
再者,基于微服务架构的开放式开发平台,实现警务人员、行业专家等开放式开发需要。扁平化、所见即所得的运用大数据资源进行算法模型、技战法运用的定制开发和演练,切实提高各警务人员的侦查手段和经验分享。
[想了解更多智慧公安系统开发资讯请关注公众号:源中瑞淡墨]
电微:13823113871
QQ:2770757138