参考 “互联网 政务服务”技术体系建设指南

概述

数据服务管理是将基于服务技术、组件式开发的、独立运行的服务进行统一的接入、统一管理、统一调度,实现异构服务间集成与管理,最终实现所有运行中的数据服务可以有序、正常、持续的运转,为上层应用的服务调用提供基础支撑。将汇聚的各部门、各类型数据进行加工、清洗和整合,实现数据资源服务的可用、可管、可视。

数据服务管理平台主要是由六大中心组成,依次分别是:服务开发中心、服务注册中心、网关路由中心、调度监控中心、鉴权审计中心和数据隧道中心。

数据共享和数据交换区别(技术篇一文了解)(1)

1.1. 服务开发中心

提供可视化界面,基于动态配置进行单表或者结果集服务开发,根据数据库中的原型数据信息自动生成Java代码并编译,编译后可进行测试、发布、部署,用于支撑服务快速开发、部署上线。

l 通过指定表的字段及操作方法形成对应的数据库操作服务(支持单表);

l 结果集查询服务是用户输入SQL语句(条件中的值用“?”代替)由引擎生成查询代码并对外提供服务;

1.2. 服务注册中心

服务端将部署的服务进行暴露处理,网关发现服务后进行服务自动注册并缓存,同时可以利用第三方工具实现在线API文档;以及对数据服务的存活进行定时检测,如果出现不可用的服务,从本地缓存中剔除;同时支持对服务的统一管理,查看数据服务状态、上下线停用等。

1.3. 网关路由中心

基于负载均衡调用数据服务,将请求派发到网络中的一个或多个节点上进行处理;同时,可以根据请求调用方信息(如IP地址、参数、URL等)进行路由过滤。

1.4. 调度监控中心

为了防止非预期的请求对服务压力过大而拖垮服务乃至影响整个服务平台,采取流量服务控制。常用服务的流量控制策略:分流、降级、限流等,对于入口流量控制即当触发流量控制策略后直接在服务调用访问的时候就驳回。而对于出口流量控制利用消息中间件和MQ机制,控制向目标的数据流入速度;对服务非法操作、服务异常运行、服务注入式 SQL攻击等异常情况进行实时报警,并对调用性能进行监控分析跟踪,能够实时统计平台当前网络中的各种报文流量进行综合流量分析。

1.5. 鉴权审计中心

针对不同服务调用方,当操作需要权限控制时使用者需要先调用登录方法获取令牌,然后在调用方法时将令牌传入方法中,通过鉴权确定用户身份,并确定用户是否具有调用该服务的权限,同时对数据服务进行安全审计。

1.6. 数据隧道中心

数据即服务,基于数据流提供统一、规范的数据接入方法,针对结构化数据(如关系型数据库数据、应用系统数据、生产实时数据)、半结构化数据(如日志、邮件等)、非结构化数据(如文本、图片、视频、音频、网络数据流等)等不同类型的数据、实时数据、定时更新数据等不同时效的数据,动态加载数据模型服务,从内外部数据源导入,并提供这些数据的整合交换方式(如通过前置机方式批量交换库表数据或者文件、服务接口)。

数据中心存储各个业务系统等需接入数据应用平台的业务源数据,通过ETL工具、实时同步工具将政务数据各元素库的全量数据、增量数据、视图数据加载到该层。数据结构、内容、参数代码等与数据源保持一致,再经过筛选、过滤、加工字段之后将数据提供给业务数据层。

业务数据层数据源来自数据准备区,按照管理对象、表单、过程数据、结果数据、主数据进行数据整合,为数据仓库、数据集市提供稳定的数据源。

,