美创科技助力浙江 “数据高铁”建设，实现秒级共享
数据高铁项目规划
第一步：建设厅在政务云上开通数据仓库资源，为该市的公积金分配数据仓库数据库用户名、密码以及相关访问权限。
第二步：该公积金负管理中心负责将业务生产库中的双贯标表实时同步推送至省建设厅数据仓相应的数据库中。
第三步：省建设厅对公积金双贯标数据进行检查、分析，并做好与大数据局数据库高铁仓的对接。
解决方案规划
为了确保数据的高速、完整归集到“高铁数据仓” ，美创科技通过自主研发的数据支撑平台实现数据清洗、转换、同步和加载工作。该平台通过对业务系统数据进行标准化，向数据仓库或大数据平台提供高质量数据，支持异构数据迁移、基于数据库日志的数据实时复制、ETL开发、分布式处理等功能。
具体方案如下：
一、准备一台前置机，部署Oracle数据库存放同步数据以及清洗后的29张表，同时部署数据挖掘同步系统，用来完成同步清洗工作。准备一台服务器，部署Windows系统，主要用于对数据挖掘同步系统进行数据同步、抽取、转换、清洗等工作任务的管理以及远程运维。
二、在生产库或者容灾库上部署数据挖掘同步系统客户端；通过数据挖掘同步系统对公积金库进行按照数据库日志级别进行实时挖掘同步，同时在数据挖掘同步系统上进行数据表筛选，筛选出建设厅所需的双贯表。利用数据挖掘同步系统筛选的双贯标信息，通过数据仓提供的接口，将双贯标初始化写入数据仓。
客户收益
数据实时同步，促进数据共享的实时、鲜活、快速
美创数据支撑平台采用数据基于日志的数据实时同步技术，实现数据秒级同步，结合独有的数据比对技术，让数据归集具有高铁般的速度。
数据质量控制，保障数据共享的准确、优质、高效
美创数据支撑平台可以实施数据质量检核规则，发现数据质量问题，持续监控各系统数据质量波动情况以及数据质量规则占比，定期生成关键数据质量报告，掌握系统数据质量状况。让数据应用更加有成效，让群众得到更多实惠，服务更高效。
分享
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论