· 手握大量行内外数据,却未做有效利用或深度分析。
· 疲于应付大量的碎片化,差异化需求。
· 上下游平台数据异构,兼容工作量大。
· 不知道行内有哪些数据资源可用。
· 数据提取方式复杂多变,造成接口兼容耗时周期较长。
· 源系统性能低下,影响效率。标准不一致,转码工作牵一发动全身。
· 数据安全规范以及使用规范制约数据流通。
· 没有统一的管理体系。
· 数据使用情况无法统计,不清楚哪些数据使用频率高,可以针对性提供此类型数据的丰度。
6165cc金沙总站数据交换平台旨在建立一个面向全行数据采集、交换、共享和开放的标准化的、规范的、高效的、稳定的、可控的数据服务总线,实现批量、准实时或者实时的数据交换要求,提升业务系统间多样化、可配置、易管理的非实时批量及准实时数据交换能力。
· 有渠道告诉大家自身拥有的数据种类,以及用途。
· 消费者可以自适应获取这些数据,不要总是新增接口兼容需求。
· 统一数据标准。
· 希望能够缓冲部分数据,不要频繁查询影响本系统性能。
· 直观的了解行内哪些数据可以使用
· 可以搜索数据,找出自己需要的数据
· 提高数据提供效率,包括传输效率
· 降低技术门槛,一种数据能够多种方式提供
· 有明确的数据安全管控规范和流程
· 清楚数据使用情况,为数据架构决策提供参考
· 能够分析数据流向和流量,进行改造优化
产品优势
提供实时/准实时/批量数据方式采集方式,对采集数据进行加工、集成、共享、分发;具备行内数据和外部数据采集/计费能力。可成为全行数据传输、交换、共享与服务中心,实现统一采集、统一管理、统一服务。
支持多种关系型数据库(如MySql、Oracle、DB2或其他RDBMS),支持对接Hadoop平台多种组件(Hive、Hdfs、Hase);支持各种文件传输(如SFTP)。采用插件化集成机制,针对市面上新出现的各种数据源,可迅速开发Reader端和Writer端程序插件进行集成,保证高扩展性和快速客户化开发、交付能力。
每一种读插件都有一种或多种切分策略,都能将作业合理切分成多个Task并行执行,单机多线程执行模型可以让速度随并发成线性增长。
交换平台将复杂的网状的同步链路变成了星型数据链路,交换平台作为中间传输载体负责连接各种数据源。
提供了简单的接口与插件交互,提供简单的插件接入机制,任意加上一种插件,就能无缝对接其他数据源。
Reader读取、FrameWork处理、Writer写入。
支持多种ETL工具,以引擎的方式集成,交换平台通过界面配置数据交换相关的参数,支持生成各种ETL的脚本并调用,ETL引擎返回执行信息,在这个过程中,交换平台监控数据交换的执行情况,记录日志。
提供可视化配置的服务数据、安全的运行环境及保证措施。