全Web基于微服务架构的新一代分布式ETL数据交换平台

   ETL数据交换平台是由谷云科技基于微服务架构完全自主研发和创新的新一代数据交换产品，产品的定位是面向大中型企业的轻量级数据传输和交换平台，全Web化配置开箱即用， 多种异构数据源之间通过ETL平台快速进行数据交换，快速帮助企业构建数据总线或数据仓库。
   ETL数据交换平台通过可视化的拖、拉、拽即可完成ETL流程的构建并实现数据抽取、转换、清洗、脱敏、加载等功能， ETL从架构、易用性、传输性能、可视化、 功能丰富性等方面均全面超越Kettle等开源ETL工具。
  通过容器化技术 ETL支持大规模的分布式部署架构，可以根据资源利用率实现动态的弹性伸缩实现上万流程的同时调度与并发运行。

ETL的目标是基于新的技术架构打造一款完全超越kettle等开源的ETL工具，主要通过可视化的流程拖拽实现快速的从数据采集、传输、转换、脱敏、运算到加载的全过程， 通过ETL可以实现多个业务系统之间实现复杂的数据交换以及跨单位集团公司的数据交换与共享，协助企业快速构建数据仓库等场景， 同时支持实时数据流的处理，可以实时接入物联网、Kafka等的实时数据流并进行实时运算处理后存入企业的实时数仓中。

1.基于微服务架构开发支持分布式部署同时支持上万流程的调度与执行
2.全Web化配置，极速传输性能(全面优于开源的kettle ETL工具)
3.支持完整的事务控制策略，跨数据库事务控制，保证多个数据源传输数据高度一致性
4.支持多数据源的多表对单一数据源的单表数据交换
5.支持多种数据源(RDBS,NOSQL,ClickHouse，Redis,Kafka,Restful API,Excel,JavaBean等)
6.支持数据过滤器，通过自定义的数据过滤器可以实现复杂的数据交换规则
7.支持各种不同数据源之间数据类型的自动转换，极大提升流程的构建速度
8.前后端分离架构ETL所有能力均发布为API可轻松对接第三方业务系统.
9.通过数据交换日记，记录所有数据投递情况并可实现数据朔源.
10.支持批流一体化处理，大幅提升数据的采集和同步时间

通过Web界面的拖、拉、拽即可快速构建ETL流程，支持数据在线预览、流程全过程调试，Web界面追踪调试日志等功能。

  支持多种实时数据流的接入，支持Kafka实时数据流接入、支持MQTT物联网数据实时接入、支持HTTP实时数据流接入，实时数据流经过清选、转换、计算后可以实时存储到数据仓库中。

平台已内置多种电商及SaaS系统的对接接口及认证方式，通过ETL平台可以快速的协助企业把SaaS及电商平台中的数据拉取到私有的数据库中， 通过平台的清洗、转换、运算功能可以一步完成数据对接工作，大幅提升数据的时效性降低数据集成成本。

  提供Web化的实时数据传输监控平台，可以清析的看到每个节点读取的数据量、插入的数据量、更新的数据量、删除的数据量、同时可以在日志中看到所有传输成功和传输失败的数据记录， 传输失败的数据记录平台会自动记录失败原因和数据内容方便对数据质量进行控制。
  支持执行流程的动态回放功能，对于复杂的ETL流程可以清析的看到流程的数据传输路径。

对于重要数据或手工填报数据为了保证数据质量和可靠性支持人工审核节点，人工审核节点支持会签模式，数据审批人员可以针对不合格的数据进行删除、修改、拒绝等操作阻止数据流入目标数据库表，同时提供Restful API接口可以对接OA系统的审批流程，实现 更为复杂的数据审批流程。

平台支持在MongoDB中存储所有源表到目标表之间的交换数据，可根据源表或目标查看数据的来龙去脉对数据交换的过程进行全程掌控，同时支持使用MongoDB作为缓冲库来存储传输的数据，可以把生产系统中的 数据先行抽取到缓冲库中，再从缓冲库中加载到目标业务系统，可以最大程度减轻对生产系统的压力。

平台提供了多种数据冲突解决方案，对于增量数据传输时也可以定义冲突解决方案，可以极大提升ETL流程的设计速度并可处理复杂的数据交换逻辑，除了行级别的数据冲突处理外同时支持字段极别的冲突处理，对于目标表中的数据 可以实现禁止更新、仅插入时更新字段、设定默认值等多种字段级的更新模式。

1.支持Redis读取写入
2.支持MongoDB读取写入
3.支持Elasticsearch读取写入
4.支持Hive读取写入
5.支持HBase读取写入
6.支持Kafka读取写入
7.随着产品版本的迭代更多数据源支持将不断加入

平台自带提供丰富的监控和统计数据同时可以通过Restful API快速接入第三方的大屏监控界面中，可监控流程每天的失败数量、失败的传输记录数据、 流程平均运行时间、流程插入成功数量、失败数量、更新数量、删除数量等多维度的监控指标，并支持自定义报表实现更为复杂的统计维度，真正实时掌控企业数据的交换和传输情况。

支持元数据管理功能，通过元数据管理可以在线管理数据库的元数据并可以在线预览数据，元数据建模后可以直接参与ETL流程的数据读取和写入操作，通过元数据可以快速的查找引用的流程，对于梳理众多的复杂的ETL流程提供 了很好的解决方案，全面优于不提供元数据管理功能的ETL工具。

平台内置跨数据库事务控制功能，在同时写入多个不同业务系统的数据源时系统可以进行整体的事务控制，当有一个数据源写入失败时可以同时回滚所有数据库数据也支持只回滚单个数据源的数据。

平台提供丰富的数据抽取、加载、清洗、运算、脱敏、行转列、列转行等组件，同时提供基于纯Java语法的自定义规则和算法(性能比基于JavaScript语法的脚本快几倍)，可以通过规则实现复杂的自定义业务逻辑处理。

数据经过清洗、转换、运算后可以直接通过Restful API为前端表单及数据可视化提供数据服务接口，ETL数据流无需落盘就可以直接实时通过API提供数据服务，可以把txt,Excel等文件处理后实时提供数据服务 无需存储到数据库中，同时也提供API接口供第三方系统对ETL流程进行调度。

在大数据量传输时如果传送到一定的数据量出错时系统支持断点续传功能,用户可以从断点位置继续传送未传送完成的数据，并可以全部重跑下游节点,支持手工调整断点位置。

系统支持批量传送数据库表中的数据，在数据初始化时可以一次性传送多张表并可以在目标数据库中实现自动建表,支持手工调整断点位置。

支持任意复杂的Excel文件数据采集并可实时写入指定的数据库表中，支持对Excel文件的行、列拆分写入不同数据库表，支持Excel表单数据的提取写入数据库表，快速对企业的 Excel数据进行收集并进行入库分析并形成API发布，无需编码只需几步即可完成Excel文件数据的采集。

系统支持设备、机床、产线产生的各种数据进行实时自动采集，通过数据切分、转换、清洗后实时转存到数据库表中， ETL能高速稳定运行对各种数据进行采集，发现数据有问题时能及时预警到钉钉、微信并通知相关人员处理脏数据.

系统根据ETL流程可以自动分析数据源、数据库表、数据库字段的之间的血缘关系并形成拓朴图，可以清析的查看每个表的数据来源和分发关系。