ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。ETL是数据仓库中的非常重要的一环,它是承前启后的必要的一步。

功能架构

    数据抽取就是从数据源抽取出所需的数据的过程。数据抽取后,再经过数据清洗、转换,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。数据转换主要用于解决数据不一致性问题,数据加载就是将从数据源系统中抽取、转换后的数据加载到数据仓库系统中。ETL流程管理调度是ETL过程中的统一调度者和指挥者,它把复杂的数据处理过程中各个步骤整合成一个整体。异常数据处理机制指源数据系统中的数据本身出错并发生变更后,对于正在抽取、已经抽取、已经处理、已经汇总等各个环节,如何进行回退处理的一套机制。

产品截图:


(数据导入配置)


(数据转换)


(任务管理)

产品特色:

(1) 支持MYSQL/ORACLE/MSSQLSERVER/DB2/hive/kylin/postgresql等多种数据库;

(2) 支持Windows/Linux/Solaris/AIX等多种操作系统;

(3) 支持txt/csv/xls/zip等多种输入输出格式;

(4) 图形化ETL操作配置,ETL数据加工过程一目了然;

(5) 工具性能强大,处理速度大概可以达到8000行每秒;

(6) 具有完整的日志管理功能、完善的数据审计功能,并且有相关的监控预警机制,保证ETL过程正常进行,不影响数据源系统的正常工作;

(7)支持并行加载等高效的优化策略;