汇海ETL数据抽取与整合技术白皮书

在ETL过程中，可能存在物理硬件方面，网络，操作系统，程序以及数据本身上的问题，导致数据加载不能成功完成，系统提供了完备的日志管理功能，方便用户进行查看和处理。

3.5 将数据流作为独立作业放入控制流调度
在实际的BI项目实施中，需要将许多数据流和其他一些任务协调配合起来才能够实现整个数据的抽取整合和加载。这些都可以在ETL中作为一个任务在控制流中进行调度。同时，数据流本身也可以作为一个单独的任务在控制流中进行调度。

3.6 ETL自动化与数据质量保证
ETL自动化与数据质量保证的全过程包括了源数据的校验、数据抽取到ODS、ODS数据的完整性校验、ODS数据的入库以及数据质量报告的生成。通过ETL控制流与数据流，结合ETL自动调度功能，将数据的抽取转换和数据的质量保证结合起来。

3.7 数据接口中心
通过提供的ETL通用接口，可以将ETL服务作为数据接口中心，开放提供给第三方厂商。对接收到的异构数据进行清洗、转换后最终加载到本地服务的数据仓库中，实现第三方厂商与本地服务的数据互通。除此之外，实施人员还可以对接口进行授权的分配以及接口的启用/禁用设置，用于对第三方厂商访问接口的控制。

4. 产品特色
      (1)界面易学易用，执行引擎效率高，流程定制所见所得：One-step配置界面实现常用的数据的抽取、转换、质量检查和加载全过程一步到位；内嵌汇海工作流引擎，支持分支，合并，流转，状态转移等工作流的基本特征
      (2)多数据源和目标支持：支持数据库、文本、Hadoop集群及其他业务系统在内的多种数据源和数据目标
      (3)丰富的数据转换清洗适配器：内置了多种数据流适配器如表关联适配器、过滤适配器、计算字段适配器等，可以处理大部分的数据操作。对于复杂场景，还提供了API扩展接口
      (4)内置强大的公式引擎：内置六大类近百个函数支持，包括字符串操作、数值运算、日期计算、数据容错、模糊匹配、二进制处理等操作
      (5)通过自定义脚本及命令行扩展系统功能：支持Javascript脚本语言或操作系统命令行来扩展对数据的处理，如发送邮件
      (6)结构化的异常处理机制
      (7)强大的流程调度支持：支持定时触发、依赖触发、状态触发和文件触发等各种调度模式
      (8)与汇海其他产品平台的整合：内置汇海其他产品的数据适配器，方便与汇海产品整合集成
      (9)跨防火墙数据提取：内置可穿透防火墙的数据传输工具
      (10)Hadoop集群支持：支持与Hadoop集群交换数据，也可以调度汇海基于Hadoop数据处理的“易平台”的数据处理任务

5. 运行环境
服务端运行环境：支持Windows、Unix、Linux等操作系统，支持Tomcat、Weblogic、WebSphere、JBoss等中间件部署，支持ORACLE，SQLSERVER等多种数据库。Java虚拟机要求使用1.5以上。客户机浏览器支持IE6.0以上。
客户端运行环境：支持Windows等多种操作系统。Java虚拟机要求使用1.5以上。

 

 2/2   首页 上一页 1 2