达梦DMETL与其它主流ETL对比 整体性能优势明显

  达梦数据交换平台（DM Extract、Transform、Loading，缩写DMETL)是国内知名数据库厂商达梦数据库有限公司在上十年数据处理经验的基础上，研制开发的具有自主版权的、商品化的数据交换与处理平台。DMETL创新地将传统的ETL工具与分布式消息平台相结合，实现了对数据抽取、传输、整合、以及装载的一站式支持，是构建数据中心、数据仓库、数据交换和数据同步等数据集成类应用的理想平台，同时也可以作为数据加工处理工具由业务人员直接使用。 

    经过与市场上其他主流ETL工具测试对比之后发现，DMETL从功能性能上已经完全能够满足用户需求，并且在易用性方便更具有独特的优势。 

    1.测试对象

    1) SSIS：SQL Server Integration Services。微软的数据集成工具

    2) KETTLE：主流开源ETL工具

    3) POERCENTER：业界领先的ETL工具，已被oracle公司收购

    4) DMETL：达梦数据交换平台

    2.测试环境

    1) ETL工具主要运行环境

    IP:223.254.112.1

    CPU Intel 双核 E2160 主频1.8G

    内存 2G

    操作系统 MS server2003

    2) 数据源服务器A主要环境

    IP:223.254.102.21

    CPU Intel双核 E5300 主频2.6G

    内存 2G

    操作系统 MS XP

    数据库：SQLSERVER，ORACLE

    3) 数据目的服务器B主要环境

    223.254.110.136

    CPU Intel双核 E5400 主频2.7G

    内存 4G

    操作系统 MS server2003

    数据库：SQLSERVER，ORACLE

    3.功能对比

    （注：√—支持 ×—不支持） 

    

4.性能对比

    四种ETL工具在10W条和1000W条不同数据量下进行性能测试。

    数据容量(10W记录)=945*100000/(1024*1024)=90.1M

    数据容量(1000W记录)=945*10000000/(1024*1024)=9012.2M

    1) DMETL性能测试记录 

    

2) SSIS 性能测试记录

3) KETTLE性能测试记录

4) INFORMATIC POERCENTER性能测试记录

5) 性能测试数据汇总

    (单位：条/秒) 

   

5.结论

    性能上INFORMATIC POWERCENTER总体性能最优；DMETL性能比较稳健，优于KETTLE和微软的SSIS。

    功能上DMETL和INFORMATIC POWERCENTER两者最为丰富，KETTLE次之，SSIS较弱。

    易用性方面DMETL是最好的，SSIS次之，KETTLE和INFORMATIC POWERCENTER使用最为复杂。