ETL工具研究报告.pptx

ETL研究报告,1.Talend Open Studio for Big Data是一款开源的数据集成软件包，用户能够使用该产品将数据在Hadoop集群以及企业内部系统(如关系型数据库或数据仓库)之间进行移动。该平台还允许用户创建相关技术的连接器，比如HBase、Pig、Sqoop和Hive等。Talend Open Studio for Big Data 还提供了针对各种数据库的连接器。适用的DB类型：,输入（能读取）的文件类型：.csv，.arff，.txt，.ldif，.mail，.xml，.properties。,效率：Oracle-Oracle间两千万条数据转移需要6个小时,Oracle-SQL Server间两千万条数据转移需要11个小时Oracle-Oracle转换工具图：,Oracle-SQL Server转换工具图：,Oracle-SQL Server 转移的时候Talend Open Studio for Big Data工具所在电脑性能：,Oracle-SQL Server 转移的时候SQL Server所在电脑性能：,Oracle-SQL Server 转移的时候Oracle所在电脑性能（服务器）：,按照以上图看不会影响导入数据的效率。,2.Kettle：适用的DB类型：,输入（能读取）的文件类型：,效率：Oracle-Oracle间两千万条数据转移需要8个小时,Oracle-SQL Server间两千万条数据转移需要12个小时,费用问题：Kettle是免费的。Talend Open Studio for Big Data分免费版和商业版，商业版是多线程操作，效率快，免费版相对慢，根据talend公司提供的数据，商业版的2000万条数据是36分钟，但是免费版的要用一个多小时。,3.DataStage，这是IBM为其配套的DB2开发的ETL工具，也可以用于其它数据库数据的集成。最专业的ETL工具，价格不菲，使用难度一般。我们上网查了两天，网上提供的资源都不好用，装了好几个都没法打开，所以也没有办法看用这个工具转移两千万条数据所用的时间。从而没办法比较时间。,4.SQL Server Integration Services：适用的DB类型：SqlServer，Oracle，DB2，Access,。输入（能读取）的文件类型：Excel，xml，原始文件（是SSIS独有发文件存储机制，只能由Dataa Flow Destination创建）,效率：SQL Server SQL Server间两千万条数据插入需要8分钟53秒,SQL Server SQL Server间两千万条数据插入更新需要1小时43分钟,Oracle-SQL Server间两千万条数据转移需要14分钟29秒。SQL Server SQL Server两千万条数据插入：,SQL Server SQL Server两千万条数据插入更新：,Oracle-SQL Server间两千万条数据插入：,SQL Server Intergration Services优点速度快，缺点是类型转换存在问题，如果要用的话还需要仔细配置。支持的数据库类型不多。我说一下用SSIS的感受，一开始测试的时候很快，当时感觉真是个不错的ETI工具,但是后来连接oracle数据库时配置很麻烦，出很多问题也花费了大量的时间，好不容易才导成功了。如果不同库之间进行导入导出的时候要有数据类型转化会容易出问题。所以为了导入数据更方便效率，不建议用SQL Server Intergration Services。,总结：经过这些天的研究测试，我认为如果要进行数据转移可以这样分配：当数据是在sqlserver库之间转化时用SQL Server Intergration Services。而其他库之间的转化时用Talend Open Studio for Big Data。kettle不是很稳定，所以不建议用这个。,