Question

DataStage软件的优缺点

Answer 1

以下是我这几年做datastage的一些看法，如有说的不准确，欢迎大家指正。

datastage的优点主要有：
1.支持异构的数据库：使用内建的组件即可完成不同数据源/目标（数据库或文件等）之间的数据抽取及加载；
2.支持并行处理架构：开发好的作业不需任何修改，只要通过增加处理节点（逻辑节点——一机多节点，或者物理节点——计算机集群，或两者结合），即可实现近线性的ETL效率提升（在硬件性能支持的基础上）；
3.图形化的开发界面：开发者不需要了解后台底层是如何与各个数据源/目标进行交互的，只需要专心于ETL过程的逻辑实现即可，软件开发使用模块化的功能组件，通过相互之间的组合来实现ETL需求，内建各种数据处理函数，可处理绝大多数复杂逻辑，开发者只要掌握DS图形化开发和基础的ETL知识即可，无需深厚的代码编程功底，降低了开发人员更替的成本；
4.图形化的监控、调度界面：实现作业调度、运行、日志查看、排错及维护。
5.便捷的迁移过程：所有ETL作业可导出进行备份，并可在新的DS服务器上导入，不需要重新开发即可直接使用，降低系统故障导致开发成果丢失的风险。
6.强大的自定义组件：可通过C等语言开发自定义组件，实现更丰富、更有针对性的功能组件。

缺点：
1.对硬件要求较高，尤其是8.x之后的版本，对CPU和内存、硬盘空间的要求更大（8.5版通常要求4CPU/6G内存为最低配置，如果单安装DS约需8~10G磁盘空间，安装全套产品则需要15~20GB）。
2.ds自身调度、监控客户端功能略薄弱，在庞大的作业数量和复杂的调度需求下，通常需要基于DS自身API来额外开发调度及监控程序便于运维。
3.另外，datastage还支持数据质量清洗（quality stage），不过它的这个功能在中国的语言环境下水土不服，不怎么好用。

其他：
1.datastage的并行引擎是此产品的一大亮点，现在datastage是IBM information server套件下的一个组成部分，新的版本在不断更新完善这套庞大的系统，将支持更多的数据源，提供更多的开发功能组件，并且在整合websphere、DB2后，支持快速生成作业、性能调优、更丰富的元数据管理、血缘分析等功能，基本上都是建立于datastage并行引擎基础上的。

2.虽然IBM收购了datastage，版本从7.X升到现在的9.X，但是核心的datastage并行引擎在历次版本更新中没有做本质的改变。

3.DS通常用于日常跑批，数据的实时传输不是它的长项，虽然可以借助一些辅助程序循环调用ETL作业实现准实时数据刷新，但如果需要实时数据功能的话，可通过CDC类软件实现（change data capture变化数据捕获）。
4.目前还没有完美的ETL工具，但合适的才是最好的，DS本身的功能能够支持绝大多数ETL场景，当然也有些特殊的客户需求是无法实现的，需要与其它产品配合，或者进行自定义组件的开发。

Answer 2

我们现在就用ds，优点很明显就是日志非常详细，
日常维护比较方便，很多运算脱离数据库，对数据库压力影响比较小
缺点就是占空间比较多
总得来说就是用空间换时间

Answer 3

并行处理机制，抽取转换的功能强大，图形界面友好易上手；
在windows系统下只能安装客户端，server得装在linux系统上

Answer 4

DATASTAGE属于ETL工具，主要进行数据抽取，清洗和转换的DATASTAGE主要是进行大量的数据DB转换或者BACTH处理，