如果你使用Datastage7.5.x来做ETL，那么建议你先看下一IBM官方公布的已修正的BUG，http://www-01.ibm.com/support/docview.wss?uid=swg21438499个人看法：DS的BUG真是多啊！遇到问题了，先去修正的BUG列表看看的，说不定又是什么BUG！
工作中用到了DS，也遇到了很多的问题，在此记录一下！不对的地方请高手斧正！
1.DS所在的操作系统这次项目（银河ACRM）中DS采用的环境是借鉴了中投数据中心的经验，所以就选择了Red Hat Linux As 4 Update 8 x86_64 + Datastage 7.5.2.1。后来，在解决问题的过程中从发行注记中发现这么一句话“Windows/Linux platforms are only supported on Intel x86 32-bit Processor”，经验证：此次选择了在Linux X86_64上安装DS造成后续的一些问题！以后安装软件，一定要看软件的发行注记哦！如果适用于32bit的系统，那就别选择64bit的操作系统了！建议：Red Hat Linux As 4 Update 8 x86 + Datastage 7.5.2.1
2.complier的选择在32位系统中你不会遇到这个问题！因为选择了64位的系统，但是Datastage 7.5.2.1只支持32位的系统，所以在环境变量中的编译器部分做如下调整：IBM官方给出的配置：APT_COMPILEOPT：-O -fPIC -Wno-deprecated -c -m32 APT_COMPILER：g++32 -m32 APT_LINKER：g++32 -m32APT_LINKOPT：-shared -32 -Wl,-Bsymbolic,--allow-shlib-undefined
我自己的配置：APT_COMPILEOPT：-O -fPIC -Wno-deprecated -cAPT_COMPILER：g++32 -m32 APT_LINKER：g++32 -m32APT_LINKOPT：-shared -Wl,-Bsymbolic,--allow-shlib-undefined
3.Oracle lib的选择因为是64位的操作系统，所以也就安装了Oracle 10g的64位客户端，在$ORACLE_HOME的目录下就有了lib,lib32两个目录，DS是使用lib32的,所以在$DSHOME/dsenv的LD_LIBRARY_PATH中添加$ORACLE_HOME/lib32.
4.Oracle字符集转换的问题在操作系统环境变量，DS环境变量中设定NLS_LANG，而且还要做字符集映射，在/home/dsadm/Ascential/DataStage/PXEngine.752.1/etc/oracle_cs.txt 中增加：GBK ZHS16GBKZHS16GBK GBK第一列是DS内置的字符集，第二列是Oracle的字符集，依照这个说法那就不需要第二行了，这里我还是加上了！
5.DS共享内存调优在DS8.1之前的版本，命令SHMTEST只在Linux 32-bit上才有效，在Linux 64-bit上选入无限循环，IBM已在8.1中进行了修复！BUG修复地址：http://www-01.ibm.com/support/docview.wss?rs=14&uid=swg1JR32113，此处不再摘录！
6.DS连接到Oracle RAC如果Oracle数据库使用了RAC，曾经叫做（Oracle Parallel Server，OPS），用于数据抽取的数据库用户在拥有其他权限的同时，必须拥有访问SYS.GV_$INSTANCE的权限。另外，还必须在Datastage Administrator中，添加Project的环境变量，APT_ORACLE_NO_OPS = 1。
7.DS中Oracle用户的权限问题DS使用oracle时候要对以下视图赋权限DBA_EXTENTSDBA_DATA_FILESDBA_TAB_PARTITONSDBA_OBJECTSALL_PART_INDEXESALL_PART_TABLESALL_INDEXESSYS.GV_$INSTANCE (Only if Oracle Parallel Server is used or RAC)datastage自带的联机帮助文档上说明这一点,We suggest that you create a role that has the appropriate SELECT privileges, as follows:CREATE ROLE DSXE;GRANT SELECT on sys.dba_extents to DSXE;GRANT SELECT on sys.gv_$instance to DSXE;GRANT SELECT on sys.dba_data_files to DSXE;GRANT SELECT on sys.dba_tab_partitions to DSXE;GRANT SELECT on sys.dba_objects to DSXE;GRANT SELECT on sys.all_part_indexes to DSXE;GRANT SELECT on sys.all_part_tables to DSXE;GRANT SELECT on sys.all_indexes to DSXE;Once the role is created, grant it to users who will run DataStage jobs, as follows:GRANT DSXE to <oracle userid>;
8.DS启动关闭在datastage中使用uv -admin -stop关闭DS之前，要退出所有的客户端连接，必须使用ps -ef| grep ds来查看连接到DS的进程，找到PID用kill命令杀掉，或者在director中清除掉所有的连接，之后再使用uv -admin -stop来关闭DS，否则存在DS连接的情况下关闭DS，使用uv -admin -start启动DS时，可能无法启动dsrpcd如果尝试多次无法启动dsrpcd，请参考文章“Linux环境下Datastage的dsrpc追踪方法”；最后的办法就是重启机器！
9.抽取速度慢的问题Datastage 7.5.2 抽取Oracle数据太慢，检查JOB日志发现，JOB运行时检查/home/dsadm/Ascential/DataStage/Configurations目录下的default.apt文件，此文件用于用于指定DS的节点，一般是每个CPU对应一个节点，而我的文件中只有一个节点，依据CPU个数增加节点数，重启DS。在此抽取时，监控JOB发现多个节点同时使用，抽取速度剧增！
10.MS SQL SERVER中TEXT类型转换Datstage通过ODBC获取MS SQL Server的数据时，将text类型字段默认为Longvarchar，view data时出错，将以在自定义SQL语句中使用convert将text转化为varchar(4000),并将字段类型改为varchar，否则会出现错误：DSP.Open GCI $DSP.Open error -100.
11.DS抽取抽取Oracle数据时默认将空格转换为NULLDatastage 7.5.2.1中，DS中的Oracle Stage从Oracl抽取数据时，默认把空格转换为NULL，即使将DS环境变量中的APT_ORACLE_PRESERVE_BLANKS设置为True也无济于事。经查找，IBM官方认为这是个bug，建议升级打补丁.补丁地址：http://www-01.ibm.com/support/docview.wss?rs=14&uid=swg1JR33670打补丁之前，请备份DS的整个目录，然后再打补丁！我自己打补丁时，关闭了DS相关的所有进程，但是安装提示有错误，让去找系统管理员，但是查看/home/dsadm/Ascential/patches/patch_JR35216/log没有发现错误。安装时的错误提示：Upgrading the Stage ...An error has occurred during DataStage initializationPlease contact the system administratorError code: 2 2Done!幸运的是重新启动DS，一切正常，而且通过设定DS环境变量中的APT_ORACLE_PRESERVE_BLANKS，就可以控制空格向NULL的转换了！幸运是短暂的，打补丁之后，从ODBC抽取SQL Server数据的JOB报错了，看样子是因为补丁的问题！错误信息：main_program: Fatal Error: Fatal: Shared library (drsenu.so) failed to load: errno = (2), system message = (/home/dsadm/Ascential/DataStage/DSEngine/lib/drsenu.so: undefined symbol: DSCUVTextMark)虽然打补丁之前有备份，恢复回去是没有问题的，所以先想想办法去解决的！在网上找到了一个解决办法，相同的错误，只是别人遇到的是$DSHOME/lib/dsdb2enu.so: undefined symbol: DSCUVTextMark,那就试一下的！地址：http://www.docin.com/p-42820466.html先备份$DSHOME/etc/operator.apt文件，使用VI编辑该文件，将dscapiop dscapiop 1修改为dscapiop @dscapiop 1,保存退出！关闭DS，重新启动！不知道为什么这么干！寻遍官方文档都没找到一点相关内容，网上给出的解决办法，当前问题是解决了，但是依据是什么呢？会不会因此而产生其他的潜在问题？！在这里鄙视一下DS！
12.JOB排错，开启详细日志输出日志提示有警告，可是不知道是哪个stage提示警告，那么设置APT_DUMP_SCORE = TRUE，可以在log的警告信息中看到stage名称。另外，还有一些选项用于log日志输出。内存使用情况，APT_PM_PLAYER_MEMORY = TRUECPU使用时间，APT_PM_PLAYER_TIMING = TRUE数据抽取条数，APT_RECORD_COUNTS = TRUE
13.DS性能调优详见官方文档。APT_DEFAULT_TRANSPORT_BLOCK_SIZE = 131072 改为 APT_DEFAULT_TRANSPORT_BLOCK_SIZE = 1048576APT_BUFFER_MAXIMUM_MEMORY = 3145728 (3 MB) 改为 APT_BUFFER_MAXIMUM_MEMORY = 6291456 (6 MB)APT_BUFFER_FREE_RUN = 0.5 改为 APT_BUFFER_FREE_RUN = 0.6
14.DS运行中发现的Oracle DB的问题DS运行时，LOG日志报错，竟然都是TNS和ORA的错误，尤其是并行多个JOB时，有JOB失败。请寻求DBA协助，做数据库的优化！
15.DS中对Oracle中特殊字符的处理（例如：# $）DS_ENABLE_RESERVED_CHAR_CONVERT = TRUE 处理特殊字符#，$
16.Transformer stage中的substr功能Transformer stage中的substr功能在抽取数据时，按字符对象截取字符，可是加载至目标库时，是按字节计算长度。尤其是对含有中文的字段截取时，有些中文字符的最后一个字符被截成了乱码，在加载至目标表时报错，可以在/home/dsadm/Ascential/DataStage/Scratch文件夹下bad文件中找到出错的数据条目。、建议：对于含有中文的字段，目标表的字段长度尽可能的与源表字段长度一致。
17.从MS SQL Server 2005抽取数据至Oracle时，中文乱码解决NLS为GBK，view数据时正常，但是抽取至Oracle时，中文乱码。在Transformer中把中文字段的extend都设置为unicode。
