KETTLE开发规范VIP免费

KETTL开发规范修订说明：KETTL开发规范1一、文档介绍21、文档目标22、术语与缩写解释2二、ETL命名规范21、转换22、作业23、步骤24、注释35、变量3三、ETL开发原则41、开发版本原则42、异常处理原则53、日志原则5BB——n■—乂口/1口._Q.斗1右odb1匕EdbF称暮谀时间1决rml_manl_loan_info_aT^ANSFORMAnON25十月201513:42:34CST1念rml_manIJoan_inFo_bTRANSFORMAHON2&201513：42；41CST1鸟rmlmanl1口日门settledinfoBTRANSFORMATION26一月201513:43:00CST、文档介绍1、文档目标本文主要描述了KETTLE平台ETL开发过程中应遵循的原则和规定，为ETL开发人员提供规范和指导。2、术语与缩写解释ETL：数据的抽取（Extract）,转换（Transform）和加载（Loading）odb：缓冲层gdb：共性加工层：、ETL命名规范1、转换转换命名规范：目标表名_A,B,C,D……Z规范说明：只有一个转换默认用：目标表名_A存在多个转换进入到一张表，后缀用A,B,C,D……Z进行交替标识誅索资库［ctl_dev_repQ5|诞览左捉HadoDp£usters妥兰m諛器Parftions2、作业调度工具未用KTTLE来实现，如有，命名规则和转换一致即可。3、步骤步骤名称一律用中文。如下：4、注释需要为每个转换写该转换对应的mapping文件和开发的版本历史KI>读取Exml文仲匚List_info.xIsK替突7U妾trml_manI」p曰n_settlsd_i门foAj£ETL名称：rml_ma门l」oan^settl巳d」nfo_aETL舷I文佯:瓦险罰琶5垂姓盯「MA命［MG设计ETL^fsheet:锻題笛户赦款信息活音REVISIONS:V&rDateAuthorDesEriptioniV1.02015-10-22WangXL123451■含有脏逛宁腔堂型全部迓冒九比ingLMU山11全鯛^为空字符昌ft-*-r*-r*-S-*-±*-**-**-**-***±-*-FfrS-*-tfr**-*fr**-**-*±-*T*-r*-±*-**-**-**-**-***-r*-r*-S-*-±*-**-**-**-***±-*-Ffrt*-V5、变量变量命名规则使用ETL_RC名称，如下注意：变量不能通过外部命令传递，如果要外部传递进变量，需要使用参数。#名称直1ETI__DE¥_DB_HO£T172.16.10.432ETI__DEV_DB_PASSWDrongcapital3ETI__DEV_DB_PORT33064ETI__DE¥_DB_U医Rroot5ETL_DEV_GDB_NAMEgdb6ETL_DEV_ODB_NAMEodb7ETL_DT8ETL_RC_A_DB_HOST9ETL_RC_A_DB_NAME10ETL_RC_A_DB_PASSWD6、参数参数分为命名参数和位置参数，一般进行参数传递建议用命名参数，参数设置如下：转厠f性卑训1髓LL_ET2M6-111-聲命老議朝.冃志竊瞬融监控设置完参数，这个时候外部就可以通过给参数赋值，传递到转换里。三、ETL开发原则1、版本控制原则ETL开发的版本和mapping的版本要保持一致，要求上线的版本和MAPPING的版本同时保留在SVN里一份。不单独进行版本管理。丰駁呂称2te-pnem&1D_BATCHCHANNEL_1DTRANSNA.MESTATUSThe-ba-fcchjIOThe-loggimgiThename-ofTbie-sltAtLjso4ILIINES_IREADThe-口umEiuir11INES_WRJ.TTEINThiU"numlzpes-r”p2、测试，正式环境使用资源库为了对元数据进行管理，必须进行使用资源库。确定测试版本和上线版本，然后保存在资源库里进行测试和上线。3、异常处理原则4、日志原则每个转换组件都需要进行错误处理，避免数据丢失，以及根据错误更加完善ETL流业务未能考虑到的处理。aExce-[ZI夕Q□划每个转换都可以配置运行日志到数据库，但是不建议这么做，不直观。一般的做法是直接记录运行的输出作为日志，这样非常直观的现实了转换的运行情况,具体实现在调度工具里做，呈现信息如下：INFOSsetLiogtheserver^"publishaddressiabe/llrifeige2015/10/27…-i■亠2015/10/272015/10/272015/10/272015/10/272015/10/2T2015/10/272015/10/272015/10/272Q15/1Q/272015/1Q/272015/10/27£015门0/歹O9：21：1BOS：21：1009:21:190^:21:2205:21:2209:21:2209:21:2209:21:22W：21：2209：-Pan-startofruna-TEST-DispatchingstarTedfortransf-ormaiTlon[TEST]-表聃出-Connectedtodatabase[my5ql_dev_-odb](co™iit=10-0-0)-Excel-Finishedprocessing(1-19330=0,R=0?b^-19-9,U=0aE=0)-莒議MULIL蓝.0-Finishedprocessing(1^-0,0=0,R=ll95rU=0aE=0)-慕输出7Finiiishedprocess!ng(1=0p0^199R=199i心199、Ll^O—£=0)-Pan-F~inishredI-Pari-SLaflL-2O15/lD/2709：21：IB・£帖.STDp-2015/10/27W：21：2...