日志和文件接入规范

日志和文件接入法律规范数据接入流程 1.数据中心分析组接到 TAPD 数据接入需求之后，分析接入数据属于数据接口列表的哪个系统，在对应的系统标题下添加模板，参照 APP-app_login_log。和需求发起人进行沟通，确定提供数据的方式（数据库、文件、接口等），让需求发起人补充详细的数据口径，补充到需求要求里面，指定数据仓库组或平台组的一个人进行转发。2.数据仓库组或平台组根据需求描述。跟数据源提供方（可以是需求发起方、也可以是技术研发部门）沟通，让其补充模板里的位置参数。3.数据源提供方根据模板要求，提供位置配置参数。4.数据仓库组或平台组在接入数据后，整理数据格式，编写日志清洗转换脚本，并补充装载目标表信息。5.数据中心分析组对最终接入的数据进行验收，并通知需求发起人如何获得接入数据。数据源接入模板需求要求（分析组补充） tapd 需求单号：1002513提起人：某某某(Richard.chen)需求单号内容： ？？？提供数据方式： 数据库、文件、接口详细的数据口径：？？？位置配置参数（技术研发部补充） 配置参数参数取值服务器地址 192.168.1.1 端口类型 ftp 端口号22 系统用户名 uer 密码 pwd 日志路径日志文件通配符某某某/yyyymmdd/AppLogapp_login_log_[yyyymmdd].jon 日志内容分割规则文字描述接入模型字段（仓库组补充） 字段名注释字段类型必填必填必填必填必填必填抽取参数（仓库组补充） 配置参数参数取值抽数周期每天抽数时间 7:00文件名匹配条件 1：全量匹配抽取（匹配通配符即抽取） 2：日期匹配抽取（仅抽取通配符日期字段匹配数据日期条件的文件） 数据日期格式YyyymmddYyyy-mm-dd 数据日期条件 1：上一天日期 2：当前时间日期 3：当前时间归属周周日 4：当前时间归属月一号日志清洗转换脚本（仓库组补填） 补充脚本位置即可，如 t8t-bi-dc＼log-app＼log-app.py 装载目标表（仓库组补填） 配置参数参数取值 tg 层表名称必填 tg 层表描述必填 od 层表名称必填 od 层表描述必填数据接口列表PCH5APPapp_login_logl 需求单号（分析组补充） tapd 需求单号：某某某某某某某提起人：某某某(Richard.chen)l 位置配置参数（技术研发部补充） 配置参数参数取值服务器地址 192.168.1.1 端口类型 ftp 端口号22 系统用户名 uer 密码 pwd 日志路径日志文件通配符某某某/yyyymmdd/AppLogapp_login_log_[yyyymmdd].jon 日志内容分割规则文字描述 l 接入模型字段（...