数接入规范日志文件
修订历史
日期
修改说明
部门
修改
数接入需求
基数采集需求初步判断数接入源否日志文件进行获取联系技术研发部事请求数源接入位置参数通配置化方式定期读取服务器指定位置日志文件通程序清洗日志分割成字段装载数仓库贴源层
数接入流程
1 数中心分析组接TAPD数接入需求分析接入数属数接口列表系统应系统标题添加模板参APPapp_login_log
需求发起进行沟通确定提供数方式（数库文件接口等）需求发起补充详细数口径补充需求求里面指定数仓库组台组进行转发
2 数仓库组台组根需求描述数源提供方（需求发起方技术研发部门）沟通补充模板里位置参数
3 数源提供方根模板求提供位置配置参数
4 数仓库组台组接入数整理数格式编写日志清洗转换脚补充装载目标表信息
5 数中心分析组终接入数进行验收通知需求发起获接入数
数源接入模板
需求求（分析组补充）
tapd需求单号：1002513
提起：xxx(Richardchen)
需求单号容：
？？？
提供数方式：
数库文件接口
详细数口径：？？？
位置配置参数（技术研发部补充）
配置参数
参数取值
服务器址
19216811
端口类型
ftp
端口号
22
系统户名
user
密码
pwd
日志路径
日志文件通配符
xxxyyyymmddAppLog
app_login_log_[yyyymmdd]json
日志容分割规
文字描述
接入模型字段（仓库组补充）
字段名
注释
字段类型
必填
必填
必填
必填
必填
必填
抽取参数（仓库组补充）
配置参数
参数取值
抽数周期
天
抽数时间
700
文件名匹配条件
1：全量匹配抽取（匹配通配符抽取）
2：日期匹配抽取（仅抽取通配符日期字段匹配数日期条件文件）
数日期格式
Yyyymmdd
Yyyymmdd
数日期条件
1：天日期
2：前时间日期
3：前时间属周周日
4：前时间属月号
日志清洗转换脚（仓库组补填）
补充脚位置t8tbidsc＼logapp＼logapppy
装载目标表（仓库组补填）
配置参数
参数取值
stg层表名称
必填
stg层表描述
必填
ods层表名称
必填
ods层表描述
必填
数接口列表
PC
H5
APP
app_login_log
l 需求单号（分析组补充）
tapd需求单号：xxxxxxx
提起：xxx(Richardchen)
l 位置配置参数（技术研发部补充）
配置参数
参数取值
服务器址
19216811
端口类型
ftp
端口号
22
系统户名
user
密码
pwd
日志路径
日志文件通配符
xxxyyyymmddAppLog
app_login_log_[yyyymmdd]json
日志容分割规
文字描述
l 接入模型字段（仓库组补充）
字段名
注释
字段类型
必填
必填
必填
必填
必填
必填
l 抽取参数（仓库组补充）
配置参数
参数取值
抽数周期
天
抽数时间
700
文件名匹配条件
1：全量匹配抽取（匹配通配符抽取）
2：日期匹配抽取（仅抽取通配符日期字段匹配数日期条件文件）
数日期格式
Yyyymmdd
Yyyymmdd
数日期条件
1：天日期
2：前时间日期
3：前时间属周周日
4：前时间属月号
l 日志清洗转换脚（仓库组补填）
补充脚位置t8tbidsc＼logapp＼logapppy
l 装载目标表（仓库组补填）
配置参数
参数取值
stg层表名称
必填
stg层表描述
必填
ods层表名称
必填
ods层表描述
必填
app_diary_log
程序
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档
修订历史
日期
修改说明
部门
修改
数接入需求
基数采集需求初步判断数接入源否日志文件进行获取联系技术研发部事请求数源接入位置参数通配置化方式定期读取服务器指定位置日志文件通程序清洗日志分割成字段装载数仓库贴源层
数接入流程
1 数中心分析组接TAPD数接入需求分析接入数属数接口列表系统应系统标题添加模板参APPapp_login_log
需求发起进行沟通确定提供数方式（数库文件接口等）需求发起补充详细数口径补充需求求里面指定数仓库组台组进行转发
2 数仓库组台组根需求描述数源提供方（需求发起方技术研发部门）沟通补充模板里位置参数
3 数源提供方根模板求提供位置配置参数
4 数仓库组台组接入数整理数格式编写日志清洗转换脚补充装载目标表信息
5 数中心分析组终接入数进行验收通知需求发起获接入数
数源接入模板
需求求（分析组补充）
tapd需求单号：1002513
提起：xxx(Richardchen)
需求单号容：
？？？
提供数方式：
数库文件接口
详细数口径：？？？
位置配置参数（技术研发部补充）
配置参数
参数取值
服务器址
19216811
端口类型
ftp
端口号
22
系统户名
user
密码
pwd
日志路径
日志文件通配符
xxxyyyymmddAppLog
app_login_log_[yyyymmdd]json
日志容分割规
文字描述
接入模型字段（仓库组补充）
字段名
注释
字段类型
必填
必填
必填
必填
必填
必填
抽取参数（仓库组补充）
配置参数
参数取值
抽数周期
天
抽数时间
700
文件名匹配条件
1：全量匹配抽取（匹配通配符抽取）
2：日期匹配抽取（仅抽取通配符日期字段匹配数日期条件文件）
数日期格式
Yyyymmdd
Yyyymmdd
数日期条件
1：天日期
2：前时间日期
3：前时间属周周日
4：前时间属月号
日志清洗转换脚（仓库组补填）
补充脚位置t8tbidsc＼logapp＼logapppy
装载目标表（仓库组补填）
配置参数
参数取值
stg层表名称
必填
stg层表描述
必填
ods层表名称
必填
ods层表描述
必填
数接口列表
PC
H5
APP
app_login_log
l 需求单号（分析组补充）
tapd需求单号：xxxxxxx
提起：xxx(Richardchen)
l 位置配置参数（技术研发部补充）
配置参数
参数取值
服务器址
19216811
端口类型
ftp
端口号
22
系统户名
user
密码
pwd
日志路径
日志文件通配符
xxxyyyymmddAppLog
app_login_log_[yyyymmdd]json
日志容分割规
文字描述
l 接入模型字段（仓库组补充）
字段名
注释
字段类型
必填
必填
必填
必填
必填
必填
l 抽取参数（仓库组补充）
配置参数
参数取值
抽数周期
天
抽数时间
700
文件名匹配条件
1：全量匹配抽取（匹配通配符抽取）
2：日期匹配抽取（仅抽取通配符日期字段匹配数日期条件文件）
数日期格式
Yyyymmdd
Yyyymmdd
数日期条件
1：天日期
2：前时间日期
3：前时间属周周日
4：前时间属月号
l 日志清洗转换脚（仓库组补填）
补充脚位置t8tbidsc＼logapp＼logapppy
l 装载目标表（仓库组补填）
配置参数
参数取值
stg层表名称
必填
stg层表描述
必填
ods层表名称
必填
ods层表描述
必填
app_diary_log
程序
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档