爬虫接入规范

爬虫接入规范
修订历史
日期
修改说明
部门
修改
20180612

数中心
李永波





数接入需求
基数采集需求初步判断数接入源否业务数库中获取
联系技术研发部事请求数源接入位置参数通配置化方式达数业务系统拉取装载数仓库贴源层目
数接入流程
1 爬虫组台组进行沟通确定提供数方式（数库文件接口等）需求发起补充详细数口径补充需求求里面指定数仓库组台组进行转发
2 数仓库组台组根需求描述数源提供方（需求发起方技术研发部门）沟通补充模板里位置参数
3 数源提供方根模板求提供位置配置参数
4 数仓库组台组根已位置参数需求数指标等信息设计接入模型抽取参数
5 数仓库组台组接入数整理数格式制定清洗转换规补充装载目标表信息
数源接入模板
需求求（仓库组补充）
tapd需求单号：1002513
提起：陈炳贵(Richardchen)
需求单号容：
？？？
提供数方式：
数库文件接口
详细数口径：？？？
位置配置参数（台部补充）
配置参数
参数取值
服务器址
必填
数库端口
必填
数库名称
必填
户名
必填
密码
必填
表名
必填test1
必填test2
取数口径（sql者文字说明）
选填单表部分字段表关联请填写

接入模型字段（仓库组补填）
字段名
注释
字段类型
源表字段
必填
必填
必填
必填
必填
必填
必填
必填

抽取参数（仓库组补填）
配置参数
参数取值
抽数周期
天
抽数时间
700
增量标识
1：全量2：增量
数日期格式
增量数需提供数日期格式选
时间戳
Yyyymmdd
Yyyymmdd

清洗转换规（仓库组补填）
仓库组补充限数清洗滤字段编码转换敏感信息转换接入阀值设置等等

装载目标表（仓库组补填）
配置参数
参数取值
stg层表名称
必填
stg层表描述
必填
ods层表名称
必填
ods层表描述
必填

取数位置（台组组补充仓库组验收）
密码等验证信息私提供
数库方式：
数库连接方式：
表名：
字段名
注释
字段类型
必填
必填
必填
必填
必填
必填

文件方式：
服务器位置：ip：port
文件位置：

接口方式：
接口URL：





文档香网(httpswwwxiangdangnet)户传

《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档