腾讯内部云架构设计介绍

腾讯部云架构设计介绍存问题
速度慢
稳定
部署混乱监控完善
开发效率低部云建设目
提升研发水
提升运维水
提升服务水
节省设备成部云建设
海量
快稳定
互联网业务特性造部云云模式划分
SaaS
PaaS
IaaS部云层次划分
接入层
• 业务请求接入端分发
逻辑层
• 业务逻辑实现
存储层
• 数持久化 部云建设方式
腾讯部云
MIG部云
TAF
SNG部云
SPP
IEG部云
云网关台
游戏云
云存储台
TEG攻公特性更突出接入存储两部分业务BG攻情况复杂具特
色业务逻辑层
…接入层
接入层业务接入问题
业务接入通常会遭遇面三问题：
网接入
外网ip紧张易攻击云网关TGW
TGW
电信户
接入服务器 联通户
移动户
IPV6户
… 云网关TGW
• 网统接入
• 节省外网IP
• 外网安全隔离
• 负载均衡
• 业务台动容灾
TGW腾讯建网关系统具特点：2 TGW7
CS
TGW SET模型 LD数 容量 包量
TGW71G 4 2G 300w
TGW710G 4 10G 300w
TGW410G 4 16G 500w
第三方
Web应
Flash应
互娱研游戏
互始代理游戏

解决方
案
解决方案
4 TGW4
windows
七层
1 TGW7
BS
四层
解决方案
3 TGW4
私协议
流量业务
Windows业务
解决方
案
TGW整体解决方
案
TGW整体解决方案
TGW业务量身定做4种方案公司业务够接入TGW四种方案
分：七层BS方案 七层CS方案四层TGW方案四层windows方
案云网关TGW
• 通集群提供服务4台服务器
集群
• 双机架双交换机备份
• 强抗DDoS攻击力
容灾
• TGW死机探测
• TGW流量连接数等异常监控
• 业务流量质量server死机探
测等监控
监控目标存储层
存储层云存储
CDB
CFSCMEM
三云存储台
解决业务cachedb
文件存储云存储CDB
• 三高数库系统
• 高通：需业务改代码
– mysql业务换IPPort

• 高：三种切换模式
• 高性：4倍A5
CDB
TGW跨机架容灾
业务台系统
DBMS
Master
DBMS
Slave步
SCSI盘驱动
TSSD集群
分散写异步写合写
机读力强
幅减少擦云存储CMEM
• 三高KeyValue Cache系统
• 高通：需业务改代码
– 兼容memcache协议TTC协议redis协议等
• 高性：核级优化
• 高性价：冷热数动态调度存储介质云存储CFS
• 四高分布式文件存储系统
• 高通：需业务改代码
– 访问文件系统样
• 高发：台TFS集群
• 高附加：数享
• 业务层高：业务设备死机
直接新机器顶涉数恢
复迁移
业务台系统
文件系统驱动
TFS集群
CFS 逻辑层
逻辑层逻辑层解决问题
开发效率 网络通讯 容错容灾
协议发布部署监控告警
性 安全逻辑层现状
• 逻辑层框架Bg建
✓ 业务需求
✓ 历史包袱
• 流台开发框架
✓ TAFSPPMCP++SrvFramework…模块众(千服务)
配置理弱
面两种语言( c++java)
背景
…
监控够立体化
服务模型协议样化
部署理凌乱
MIG逻辑层建设背景•容错机制
• 部署发布
• 流量监控异常监控
• 集中日志配置理
• 服务理
• 消息染色机制
• 调链调时序分析
• 接口级测试
• 集成测试
• 服务(tcpudpselectepoll)
• 协议(字符串二进制xml)
• 远程调(步异步)
• …
开发
测试
运营
产品
开发响应时间更快
产品更加稳定
业务间交叉更加容易
分层设计台解决部分问题根运营断完善 TAF结构
运营
台
通信框架
公库
统协议(JCE)
透明部署 动发布 集中配置LOG 调链分析
理 容错 负载均衡 灰度
RPC(步异步单项) 高性 载
提供框架业务
台 二进制扩展 动生成
开发更关注业务运营更简单Notify
Stat
Log
Patch
Registry1 Registry2 RegistryN Web
Server1 Server2 ServerN
Node1
Server1 Server2 ServerN
NodeN
控节点（热备） 运维理台
异常信息
指标统计
远程LOG
发布台
服
务
节
点
业务Server
……
Config
配置中心
1721628153
1721628154
Property
业务信息registry
client
stringToProxy(PetObj)
petsvr
petsvr
tcpudp
node1
node2
keep alive report status
patchpatch
stat prop notify configlog
admin commandadmin
syncasync
服务交互流程TAF关键特性
• 开发便捷
• 容错容灾
• 支持set部署
• 业务特性路
• 户消息染色
• 调链分析
• 统理运营支撑台
• 指标监控告警 代码动生成
客户端 服务端
Jce 文件
jce2cpp 远程调——(远程调原简单)
业务步调
业务异步调
业务单调容错容灾——(减服务器网络影响) 1h5m
Client
svr
registry
stringToProxy(PetObj)
返回PetSvr IPPort列表
tcpudp
svr svr node
服务器挂掉基影响业务
Client
svr
tcpudp
svr svr
连续超时次数
超时率(client)
定时重试
降低网络波动带影响
IDC1
C1 S1 IDC3
C1
IDC2
C1 S1
减少跨IDC访问SET分组
A
B
100w线
AAAAA
BBBBB
500w线
50A
50B
5000w线
5000w线
5A1
5B1
5A2
5B2
5A3
5B3
…
缺点：
调关系等关系
放篮子里面鸡蛋
容量灰度分区域控制
缺点：
服务者应名称原服务
致配置文件发布服务需
单独统理 麻烦SET分组
A
B
100w线
AAAAA
BBBBB
500w线
5000w线 –set分组
5A
5B
5A
5B
5A
5B
…
SET部署优点：
1服务名统服务配置统理
2组单位容量容易控制
3组间没调关系干扰
4IDC分组细化webwap svr proxytaf_set_router(router)
0 0 1
int getGridByKey(String key)
user
根状态选择路
0 1 0
果routerrouter准
否已灰度值
0 00
UI Server
Logic Server
DB Server
1 状态1服务收状态0
消息时返回reset grid
2 服务端种状态时
忽略路值会透传
3 服务端逻辑业务启动
线程中时状态会丢失
特性路——(灰度策略)webwap svr
0 0 1
user
根状态选择路
0 1 0
taf_dye(queryInfo 88883245)
0 00
UI Server
Logic Server
DB Server
1 意条消息进行染色
2 染色key值业务指定
3 续调框架层动染色
4 染色消息集中log server
户消息染色——(踪户消息流)
dye log serverwebwaptafserver
S1 S2
user
A1 A2
入口消息采样
1 Key深度广度
2 采样率
3 树状结构
4 采样消息统stat服务
5 跨IDC调情况
B1 B3B2
调链分析——(合理部署架构优化)
stat
C1 C3C2
深度
广度调链分析——(清楚户请求)
查询否超Q
查询否绑定
查询关注友列表
查询友昵称
滤检查敏感字
获取关注友
户入口查询否超Q
查询否绑定
查询关注友列表
循环查询友昵称？
循环滤敏感字？
优化批量接口
解决调链长问题ᖌಷ௳מᯈᗝۓ✓ ӱ
✓ ᛔۖၥᦶ
✓ ӞᲫୗጱಘ਻
✓ ᯈᗝ෈կᖌಷ҅ᯈᗝ෈կԆۖpush
ᭆᛔਧԎ޸եݎ؊̵෭ᛗᒵᕆᦡᗝ҅ސۓ✓ ๐
૲ᓕቘݎ ✓
TAF 理台 httptafwsdcom指标统计监控——(嵌入式监控数说明切)
已采集指标包括：
调模块调模块调ip调ip调端口返回值
成功数超时数异常数处理时间处理时间
总处理时间服务调时间区间分布逻辑层解决问题
开发效率 网络通讯 容错容灾
协议发布部署监控告警
性 安全TAF
数工厂
日志集中
统配置
统发布
Registry1 Registry2 RegistryN 运维
Server1 Server2 ServerN
Node1
Server1 Server2 ServerN
NodeN
…
监控
TGW
CDN
CDB
CMEM
CFS
存储接入
MIG业务整体架构规模：
业务数：100+
服务数：6000+
节点数：4000+
进程数：20000+
调量：4P天
TAF
MIG业务整体架构手机QQ浏览器台架构
Login
Config
接入代理
StatIPInfo
Auth
c d b
Web运营
理台
帐号中心
步中心
消息中心
云U盘
LBS代理 插件服务Local Cache
分布式Cache台
文件系统 CFS
智预抓图片转换
核解析渲染服务
页面转换
部署
发布
配置
中心
日志
中心
监控
告警
容抽取
测速服务
网关线网络
1
2
3谢谢目标云存储建设思路
• 存DB文件三纬度造满足业
务需求
• 建立私云公云两种架构适应
业务
• 托模式运营云存储特点
• 高
• 高
• 高性
• 支持线迁移扩容
• 托运营
• 完善运营支撑系统
• 完善监控告警

《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档