基Hadoop某电视台智监台
摘
电视台着高清4K技术发展量视频数需存储备份理提供节目制作者进行检索载老技术台难已满足爆发式需求面逐渐增加数量越越严重网络安全问题够实现容灾容错目数保存理等技术必须搭建新播出理系统传统数备份理利单存储介质实现种方法实现较简单成较低缺乏较高安全性扩展性目前发展分布式技术够实现数分布式存储运算Hadoop技术属分布式技术代表具备分布式文件系统够充分节点资源具备副特性良扩展性安全性效率基数存储备份理安全性效率需求够通Hadoop技术实现数理搭建基分布式技术智监台文工作：调研hadoopMapReduce数处理机制原理结合虚拟机部署量终端二分析电视播出业务实际需求安全快速目标够提供数安全检索等功三分析数处理程中异常情况原老系统进行较观察性效率否提高
文设计智监台数备份程中具较高安全性统性整体性够恢复数分配资源程中具优先级实现数恢复操作传统系统基Hadoop技术智监台具较高效率安全性
关键词：Hadoop技术计算机网络网络安全理理系统
Abstract
TV stations with the development of highdefinition and 4K technology a large number of video data needs to be stored backed up managed and provided by program makers for retrieval and downloading the old technology platform has been difficult to meet the needs of explosive in the face of increasing data volume and increasingly serious network security problems can achieve disaster tolerance faulttolerant purposes data preservation Management and other technologies will have to build a new broadcast management system Traditional data backup and management are realized by using a single storage medium which is simple to implement and has low cost but lacks high security and extensibility At present the developed distributed technology can realize data distributed storage and operation Hadoop technology belongs to distributed technology representative it has distributed file system can fully use node resources with multireplica characteristics and good scalability security and efficiency Therefore based on the security and efficiency requirements of data storage backup and management we can realize data management through HADOOP technology and build an intelligent supervision platform based on distributed technology The main work of this paper is as follows first to investigate the large data processing mechanism and principle of Hadoop and MapReduce and to deploy a large number of terminals in combination with virtual machines The second is to analyze the actual needs of television broadcast business with the goal of safe and fast to provide data security retrieval and other functions Third analyze the abnormal situation in the data processing process and compare it with the old system to see if the performance and efficiency are improved
The intelligent supervision platform designed in this paper has high security unity and integrity in the process of data backup and can also recover data Prioritize in the allocation of resources and implement data recovery operations Compared with traditional systems the intelligent regulatory platform based on HADOOP technology has high efficiency and security
Keywords Hadoop technology computer network network security management management system
目录
摘 1
Abstract 2
第章 绪 5
11研究背景 5
12 研究现状 5
13 文工作 6
14研究容 6
第二章 关键技术分析 8
21 Hadoop云计算台 8
22 HDFS文件操作 8
23 HDFS身份认证技术 9
24 MapReduce介绍 10
25 Hive数库工具 11
26 Hbase开源数库 12
第三章 计算机网络安全理系统需求分析 14
31 项目概述 14
32 系统需求分析 15
321 系统功需求 15
322系统非功性需求 17
第四章 智监台设计 19
41系统功架构设计 19
42系统硬件结构设计 20
43系统功模块设计 21
431通信模块 21
432设备理模块 22
433事件处理模块 23
434安全评估模块 24
435数备份模块 26
44系统数备份设计 27
441户认证模块 28
442策略配置模块 29
443数备份模块 30
45系统数恢复设计 31
451身份认证模块 32
452数恢复策略配置模块 32
453数恢复模块 32
46次性口令身份认证设计 34
461符号标识 35
462注册程 35
463认证程 35
464修改口令程 36
465方案安全性 37
第五章 系统实现测试 38
51 系统功实现 38
511 通信模块实现 38
512 设备理模块实现 39
513 事件处理模块实现 40
514 安全评估模块实现 40
515 数备份模块实现 41
516 桌面虚拟化实现 42
52 系统测试 44
521 系统部分功测试 44
522 系统性测试 46
523安全评估 47
第六章 总结展 49
61 工作总结 49
62 研究展 49
参考文献 50
致谢 54
第章 绪
11研究背景
目前计算机网络技术发展较迅速已进入千家万户中成现代生活中尤重容规模计算机网络然够生活带方便成部分问题网络安全问题导致户数丢失账户密码盗等外然灾害等原会导致网络系统信息数丢失面天灾祸导致数信息丢失容灾技术备受重视数备份理技术容灾技术代表利某时间点数备份系统数丢失者破坏利数备份恢复系统般数备份概念较简单企业部门首选择灾备技术方案传统数备份利机存储介质者单化存储服务器实现种数备份特点廉价简单方便实现种传统数备份技术存部分安全隐患假存储介质者服务器破坏备份数会失效外规模数说单服务器存储介质方式存储介质容量严峻考验
某电视台技术播出部响应国家广电总局号召发展高清4K电视技术需进行设备技术方面更新包括高清化机房改造演播室高清化改造等高清节目素材播出产生量视频存储数前老播出理系统结构较单法应量数理工作数备份尤重数量断增加程中实现数存储备份理保证数致性安全性目前需考虑问题基Hadoop搭建智监台够解决问题够通分布式存储方式扩存储容量读写速度提高分布式文件系统HDFS特点需求较低简单容易属Hadoop结构核心Hadoop够配置较差价格较低计算机中部署Hadoop技术创建数存储备份模块系统数分布备份外设备中整级联系统设备存储空间够充分外利Hadoop中HDFS副特性够副放安全理设备中备份安全性进步提高
12 研究现状
国社会断发展程中企业数量断提高现代企业海量数存储处理越越重视目前国外研究员Hadoop云计算台备受重视技术广泛应网络领域中已公司部已创建万节点规模Hadoop集群产品进行支持广告优化选择反垃圾邮件系统数处理搜索排名等目前Yahoo深度研究HadoopFacebook属世界较著名社交网站中数处理量存储量较天添加TB压缩数扫描高性云台尤重Hadoop够效满足Facebook高性需求Facebook应数仓储日志处理推荐系统中国外科研院逐渐重视Hadoop研究越越高校逐渐加入Hadoop研究中康奈尔学加州学等
Hadoop广泛应国公司中百度提供社区搜索百度百科等搜素引擎作基础产品指定时间中实现数线分析处理台进行反馈求云计算台具良性实现处理Hadoop应百度中目存储日志统计网页中数充分挖掘实现数线反馈户网页聚类利1100台机器创建淘宝Hadoop总存储量位93PB云技术团队够优化Hadoop实现性化修改
学术研究方面国部分高校科研开始研究Hadoop容存储数优化性作业调度系统安全性资源理等中科院研究员分析HDFS数容灾文件问题制定纠删码作基础解决策华北电力学研究员智电网状态监测数特征基础设计实现基Hadoop台数存储系统设计
13 文工作
着高清4K技术发展量视频数需存储备份理提供节目制作者进行检索载老技术台难已满足爆发式需求必搭建分布式理系统文工作：
调研hadoopMapReduce数处理机制原理
二分析数理台系统需求安全快速目标够提供数安全检索等功
三分析数处理程中异常情况原老系统进行较观察性效率否提高
14研究容
文某电视台需求发展趋势提出Hadoop分布式技术智监台文研究容：
第章文研究背景研究现状进行分析总结国外相关工作
第二章系统设计关键技术进行分析
第三章系统设计非功性功性需求进行分析
第四章详细分析系统设计包括硬件模块设计
第五章设计系统进行实现测试
第六章文进行总结
第二章 关键技术分析
21 Hadoop云计算台
Hadoop源Apache Lucene子项目中Nutch2004年谷歌发表相关文Doug Cutting等开始重视MapReduce行计算框架研究结合NDFSMapReaduce支持Nutch引擎算法Apache顶级项目中融入hadoop应部分互联网公司中户Hadoop作基础实现分布式台创建进行分布式计算次户利Hadoop实现规模数应程序开发优势：
扩展性：计算机集群中Hadoop够实现数分配集群规模够实现节点扩展
性：Hadoop根位实现数存储数处理力够满足需求
高效性：Hadoop节点中实现数状态转移计算速度相较计算方式言更快
容错性：Hadoop完成副数保存失败务完成重新分配
Hadoop断发展程中中已具子项目集合然分布式文件系统HDFSMapReduce核心容中HbaseAvroCommon等子项目具重作具互补性服务者够核心层中提供更高层次服务
22 HDFS文件操作
Hadoop分布式文件系统（HDFS）属Hadoop核心容普通文件专门MapReduce种框架中规模分布式数处理设计够数集成单文件进行存储Hadoop够台机器中分布数副进行理编程员细节单文件编程进行考虑
HDFS具备容错性等特点够低廉硬件中部署MasterSlave架构中HDFS集群包括两节点分节点节点节点属控制服务器范畴功实现文件系统理维护
访问文件进行协调DataNode节点目实现实际数存储客户读写请求进行处理根NameNode命令实现数块创建删复制等操作利HDFS够文件理般操作包括目录文件添加文件删获取等操作具备相应命令行命令具专门提供编程JavaAPIHadoop文件API利抽象类FlieSystem实现文件系统交互利中种子类HDFS文件系统进行分处理般系统中HDFS应视频文件存储处理生成时文件中文件般64MB划分成数块数块够DataNode中存储
23 HDFS身份认证技术
HDFS文件系统全新Hadoop集群中缺乏户整体HDFS文件系统中根目录Hadoop超级户HDFS传文件时候HDFS会动根目录中创建文件夹文件夹中创建超级户名字进行命名文件夹假超级户名字superuserHDFS会创建usersuperuser文件夹superuser超级户中传输文件存储文件夹中新户HDFS文件系统时候超级户会新户HDFS中创建户身份程中操作两：超级户实现user目录中创建新户户名样文件夹文件夹权新户转移实现权限设置
超级HDFS中创建户户传文件会相应目录中存储户文件夹具全部权限够文件夹中实现文件夹文件创建默认事Hadoop利客户端操作系统客户端户身份户远程系统中远程客户端通名义创建名账户HDFS进行访问身份认证模式够应合作团队中够应互联网中然Hadoop中存认证机制法MapReduce进行计算中没KDC密钥分配中心求额外配置安装方便
利FileSystem类中方法HDFS数读取访问程中先FileSystem实例方法中user变量指FileSystem实例户user够利定义方法认证户user身份认证利述静态方法合法户够身FilSystem实例具足够权限HDFS实现文件操作访问
24 MapReduce介绍
图21
种常见编程模型应数集计算中概念Map（映射）Reduce（约）思想基函数编程语言发展原编程员分布式行编程语言编程方式熟悉情况提供效开发工具开发者设计程序分布式系统中予应前软件通制定Map函数组键值映射新键值通指定发Reduce函数保证映射键值享相键组图基原理
种面数行处理计算模型含义包含三方面：
1基集群高性计算台（Cluster Infrastructure）准许应次阿红肿商务服务器构成行计算集群
2运行软件框架具动化计算务处理功动划分计算数计算务集群节点中完成务分配计算结果动收集数行计算中涉复杂细节传递系统控模块进行处理种处理方式程度降低开发员工作强度3时种函数式程序设计思想提供种简单程序设计算法利两编程函数实现应复杂计算务相简单高效完成规模数编程处理
提供述功：
1数划分计算务调度：
系统处理数进行划分数块分应计算务时通系统计算节点调度完成相应数块处理工作作业务调度实现分配调度计算节点外完成节点运行状态监控
2数代码互定位：
减少数通信满足化数处理原计算节点言完磁盘分布数计算处理满足化数处理原时通寻找节点数网络传输该节点应机架寻找节点降低网络通信延迟时间提升系统响应效率
3系统优化：
降低数通信程中资源消耗数进入节点前会实现合处理节点处理数源Map节点防止计算时发生数相关Map节点输出中间结果时采合理策略完成划分保证相关性数发送节点外系统需进行计算性优化处理例慢计算务选择快完成者作结果进行处理
4出错检测恢复：
利商服务器构成规模计算集群中节点硬件出错性较言需检测完成出错节点隔离调度分配新节点完成出错节点计算务执行外系统配备备份冗余机制提升数储存程性完成出错数信息时检测恢复
25 Hive数库工具
基中数库仓库工具结构化数文件映射数库时提供数库查询功实现sql语句务相互转换运行该工具优点低成通数库语言实现统计需开发专工具适合实现数库统计分析基
构建技术构建提供系列工具完成数提取转化加载储存查询分析规模数简单类SQL查询语言进行定义称准许户实现数查询外语言准许熟悉开发者开发处理建完成复杂分析工作未建立专门数格式Thrift工作完成分隔符控制准许户指定格式数
种低层封装数仓库处理工具利数库语言瓦城数查询数均储存兼容文件系统中 完成数加载程中会数进行修改仅数移动HDFS中目录知支持数添加改写数均加载时确定设计特点
1支持创建索引实现数查询优化
2具备储存类型包含文文件中文件
3元数保存关系数库中减少数查询时执行语义检查时间
4储存文件系统中数信息
5置户函数数挖掘工具支持户扩展函数实现操作
6类SQL查询方式SQL 查询转换务集群中执行
26 Hbase开源数库
HBase分布式面列开源数库图22Hbase工作层面该技术源 撰写文：种结构化数分布式储存系统利文件系统提供数储存系统相具相似力子项目般关系数库间具定处适合非结构化数储存数库处模式未基列非基行
种高性伸缩分布式储存系统利技术科中完结构化储存集群搭建等商
产品相较言代码开源 利GFS作文件储存系统相类似利作文件存储系统运行中产生数信息进行处理样通处理中中产僧数信息利作协服务相应利作协服务 [1]
图描述中层系统中位结构化存储层提供储存技术支持提供高性数处理数计算力提供稳定服务机制
图22
仅提供高层语言支持完成数统计处理程十分简单 提供数导入功实现程更简单传统数库中实现数迁移更方便快捷
第三章 计算机网络安全理系统需求分析
图31
31 项目概述
传统播控中心通常采竖井式技术架构弹性扩展性差法根需进行计算存储等资源灵活动态分配媒体融合背景播出业务发展形成制约实现传统电视业务融合媒体业务转型电视台面新挑战图31已建成某广电总台播出分发台项目前电视台业务中四楼传统频道播出系统部分高清化改造技术部门整系统进行重新架构重新搭建容服务台智监台五楼高标清体化播出系统等江苏广电总台播出分发项目面全媒体扩展云架构基础率先采SDVN（软件定义视频网络）技术引入IP 矩阵建立传统基带+IP 总控传输分发台台搭建程中充分利数技术实现流程视化智监文现智监台部分展开讨
前电视台网络传统数备份通机存储介质者单化存储服务器实现导致网络出现部分安全隐患果网络中存储介质者服务器破坏备份数会失效外电视台种规模数说单服务器存储介质方式存储介质容量严峻考验
图32
文现代流需求发展趋势提出基Hadoop网络智安全监台系统基级网络安全理系统模型中添加数存储中心利Hadoop实现图32数存储中心够安全理域数进行存储级联安数性致性进行保证外系统务调度改进Hadoop集群公调度算法级安高级安务优先级进行保证通集群行计算力全部提交作业完成速度进行保证
32 系统需求分析
321 系统功需求
（1）理员理员通台模块实现设备监控理检索视频功：设备应进行监控设置监控设备接入系统理员手动操作实现设备实时监控视频分析监测预警容时候会动报警
图33 系统理员例图
（2）身份认证图33实现户注册登录视频文件理中求理员提供特殊权限具备理权限户登录够HDFS中传视频视频检索中视频检索操作会影响系统设置低权限户登录实现检索
（3）文件查理果户具理员权限够实现Hadoop分布式文件系统理传全新视频文件HDFS文件目录查等模块够提供视频数处理基存储服务Hadoop框架中核心容
(4)够快速部署虚拟机终端结合部门实际工作需求电视业务保证24时间断必须够快速部署虚拟机终端方便维护理图34虚拟机软件界面
图34虚拟机远程理图
322系统非功性需求
系统功需求满足表示实际业务需求全部满足基性安全性维护性扩展性全面考虑实现系统方案非功性需求设计范围交广结合智预警系统系统性易性安全性进行考虑
系统性：性关系着系统处理速度具较衡量标准系统发数响应时间资源率等基方面考虑系统设计户参操作时间够太长包括系统移动端操作等时间三秒Hadoop集群分布式存储数保证阶段中均衡存储提高资源率
性：性系统出现异常时候降低系统损失判断指标包括恢复力异常力容错力
易性：应角度基础户程中难易程度进行考虑易易易学等总体说求系统操作简单重点突出方便户快速寻找信息操作文设计系统界面较简单重操作信息突出操作惯满足般理户容易手操作
安全性：安全性指系统数安全性验证数访问需求实现没应功时候访问户数般系统通数库服务理业务数包括非关系数关系数库够降低通外方式访问数库率保证数安全性
第四章 智监台设计
41系统功架构设计
系统HDFS分布式文件系统作底层数处理利统客户端访问台效实现户存储户文件数维护理够利系统客户端实现户指定文件集群系统中传够实现文件载利系统台够户文件基操作实现创建文件删文件开文件等客户端通诺网络台统访问种统访问台HDFS分布式文件通信系统进行通信时候定义通信接口协议户通客户端操作底层数块实现利底层客户端HDFS通信连接程进行云存储服务供应商属云存储服务系统接口模型理员理云存储台充分发挥作云存储服务系统框架进行优化够提供云存储系统户接口开发云存储服务系统户现实需求更加接扩展高效安全存储服务实现图41计算机网络安全理系统41（a）计算机网络安全理系统架构41（b）计算机网络安全理系统软件流程
（a）计算机网络安全理系统结构
（b） 计算机网络安全理系统软件流程
图41 计算机网络安全理系统
通图41表示系统Hadoop分布式文件系统作基础云存储户操作访问客户端台相互结合户程中需磁盘中文件数存储进行掌握解
42系统硬件结构设计
计算机网络安全理系统硬件包括智分析仪中心服务器视频监控摄头理端PC机Android移动端计算集群通层次划分硬件接口成数应层采集分析层存储加工层图42系统硬件结构
图42 系统硬件结构
数采集分析层中具智功分析仪视频监控摄头系统信息源监控设备设防背景会实时视频智分析仪发送智分析仪视频容进行分析程中果遇安全容会报警
系统核心数存储加工层硬盘录机中心服务器计算集群应层录指令进行发送时硬盘录机会出实时视频录进行保存录结束媒体服务器计算集群发送视频录媒体服务器够提录访问接口移动端视频播放数源数服务器实现全新预警信息生成程中触发发送短信推送消息指令
数应层基系统户包括PC理端Android移动端PC端够监控设备进行接入够实现设防登录录相应数检索传图片移动端会定期接收服务器发送信息短信实现预警视频播放监控实时查
43系统功模块设计
431通信模块
通信模块安全理系统神安全设备通模块够服务器报事件状态通信设备设计程中满足需求：首先固定端口进行实时监控安全设备报相应安全信息进行接收次实现通信协议兼容然级联关系网络安全理系统相互通信时相应理信息发送安全设备中
述需求满足种通信协议完成封装全部协议通ICE进行实现图模块构成
图43 通信模块构成
该模块事件模块安全设备报安全状态事件设备理模块够实现理命令发种操作具备操作控制反馈结构方便理员者程序判断开始接操作通信模块仅够封装底层通信细节够封装通信协议
充分程中便捷性进行考虑通信模块进行设计时通面象方式实现通信模块功系统者需考虑细节部分根约定面象接口行方便扩展通信模块够模块封装通信模块提供程序绑定端口注册处理例程等功通通信模块完成客户端程序创建发送业务请求信息实现业务处理结果接收等功图44通信模块功
图44 通信模块功
432设备理模块
文中网络安全理系统操作安全理设备作基础图45实现高兼容性完善功简单理安全设备理模块具重作文系统理中安全设备包括流市场中安全设备种类类：补丁理类防火墙类防病毒类入侵检测类漏洞扫描类接入认证类体化防护网闸类机安全理监控类数备份类基安全设备理模块操作设备删添加基础结合设备理信息策略完成资源配置系统确定接口安全设备级信设备安全机未知设备理设备理
图45
433事件处理模块
时间处理模块指户带体验模块基通信模块划分成事件预处理事件入库页面展现三部分
事件收集包括两种种动报安全设备安全设备理事件二服务器评估出现包含设备离线异常利服务器进行判断完成安全理模块设计程中包括十种安全设备网络安系统身事件相互结合具十种事件事件中根事件容划分成风险事件理日志事件登录事件设备离线者异常事件策略违规空策略事件设备基信息实时信息事件通事件收集信息定进行判断信息剔
事件处理流程高级安全服务器中添加事件格式转换部分报事件利定格式文件中报hadoop集群中定时传图46具体处理流程
434安全评估模块
安全评估模块安全系统整体核心够系统安全性进行判断系统通定性定量分析相结合方法系统中安全设备相互结合利种规网络情况局域网中安全事件利系统原始数检查基础包括登录理状态等事件利通信中间件ICE服务器够中安全事件该系统利事件完成网络状况分析相应结果结果呈现客户安全评估设备运行情况否部署设备安全事件信息安全素进行判断图47安全评估容
图47 安全评估容
设计程中充分考虑程序控制工进行实现安全评估包括工检查程序检查利服务器者理员发起安全评估通hadoop中mapreduce够安全评估流程进行实现级联安全理中通hadoop调度算法予改进安全评估务充分展现文系统设计重点系统中安全评估特点包含述方面：
计算量利传统业务处理方式花费十分钟计算时间
二部分定时发送般天午五点实现日安全检查周周五午六点实现周安全评估月28号晚八点实现月安全评估等
三完成计算结果理员进行呈现行需实时展现
四高级网络安全理系统进行安全检查程中部分包括级联关系倍安全检查高级系统结果求低级联关系系统进行理基级系统进行分析
综合述结果知该系统通利改进调度算法系统中基户划分提交作业级户 提交作业级较相应会降低二级三级户 级时候作业优先级明确指定代表作业重程度基想高级作业执行时级低级完成作业提交占资源
高级作业独占集群资源保证低级作业运行程中提交高级作业够抢占资源保证高级作业时够快速响应
公调度器属实现Hadoop集群资源享务调度器仅具备支持缺额调度层次调度功时实现资源抢占作业调度策略队列够支持FIFO公调度两种调度方式作业优先级改变完成作业调度控制利现代公调度算法高级作业会抢占时会高级作业进度导致拖延目前调度算法实现作业优先级资源抢占改进新提价作业中次获取时间前时间相差Tmin该作业没minShare量资源时调度器时调度器动终止中前制定务果作业获半时间目前时间差值高次作业中完成未资源时调度器动终止中前制定务改进型算法中优先级够实现资源分配排序够资源抢占进行控制
假系统级够实现安全评估命令提交通已改进调度算法实现案系统务实现便低级安系统中评估务执行中提交高级务够保证短时间完成高级安全评估低级安全评估会受影响
435数备份模块
数备份模块够数完整性致性进行保证容灾基础服务器中数整体理系统者系统户说较重图48电视工作业务流程
图48
hadoop技术实现安装数致化结合数备份功实现系统数存储中心创建图49数模块功
图49 数模块功
通图49出数备份模块包括Hadoop集群备份功安备份接口两部分中安备份接口实现数整合数信息包含属两部分：首先级联安信息备份全新级网络安全理系统整体级联网络添加时候会初始化出唯服务器标识符网络安全理域唯标识符信息服务器基信息高级网络安全理系统职工擦混熟服务器IPMAC通服务器部分信息Hadoop集群中传信息保存性稳定性进行保证目前级网络安全理系统服务器出现意外情况进引发重装中高级Hadoop集群信息唯信息次整体网区域中发生数备份出现应安全事件时候通格式转换指定文件中保存文件会文件信息Hadoop集群中定时传设置Hadoop集群法实现户写入全部写入操作够通级安户实现数完整性致性进行保证全部写入操作够通级安户实现数性完整性致性进行保证集群中够事先文件写入理读取操作
44系统数备份设计
图410系统数备份流程通图410出系统数备份功：首先实现身份认证数备份系统数副进行备份会产生定量数属整体安级联系统级操作般级操作员没实现项操作权限特殊系统理员够实现数备份操作仅避免明真相操作员出现误操作非正确情况中数备份性降低够安全性提高避免攻击者低安全级操作员账号备份盗取够避免攻击者利操作员权限备份文件盗取
实现身份认证实现备份配置配置策略模块数备份策略包括完全备份增量备份差异备份系统理员够实际情况选择种备份外仅具基备份策略系统理员够修改备份副数量数块
实现策略配置实现数备份模块模块系统核心利文件整合网络传输等操作级联结构需备份数文件级联结构HDFS网络中写入操作占量带宽级安系统中进程启动CPU资源存资源进行分配然够安服务器运行性暂时降低会功正常进行保证实现备份会级联安服务器发送系统消息表示完成级联结构备份
图410 系统数备份流程
441户认证模块
户认证模块进入系统基础数备份功说整体系统级联结构功般操作员没种操作权限权限赋予高级系统理员中网络安理系统中操作员安全理员角色突简单说账号仅具备操作员权限具备系统理员权限通网络安全理监察系统中权限控制系统实现数备份功身份认证策略制定图411户认证模块流程
图411 户认证模块流程
根图411表示具备系统理员权限账号够利系统理员角色网络安全理台登录数备份功操作接口进入操作接口实现数备份策略配置然实现整体级联系统数备份没系统理员权限员者具备系统理员权限操作员角色登录网络安全理监察系统员够隐藏数备份操作接口
外实现数备份操作接口页面处理利手段进入功前事先身份验证满足条件功员够开界面果员符合条件会返回失败信息
442策略配置模块
户通身份认证够进入数备份策略配置模块中模块目配置数备份操作参数中部分参数HDFS系统配置文件中字段参数具密切关系具体参数配置：
数备份策略参数模块中尤重决定数备份种备份方式实现操作备份策略包括完全增量差异三种备份备份策略具点指定场合中目前方案首次备份够完全备份方式实现两种备份文件生成安级联结构HDFS网络中存储首次数备份操作够利三种数备份策略中种次备份策略数备份模块会实际情况处理
二数备份分块参数选选项HDFS系统需求数块默认64MB实际操作中够改变HDFS中充分考虑降低存消耗硬盘寻道时间三种选择64MB128MB256MB
三定时备份方式时间节约系统理员工作量系统数备份操作进行规范户提供定备份功系统利定时分配够指定时间中备份完全备份提高差异备份增量备份没通数备份级联结构法实现定时备份操作
四数备份副数目满足数安全需求数性提高实现容灾容错目HDFS系统中具副策略容般HDFS会文件生成副副放置相DataNode中副DataNode中放置利备份副数目设置操作员够选择满足系统情况副数量实现数备份
443数备份模块
确认数备份配置顶级安NameNode实现数备份图412数备份模块流程
图412 数备份模块流程
通图412表示相应数备份策略数备份模块操作相：
完全备份指全部备份级联结构系统数检查否首次备份假首次备份次完全备份产生数进行删实现完全备份完全备份操作实现三份备份生成相互独立份备份数中具副利三份备份够保证差异备份增量备份会出现突
二增量备份增量备份指次备份说备份方式种备份方式备份数次备份改变数假系统理员选择种备份方式根时间寻找备份实现操作假成功增量备份份备份副实现备份操作假失败利份备份副原实现错误信息返回
三差异备份差异备份指次完全备份说备份方式种备份方式数次完全备份改变数假系统理员种备份方式寻找次完全备份实现操作简单说增量备份改变备份进行忽略假成功备份次实现备份副操作假失败原份备份副返回错误信息
种备份产生数整体级联结构非顶级安服务器中分布成功备份理员返回成功信息
45系统数恢复设计
某种素安级联系统数造成损坏利备份数鞥够恢复数降低损失实现容灾容错目传统数恢复直接级安服务器中备份数恢复备份数会恢复效果造成限制恢复系统会安级联结构匹配需量时间工实现手工调试系统安全安级联系统相互结合基Hadoop数备份系统数恢复功根整体级联结构实现备份备份数恢复应某案系统安系统整体级联结构中融入图413数恢复流程通413表示数恢复备份结构相似求身份认证配置数恢复策略够直接数恢复中
图413 数恢复流程
451身份认证模块
模块数备份身份认证模块类似面系统理身份登录系统理员操作恢复数某网络安全理监察系统服务器存定影响包括整体安级联结构重视身份认证利身份认证够避免低级操作员意系统攻击者恢复破坏级联服务器图412身份认证模块流程
图414 身份认证模块流程
452数恢复策略配置模块
模块目数恢复选项提供户解户需求数恢复模块传递操作数恢复策略配置够户提供接口：
制定数备份恢复利安级联系统实现数备份恢复安级联系统通次完全备份系统已完全备份结果三份备份基数备份实现增量备份差异备份操作够系统理员选择三份备份中意数实现恢复
二数恢复安台包括两种情况首先顶级安够选择整体安级联系统中意台者台实现数恢复次非顶级安够通知发送顶级安方式实现数恢复操作
453数恢复模块
系统理员选择数恢复模块模块实现数恢复图415数恢复模块流程
图415 数恢复模块流程
通流程图表示实现恢复前系统增量备份实现数回滚然寻找户指定数备份文件户选择安台寻找DataNode中相应文件位置利Map函数DataNode中部署数取出利Reduce函数实现汇拢出安系统数备份文件利网络传输实现传输然实现数恢复假户安台实现数恢复中会具优先级问题NameNode够保证全部操作堵塞资源高优先级安系统进行分配般资源量高级安系统进行分配种方法优势高级安系统具更级安级联具较部结构数较求更资源实现求改进Hadoop公调度算法
优先级需求说已具改进公调度算法利Tmin者Tshare时长分配Jnew资源足时候会寻找秋天pool中运行作业JselectedJselectedJnew间优先级关系假Jselected优先级Jnew优先级会Jselected杀掉资源Jnew分配相反TshareTmin作目前时间进行操作种算法具定问题产生优先级作业阻塞提出全新高优先级作业pool中优先级作业Jselected杀掉抢占资源会Jselected够完成高优先级作业够继续进行假Jnew长时间够实现Jeslected需少量资源够实现基中改进算法Jselected够Jnew实现够继续运行浪费量时间假Jnew较整体Hadoop集群资源会中集中低优先级作业法工作提出改进调度算法基公满足高优先级作业处理需求：
首先优先级务相应pool中规定提出作业时利代表资源满足实际需求找寻中作业：
中时中作前时间完成修改进实现标记完成操作次中实现额外资源寻找时会选择标记
二>中前时间时中中资源降低r*weight降低资源Jnew进行分配
全新务Jnew提出段时间果资源法满足需求寻找pool中运行
优先级进行优先级高需资源占情况予考观察资源占低中权重系数代表作业资源较低够继续运行抢夺pool中资源通段时间Jnew会继续寻找Jselected资源通观察表示中权重系数需抢夺资源利方法仅够全部作业运行够分配高优先级作业资源通合理调度算法级安系统中实现数恢复保证系统正常稳定运行外利量资源完成集中操作数恢复出现问题死前增量备份结果实现回滚系统理员返回错误信息数恢复正常系统理员会收成功信息相应安设备进行重启
46次性口令身份认证设计
够利数字证书口令等方法认证户use身份通认证合法户够具身FileSystem实例具备HDFS访问权限数库中创建HDFS户名户信息记录利口令认证方式认证户身份户认证成功HDFS中合法户充分考虑静态口令身份会窃听容易受字典攻击重放攻击等问题次性口令身份认证认证安全性较高容易实施设计次性口令身份认证方案
461符号标识
方便描述方案约定符号含义：
U指户端
S指服务器端
A→B指AB发送消息
pwd指户口令uid指户身份标识
Ps指服务器公钥ds指服务器私钥
Pu指户公钥du指服务器私钥
Ps（M）指利公钥实现消息加密
Pu（M）指利公钥实现消息加密
ds（M）指利私钥实现消息解密
du（M）指利私钥实现消息解密密
H（M）指消息M实现Hash运算
462注册程
认证方案户注册程：
利安全信道户请求进行注册户服务器公钥Ps户端口令pwduid进行输入功服务器公钥Psuid进行加密服务器中传输
二服务器接收身私钥ds解密够出uid数库中uid否相进行监测果相求户重新全新uid输入然执行步
三户利系统生成身公钥私钥PuDu私钥dU安全保存服务器Pu公开外户端够产生机数R1进行计算AR1服务器公钥Ps实现加密服务器Ps（AR1）进行传输
四服务器接收PS（AR1）利私钥ds解密出AR1相应uid进行保存认证时候进行结束户注册
463认证程
假户第i次认证服务器端存储认证数机数Ri认证程：
1 U→SPs(uidRi+1)
2 S→UPu（MRiRTi）
3 U→SH(pwdRi+1)H(pwdRi)RTj
4 S→USuccess者Faliure
第步中户端实现pwduid输出够产生机数Ri+1uidRi+1服务器公钥Rs实现加密服务器Ps(uidRi+1)进行传输
第二步中服务器私钥ds解密接收Ps(uidRi+1)够出uidRi+1数库中否uid进行验证果没表示uid合法次认证请求失败果存表示uid合法MH（uidRi+1）进行计算够机数RTiRi取出传输户Pu（MRiRTi）中
第三步中户利私钥duPu（MRiRTi）进行解密够出MRiRTiuid机数Ri+1H(pwdRi+1)进行计算M假两者相等表示服务器合法会话终止果星等BH(pwdRi+1)QNRTiNH（pwdRi）进行计算BQ服务器中传输
第四步中服务器会接收BQ然QRTi实现异运算N提取提取保存AAN假两者相等表示户合法户实现Failure消息发送次身份认证失败然表示户合法发送户Success消息服务器存户验证信息A机数Ri进行更新功B换ARi+1换Ri表示户够成功认证
464修改口令程
假设户前口令pwd新口令ped1口令修改前服务器端中认证数机数Ri口令修改程：
1：U→S口令修改请求
2 S→UPu（RiRWi）
3 U→SPs（EDRi+1）
4 S→USuccess者Faliure
第步中户服务器发送口令修改请求
第二步中服务器存储机数Ri取出够产生RWi传送户PU（RiRWi）中
第三步中户私钥dUPu（RiRWi）进行解密够出RiRWi产生Ri+1机数CH（pwdRi）FPs（EDRi+1）ECRWiDH（pwd1Ri+1）F服务器传输
第四步中服务器私钥dsF进行解密够出ERi+1DERWi实现异运算够出C存储中CA进行假相表示合法户密码修改Failure消息户发送次修改操作进行取消假相Sucess消息户发送D换成存储ARi+1换成存储Ri成功修改口令
465方案安全性
安全性属身份认证方案需充分考虑问题利形式化分析方法分析设计方案表示方案安全性身份认证方案实现述安全性：
方案中户认证程中会产生机数RTiRi+1保证次认证传输数认证口令便攻击者数截获法重放攻击
二假入侵者充服务器S服务器身具备私钥没传输网络专供Ri+1变化充者法通客户端H（uidRi+1）验证充者具价值信息假入侵者充户Uuid没网络中明文传输充者解uid法利服务器实现初步认证便充者Ps（uidRi+1）进行截获通初步认证没户私钥法信息进行解密计算法实现服务器步认证反感够抵御充攻击
三方案够效实现双认证服务器端利uid中否存QRiA否相等进行查询客户端进行认证客户端利H（uidRi+1）M否相等服务器端进行认证
四方案没认证序列值Hash运算反复迭代够数攻击进行抵抗
五整体认证中网络中没传输明文信息便进行传输程中截获信息会存信息泄露入侵者知道户身份表示uid
第五章 系统实现测试
51 系统功实现
511 通信模块实现
文设计智监台中通信模块利Icc中间件予实现该部分供实现十倍系统系统服务器间通讯全部通信类着虚类完成保证业务执行函数定义虚函数基通模块完成业务执行函数重写基重写通信模块具体通信功通信模块步通信模式提供模块者实现代码：
private void startconn_Click(object sender EventArgs e)
{
socketWatch new Socket(AddressFamilyInterNetwork SocketTypeStream ProtocolTypeTcp)
IPAddress ipaddress IPAddressParse(localipTextTrim())
IPEndPoint endpoint new IPEndPoint(ipaddress intParse(porttextTextTrim()))
socketWatchBind(endpoint)
socketWatchListen(10)
threadWatch new Thread(WatchingConn)
threadWatchIsBackground true
threadWatchStart()
thisInvoke(new Action(() >
{
recmsgAppendText(开始通信 + ＼r＼n)
}
))
}
服务器中存中间进程icebox目接收全部调接口发送服务器信息利registerTopic函数良信息需丢弃信息进行区分验证接收信息性icebox会信息事件中事件处理模块进程nsmeventd够处理安全事件nsmsd够时判断安全设备状态显示页面中
512 设备理模块实现
文设计智监台中设备理器模块实现相言十分简单系统求设备理器具良兼容性具体实现程中完成封装理基类具备设备添加理功功较单设备理模块实现父类理功调复杂设备设备理功进行集成全部设备类均父类进行集成通父类设备处理函数实现父类继承利父类设备实现流程简化时保持致性两级安系统处位置时会特殊场合某需求求台设备时利重定设备功程中没反复初始化设备标示外保证系统中安全设备相互独立关系设备理模块代码：
This function will perform a variety of control functions on devices
param dev the pointer of device driver structure
param cmd the command sent to device
param arg the argument of command
@return the result
rt_err_t rt_device_control(rt_device_t dev rt_uint8_t cmd void *arg)
{
RT_ASSERT(dev RT_NULL)
* call device write interface *
if (dev>control RT_NULL)
{
return dev>control(dev cmd arg)
}
return RT_EOK
}
513 事件处理模块实现
系统中安全理设备包括十种设备厂家产品型号相系统实现种安全设备事件规范制定设计事件模块安全事件具身规范安全设备划分两种容事件安全设备理系统接入前需通接口约定时限开发进入系统相应规范实现设备信息发送
外时间处理模块中安全设备状态较特殊文系统中均定时通安全事件方式进行报安全设备基信息相互独立中包含特殊信息需予标注说明安全设备信息事件起报通nsmsd核心函数合法性进行判断包括：
状态信息否完整指否全部信息正确报部分非空字段果确实丢失状态
二否通正常设备完成状态信息发送该部分通HandleIPConfice函数实现函数够状态中唯标识符通存数库设备基信息进行读取报基信息果macip信息符需实现设备状态转移进行操作够完整信息假满足两条件会转相应安全设备模块处理函数中实现步容
514 安全评估模块实现
安全评估目网络中否具安全隐患进行判断理安全设备局域网中工作机器具密切关系原重复性次递减例防火墙检查规包含容：
防火墙工作状态进行检查首先运行状态进行检测判断防火墙体化安全防护设备否定方式完成部署需需求进行部署认防火墙状态满分否认定零分
二防火墙旁路进行检查设备边界访问控制模块网络接口状态外网交换网络数包进行检查判断否旁路24h未发生旁路告警项目认定满分规定时间发生旁路告警认定零分
三理员口令检查否缺省进行检查已更改口令项目认定满分未更改认定零分
述防火墙安全检查中继承两类实现两函数函数功安全检查计划分析安全理域情况文件容通日期作单位实现map函数结果安天记录日独立函数操作函数输出安全检查周期计划等实现重新整合利完成页面读取
515 数备份模块实现
数备份模块属系统数备份程中运行部分执行台程序接受数备份策略传递信息实现数备份操作首先实现级身数备份操作利数备份代码表示利HDFS带API安HDFS中写入文件操作配置信息部分通数备份策略页面HDFS默认系统配置实现代码：
public bool BackUPDB(string strDbName string strFileName)
{
SQLDMOSQLServer svr new SQLDMOSQLServerClass()
try
{
svrConnect(ServerName UserName Password)
SQLDMOBackup bak new SQLDMOBackupClass()
bakAction SQLDMOSQLDMO_BACKUP_TYPESQLDMOBackup_Database
bakInitialize true
bakFiles strFileName
bakDatabase strDbName
bakSQLBackup(svr)
return true
}
if (saveFileDialogShowDialog() DialogResultOK)
{
if (smBackUPDB(数名称 saveFileDialogFileName))
{
MessageBoxShow(数备份成功 提示 MessageBoxButtonsOK)
}
}
完成备份相应目录中容删利网络传输顶级安根次数实现级安身发送xml报文级安实现网络传输工作通知备份安系统顶级安会作NameNode身文件映射表进行更新直全网完成备份全网备份完成机会动调方法系统消息数库写入信息完成备份假出现传输失败情况安系统记录跳全部安系统完成备份重新发送命令字果失败发送系统消息表示网络原导致安备份失败通系统理员进行处理
516 桌面虚拟化实现
摸拟桌面协议发送终端设备终端设备通接收该协议容获传统PC机相体验户登录虚拟机需输入正确口令信息时完成桌面系统访问系统操作指令通网络传送服务器实现相应运算处理时利桌面远程协议桌面视图终端中予显示交互图
图51虚拟桌面系统信息交互
（1）虚拟化桌面服务器端虚拟桌面系统服务器桌面分发理等部分组成虚拟化桌面服务器端功包含实现数储存系统托虚拟桌面分发理等等（2）户接收服务器端托工具运行环境求较低传统计算机中运行移动终端中运行总体言通服务器储存等加虚拟化套件结构服务器端实现服务器端资源托系统理员说户具体需求服务器端完成资源高效配置户获取更户 体验服务器端资源更合理利
台搭建时规划服务器虚拟化作基础服务器提供计算力设计基业务力统计结果知：两种业务类型计算量分布全天时间段编单业务播出整备业务计算量峰值未出现叠加计算量峰值言前者明显者根述分析结果知者节目单编排相虚拟化环境中进行部署部署虚拟化桌面需瘦客户机网络等资源投入原工控机换代投入确定利虚拟化技术完成基础台搭建需相虚拟化硬件配置服务器桌面虚拟化通实际调研结果发现VMware 虚拟化解决述问题合适方案需VMware vSphere 服务器虚拟化环境配置VMware Horizon View服务实现服务器桌面虚拟化部署图52虚拟机配置规划
图52虚拟机配置规划
图示虚拟机配置计划虚拟化部署时计算力求基实现设备采购次采购8台虚拟化机2 套 作存储系统2 台博科6505光纤交换机作SAN 存储4台思科3750 万兆交换机实现VLAN划分作理外服务交换器台思科3750 万兆交换机部署办公区
设备房子楼层提升系统整体安全性完成系统部署时设备均分布两楼层进行部署通光纤等进行互联采虚拟机配置两口分光纤交换机连接进实现两台SAN 享存储连接配置千兆太网口84 口组接入交换机外接入交换机外服务接口引出路办公区设备相连虚拟化桌面瘦客户机连接入交换机虚拟化桌面理系统中新建名智监台手动桌面池桌面池中配置相应桌面模板完成桌面模板配置应编单虚拟机虚拟桌面分配相互 独立账户户通分配户名密码实现虚拟化桌面操作系统配置系统配置HP 零终端作访问虚拟化桌面客户机优势体现利极简零终端操作系统完成相关协议运行具安全性高启动速度快等诸优势外该终端带扬声器实现音频监听系统配置USB 接口外设连接种接口连接形式程度系统带定安全风险通HP 零终端产品进行进步研究发现通工程模式配置USB 设备接入执行相应线网络设备策略
52 系统测试
521 系统部分功测试
（1）文件导入测试该测试额目数导入容正确性否通压缩格式完成文件储存利三文件写入文件压缩格式写入Hadoop中表51数写入测试
表51 数写入测试
测试务
Hadoop数写入
输入项
日志数文件
前置条件
Hadoop集群启动
测试步骤
生成三日志文件
写入集群文件机载
作源三日志文件合成文件
实现载日志排序
排序合日志
启动三日志写入进程实现日志写入
通vimdiff两份日志
预期结果
原始文件导入载文件样
测试结果
预期结果相符
（2）数处理测试数处理测试时首先两份测试数作日志输入方便结果验证准备简单数图51测试数1中包括三条数数实现分割条数中具五字段日志命名pv图52第二份测试数中具三条数实现数分割条数具三字段日志命名成click
图51 测试数1
图52 测试数2
定义日志解析器分隔符进行解析命名测试数1中字段成AE测试数2中字段名定义成ac框架具数处理运行意义框架测试数处理务测试实现通数报表实现测试图53数报表需求第列属需求名称第二列第三列分源日志计算输出结果第四列需求计算类型第五列指计算字段名表52数报表生成测试测试够队动配置文件进行运行实现务成插件部署运行环境中否生成配置文件进行验证
表52 数报表生成测试
测试务
生成数报表
前置条件
Hadoop集群启动
输入项
日志数文件数报表需求
测试步骤
输入务脚务配置文件
AE作字段名pv日志解析器配置
允许click处理务
ac作字段名click日志解析器配置
允许pv处理务
允许uv处理务
实现机载
预期结果
计算结果包括两条数：
测试结果
预期相
522 系统性测试
系统集群配置利数量实现系统测试单机性实验环境Intel I3处理器
CPU频3GHz
硬盘500G
存4GB
Hadoop集群通三台种计算机构成单机服务器通台种计算机构成利两种台中服务器创建索引时间性进行测试精准结果通次试验均值实现图51系统性测试结果
图51 系统性测试结果
通图51出数量较少时候Hadoop集群数处理速度没单机快Hadoop分布式特性决定假数量较少Hadoop法身优势充分发挥出数量断增加程中Hadoop性优势会更加明显通图51表示数量断增加程中Hadoop台中数处理时间没增加单机处理数时间断增加通实验表示基Hadoop台系统量文档数处理程中优势较明显
523安全评估
现集群中级安发起命令完成时间进行测试详见表53：
表53 作业优先级独占集群完成时间
名称
优先级
独占集群作业完成时间
测试1：级评估提交间隔5s提交序分级二级三级结果详见表54：
表54 先提交高级作业测试结果
名称
原公调度算法中完成时间
改进完成时间
测试2：级评估提交间隔5s提交序分二级级三级结果详见表55：
表55 先提交中级作业测试结果
名称
原公调度算法中完成时间
改进完成时间
测试3：级评估提交间隔5s提交序分三级级二级结果详见表55：
表55 先提交低级作业测试结果
名称
原公调度算法中完成时间
改进完成时间
根述结果知级安全评估作业类型间显著差异通公调查结果表示作业完成时间作业提交先序相关表示文系统数存储中心通改进公调度方法保证级安系统发起评估实现快速作业二级三级安系统优先级降低
第六章 总结展
61 工作总结
文工作：调研hadoopMapReduce数处理机制原理结合虚拟机部署量终端二分析电视播出业务实际需求安全快速目标够提供数安全检索等功三分析数处理程中异常情况原老系统进行较观察性效率否提高
文设计智监台数备份程中具较高安全性统性整体性够恢复数分配资源程中具优先级实现数恢复操作传统系统基Hadoop技术智监台具较高效率安全性
文结合hadoop技术特点某电视台实际需求通搭建系统实现基Hadoop某电视台智监台前计算机理系统已技术发展存储理力远远新求应Hadoop分布式技术简单性安全性较高文设计程中通改进Hadoop算法避免出现性瓶颈通改进够HDFS系统满足安全级联系统分布广泛设备繁琐较问题设计数备份恢复功分子模块出相应实现方法代码文件分配整体HDFS系统中Hadoop系统APIHDFS系统中取出相应文件实现数恢复总体说通研究Hadoop技术结合数备份需求设计智监台够满足实际需求
62 研究展
研究中安级联系统作树结构通树子节点构成子树结构够通顶级安子树节点实现数备份恢复操作通整体安级联结构顶级安实现外系统顶级安较赖果顶级安出现问题整系统法实现双机热备机方法实现数备份降低系统顶级安赖
参考文献
[1] 肖庆松 基Hadoop网络取证分析系统设计实现[D] 山东师范学 2015
[2] 张柳 云环境网络告警理系统设计[D] 南京邮电学 2015
[3] 刘芬 廖荣涛 余铮 Hadoop线网络日志分析系统设计[J] 电子技术软件工程 2017(22)30
[4] 付伟 基HadoopWeb日志分析台设计实现[D] 北京邮电学 2015
[5] 辛跃华 基Hadoop云端安全存储系统研究设计[J] 科教文汇 2016(28)
[6] 裴浩 数背景高职计算机网络专业课程体系改革研究[J] 物联网技术 2016(12)
[7] Zhang Haishan Research and Design of Video Surveillance system based on Cloud Storage [D] Wuhan Institute of Post and Telecommunications Sciences 2015
[8] 莫加亮 基Hadoop技术电信数分析台设计分析[J] 网络安全技术应 2017(6)
[9] 张俊杰 基Hadoop电子文件分类系统设计实现[D] 东南学 2016
[10] 卞涛 罗泽 马永征 基Hadoop分布式视频处理[J] 科研信息化技术应 2016(4)
[11] 杨丕仁 基Hadoop利Hive进行网络日志存储分析[J] 电子技术软件工程 2017(2)163165
[12] 丁文涛 基Hadoop脸识系统研究设计[D] 江苏科技学 2017
[13] 潘乔 电网监控系统设计运行[J] 中国新技术新产品 2015(17)33
[14] Zhang Yingying Research and implementation of secure cloud storage file system based on SSH framework[D] Xi ＇an University of Technology 2016
[15] 王伟 廖正宇 张辉 et al 基数铁路信号系统数存储分析系统设计实现[J] 信息网络安全 2017(1)
[16] 郭凯振 基Hadoop分布式计算系统设计实现[D] 连海事学 2015
[17] 陈卓 王春 佳伟 基公钥基础设施Hadoop安全机制设计[J] 计算机测量控制 2016 24(4)
[18] 李晨 杨子江 朱世伟 et al 基Hadoop网络舆情监控台设计实现[J] 计算机技术发展 2016(2)144149
[19] Mr Wang Design and implementation of cloud computing education resource sharing platform based on Hadoop [D] Inner Mongolia University 2015
[20] 卢厅 基Hadoop业务程模型理方法研究[D] 湖南科技学 2015
[21] 文燕 基Hadoop农业数理台设计[J] 计算机系统应 2017(5)
[22] 龚志霖 孙麒 基Hadoop线考试系统设计研究[J] 工业控制计算机 2016 29(7)133134
[23] 陈志华 基 Hadoop 神网络算法网络学评价中应研究[J] 计算机数字工程 2016(2)
[24] 崔岩 基Hadoop舌部图预处理时间研究[J] 计算机时代 2016(11)5456
[25] 段军红 张东 史庆华 基Hadoop海量数存储台设计开发[J] 电子技术软件工程 2017(16)162162
[26] Yuan Yaxin Design and implementation of Yunping platform based on Hadoop traffic information parallel processing [D] University of Electronic Science and Technology 2015
[27] 尹飞 高东 石建峰 et al 基Hadoop分布式网仿真台设计[J] 计算机应化学 2016 33(6)
[28] 杨利娟 基Hadoop云台数挖掘技术天气数应研究[D] 北京邮电学 2015
[29] 李莉 基云计算台Hadoop行kmeans聚类算法设计研究[J] 网络安全技术应 2017(12)4950
[30] 姚银锋 基Hadoop应视化研究实现[D] 北京邮电学 2015
[31] 文婷 刘健 袁庆升 et al 支持Hadoop数访问pNFS框架研究实现[J] 计算机应研究 2016 33(11)33403344
[32] Zhang Jin Research on Web crawler Technology based on Hadoop platform [D] Nanjing University of posts and Telecommunications 2017
[33] 袁胜 基Hadoop心肌缺血辅助诊断工作站设计实现[D] 华南理工学 2016
[34] 郑艳霞 基云计算视频监控系统设计[D] 成理工学 2015
[35] 陈娟 基Hadoop网购物系统算法分析实现[D] 江西农业学 2015
[36] 秦东霞 韦家骥 齐迎春 基Hadoop云台设计实现[J] 智计算机应 2016 6(4)3234
[37] 张传勇 基hadoop影视碎片云存储设计实现[D] 山东学 2015
[38] 杜娟 基Hadoop视频云转码系统研究设计[D] 南京邮电学 2017
[39] 李英 Hadoop保护数安全9技巧[J] 计算机网络 2016 42(1)5959
[40] 兆良 张文涛 葛慧 et al 基Hadoop台日志分析模型[J] 计算机工程设计 2016 37(2)338344
[41] 施磊磊 施化吉 宋玉 et al 基Hadoop分布式题网络爬虫设计实现[J] 信息技术 2015(7)109112
[42] 张效尉 陈亚峰 秦东霞 基 Hadoop 云存储系统研究实现[J] 商丘师范学院学报 2015(9)6064
[43] 尹飞 基Hadoop道网络分布式实时计算应[D] 北京化工学 2016
[44] 谭雄飞 钱建良 陈亚 搭建基Hadoop云计算台 [J] 江苏第二师范学院学报 2016(12)32365页
[45] 邹倩颖 基Hadoop倒排索引研究实现[J] 福建电脑 2016(1)124124
[46] Wang Pugang Design and implementation of Industrial Log system based on HBase [D] Dalian University of Technology 2016
[47] 卢厅 刘建勋 文 et al 基Hadoop业务程模型理方法研究[J] 计算技术动化 2015(4)115121
[48] 杨志伟 基Hadoop规模网络入侵检测技术研究[D] 新疆学 2015
[49] 李甲帅 彭长根 朱义杰 et al 面Hadoop风险访问控制模型[J] 网络信息安全学报 2016 2(1)
[50] 艾超 针线产品支撑数滤分析系统研究设计[D] 电子科技学 2015
[51] 蒋云霞 符琦 基Hadoop云教学资源台研究[J] 代教育理实践 2016 8(4)111113
[52] 王研 张岩 基Hadoop云台实现基准测试[J] 沈阳师范学学报(然科学版) 2016 34(2)240245
[53] 吴真 基Hadoop台构建数仓库关键技术研究[D] 华北电力学 2017
[54] Li Rongrong Research on big data Mining platform based on Hadoop [J] Southern Agricultural Machinery 201748 (22) 111111
[55] Tu Zhusong Research on data sharing Model based on Hadoop [D] Hefei University of Technology 2015
[56] 范孟 王攀 基Hadoop固网宽带终端识技术研究实现[J] 计算机技术发展 2017(11)
[57] 万钧 沈斌 周兰凤 基角色信访问控制Hadoop实现[J] 现代电子技术 2017(24)1719+22
[58] 刘珊珊 基云计算台Hadoop聚类神网络算法研究实现[D] 贵州学 2016
[59] Yang Peng Analysis of Network Node behavior based on Hadoop [D] Beijing University of posts and Telecommunications 2015
[60] 申剑博 基Hadoop面社交网络友推荐系统研究应[D] 西安工程学 2015
致谢
半年文历选题开题撰写等阶段期间导师指导作次修改易稿文已接尾声回首整程艰辛收获汗水喜悦
篇文导师次指导完成感谢您宝贵学机会作您学生您里学宽广胸襟学敏锐思维宽阔视野深信路艰辛累累收获程日工作实践奠定必基础
里感谢学院老师步成长悉心指导完成次老师道声：老师您辛苦谢谢您外文终利完成提供参考文献学者离开感谢提供宝贵文献资料写文程中参考
学友情深情兄妹年夕相处记忆里时常浮现起点点滴滴窗情必终生难忘
感谢文评审答辩中予私帮助老师感谢指出足促成长
时学程中亲情陪伴付出衷心感谢家
感谢年关心帮助谨文铭记似海深情谨文献祝福感恩
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档
摘
电视台着高清4K技术发展量视频数需存储备份理提供节目制作者进行检索载老技术台难已满足爆发式需求面逐渐增加数量越越严重网络安全问题够实现容灾容错目数保存理等技术必须搭建新播出理系统传统数备份理利单存储介质实现种方法实现较简单成较低缺乏较高安全性扩展性目前发展分布式技术够实现数分布式存储运算Hadoop技术属分布式技术代表具备分布式文件系统够充分节点资源具备副特性良扩展性安全性效率基数存储备份理安全性效率需求够通Hadoop技术实现数理搭建基分布式技术智监台文工作：调研hadoopMapReduce数处理机制原理结合虚拟机部署量终端二分析电视播出业务实际需求安全快速目标够提供数安全检索等功三分析数处理程中异常情况原老系统进行较观察性效率否提高
文设计智监台数备份程中具较高安全性统性整体性够恢复数分配资源程中具优先级实现数恢复操作传统系统基Hadoop技术智监台具较高效率安全性
关键词：Hadoop技术计算机网络网络安全理理系统
Abstract
TV stations with the development of highdefinition and 4K technology a large number of video data needs to be stored backed up managed and provided by program makers for retrieval and downloading the old technology platform has been difficult to meet the needs of explosive in the face of increasing data volume and increasingly serious network security problems can achieve disaster tolerance faulttolerant purposes data preservation Management and other technologies will have to build a new broadcast management system Traditional data backup and management are realized by using a single storage medium which is simple to implement and has low cost but lacks high security and extensibility At present the developed distributed technology can realize data distributed storage and operation Hadoop technology belongs to distributed technology representative it has distributed file system can fully use node resources with multireplica characteristics and good scalability security and efficiency Therefore based on the security and efficiency requirements of data storage backup and management we can realize data management through HADOOP technology and build an intelligent supervision platform based on distributed technology The main work of this paper is as follows first to investigate the large data processing mechanism and principle of Hadoop and MapReduce and to deploy a large number of terminals in combination with virtual machines The second is to analyze the actual needs of television broadcast business with the goal of safe and fast to provide data security retrieval and other functions Third analyze the abnormal situation in the data processing process and compare it with the old system to see if the performance and efficiency are improved
The intelligent supervision platform designed in this paper has high security unity and integrity in the process of data backup and can also recover data Prioritize in the allocation of resources and implement data recovery operations Compared with traditional systems the intelligent regulatory platform based on HADOOP technology has high efficiency and security
Keywords Hadoop technology computer network network security management management system
目录
摘 1
Abstract 2
第章 绪 5
11研究背景 5
12 研究现状 5
13 文工作 6
14研究容 6
第二章 关键技术分析 8
21 Hadoop云计算台 8
22 HDFS文件操作 8
23 HDFS身份认证技术 9
24 MapReduce介绍 10
25 Hive数库工具 11
26 Hbase开源数库 12
第三章 计算机网络安全理系统需求分析 14
31 项目概述 14
32 系统需求分析 15
321 系统功需求 15
322系统非功性需求 17
第四章 智监台设计 19
41系统功架构设计 19
42系统硬件结构设计 20
43系统功模块设计 21
431通信模块 21
432设备理模块 22
433事件处理模块 23
434安全评估模块 24
435数备份模块 26
44系统数备份设计 27
441户认证模块 28
442策略配置模块 29
443数备份模块 30
45系统数恢复设计 31
451身份认证模块 32
452数恢复策略配置模块 32
453数恢复模块 32
46次性口令身份认证设计 34
461符号标识 35
462注册程 35
463认证程 35
464修改口令程 36
465方案安全性 37
第五章 系统实现测试 38
51 系统功实现 38
511 通信模块实现 38
512 设备理模块实现 39
513 事件处理模块实现 40
514 安全评估模块实现 40
515 数备份模块实现 41
516 桌面虚拟化实现 42
52 系统测试 44
521 系统部分功测试 44
522 系统性测试 46
523安全评估 47
第六章 总结展 49
61 工作总结 49
62 研究展 49
参考文献 50
致谢 54
第章 绪
11研究背景
目前计算机网络技术发展较迅速已进入千家万户中成现代生活中尤重容规模计算机网络然够生活带方便成部分问题网络安全问题导致户数丢失账户密码盗等外然灾害等原会导致网络系统信息数丢失面天灾祸导致数信息丢失容灾技术备受重视数备份理技术容灾技术代表利某时间点数备份系统数丢失者破坏利数备份恢复系统般数备份概念较简单企业部门首选择灾备技术方案传统数备份利机存储介质者单化存储服务器实现种数备份特点廉价简单方便实现种传统数备份技术存部分安全隐患假存储介质者服务器破坏备份数会失效外规模数说单服务器存储介质方式存储介质容量严峻考验
某电视台技术播出部响应国家广电总局号召发展高清4K电视技术需进行设备技术方面更新包括高清化机房改造演播室高清化改造等高清节目素材播出产生量视频存储数前老播出理系统结构较单法应量数理工作数备份尤重数量断增加程中实现数存储备份理保证数致性安全性目前需考虑问题基Hadoop搭建智监台够解决问题够通分布式存储方式扩存储容量读写速度提高分布式文件系统HDFS特点需求较低简单容易属Hadoop结构核心Hadoop够配置较差价格较低计算机中部署Hadoop技术创建数存储备份模块系统数分布备份外设备中整级联系统设备存储空间够充分外利Hadoop中HDFS副特性够副放安全理设备中备份安全性进步提高
12 研究现状
国社会断发展程中企业数量断提高现代企业海量数存储处理越越重视目前国外研究员Hadoop云计算台备受重视技术广泛应网络领域中已公司部已创建万节点规模Hadoop集群产品进行支持广告优化选择反垃圾邮件系统数处理搜索排名等目前Yahoo深度研究HadoopFacebook属世界较著名社交网站中数处理量存储量较天添加TB压缩数扫描高性云台尤重Hadoop够效满足Facebook高性需求Facebook应数仓储日志处理推荐系统中国外科研院逐渐重视Hadoop研究越越高校逐渐加入Hadoop研究中康奈尔学加州学等
Hadoop广泛应国公司中百度提供社区搜索百度百科等搜素引擎作基础产品指定时间中实现数线分析处理台进行反馈求云计算台具良性实现处理Hadoop应百度中目存储日志统计网页中数充分挖掘实现数线反馈户网页聚类利1100台机器创建淘宝Hadoop总存储量位93PB云技术团队够优化Hadoop实现性化修改
学术研究方面国部分高校科研开始研究Hadoop容存储数优化性作业调度系统安全性资源理等中科院研究员分析HDFS数容灾文件问题制定纠删码作基础解决策华北电力学研究员智电网状态监测数特征基础设计实现基Hadoop台数存储系统设计
13 文工作
着高清4K技术发展量视频数需存储备份理提供节目制作者进行检索载老技术台难已满足爆发式需求必搭建分布式理系统文工作：
调研hadoopMapReduce数处理机制原理
二分析数理台系统需求安全快速目标够提供数安全检索等功
三分析数处理程中异常情况原老系统进行较观察性效率否提高
14研究容
文某电视台需求发展趋势提出Hadoop分布式技术智监台文研究容：
第章文研究背景研究现状进行分析总结国外相关工作
第二章系统设计关键技术进行分析
第三章系统设计非功性功性需求进行分析
第四章详细分析系统设计包括硬件模块设计
第五章设计系统进行实现测试
第六章文进行总结
第二章 关键技术分析
21 Hadoop云计算台
Hadoop源Apache Lucene子项目中Nutch2004年谷歌发表相关文Doug Cutting等开始重视MapReduce行计算框架研究结合NDFSMapReaduce支持Nutch引擎算法Apache顶级项目中融入hadoop应部分互联网公司中户Hadoop作基础实现分布式台创建进行分布式计算次户利Hadoop实现规模数应程序开发优势：
扩展性：计算机集群中Hadoop够实现数分配集群规模够实现节点扩展
性：Hadoop根位实现数存储数处理力够满足需求
高效性：Hadoop节点中实现数状态转移计算速度相较计算方式言更快
容错性：Hadoop完成副数保存失败务完成重新分配
Hadoop断发展程中中已具子项目集合然分布式文件系统HDFSMapReduce核心容中HbaseAvroCommon等子项目具重作具互补性服务者够核心层中提供更高层次服务
22 HDFS文件操作
Hadoop分布式文件系统（HDFS）属Hadoop核心容普通文件专门MapReduce种框架中规模分布式数处理设计够数集成单文件进行存储Hadoop够台机器中分布数副进行理编程员细节单文件编程进行考虑
HDFS具备容错性等特点够低廉硬件中部署MasterSlave架构中HDFS集群包括两节点分节点节点节点属控制服务器范畴功实现文件系统理维护
访问文件进行协调DataNode节点目实现实际数存储客户读写请求进行处理根NameNode命令实现数块创建删复制等操作利HDFS够文件理般操作包括目录文件添加文件删获取等操作具备相应命令行命令具专门提供编程JavaAPIHadoop文件API利抽象类FlieSystem实现文件系统交互利中种子类HDFS文件系统进行分处理般系统中HDFS应视频文件存储处理生成时文件中文件般64MB划分成数块数块够DataNode中存储
23 HDFS身份认证技术
HDFS文件系统全新Hadoop集群中缺乏户整体HDFS文件系统中根目录Hadoop超级户HDFS传文件时候HDFS会动根目录中创建文件夹文件夹中创建超级户名字进行命名文件夹假超级户名字superuserHDFS会创建usersuperuser文件夹superuser超级户中传输文件存储文件夹中新户HDFS文件系统时候超级户会新户HDFS中创建户身份程中操作两：超级户实现user目录中创建新户户名样文件夹文件夹权新户转移实现权限设置
超级HDFS中创建户户传文件会相应目录中存储户文件夹具全部权限够文件夹中实现文件夹文件创建默认事Hadoop利客户端操作系统客户端户身份户远程系统中远程客户端通名义创建名账户HDFS进行访问身份认证模式够应合作团队中够应互联网中然Hadoop中存认证机制法MapReduce进行计算中没KDC密钥分配中心求额外配置安装方便
利FileSystem类中方法HDFS数读取访问程中先FileSystem实例方法中user变量指FileSystem实例户user够利定义方法认证户user身份认证利述静态方法合法户够身FilSystem实例具足够权限HDFS实现文件操作访问
24 MapReduce介绍
图21
种常见编程模型应数集计算中概念Map（映射）Reduce（约）思想基函数编程语言发展原编程员分布式行编程语言编程方式熟悉情况提供效开发工具开发者设计程序分布式系统中予应前软件通制定Map函数组键值映射新键值通指定发Reduce函数保证映射键值享相键组图基原理
种面数行处理计算模型含义包含三方面：
1基集群高性计算台（Cluster Infrastructure）准许应次阿红肿商务服务器构成行计算集群
2运行软件框架具动化计算务处理功动划分计算数计算务集群节点中完成务分配计算结果动收集数行计算中涉复杂细节传递系统控模块进行处理种处理方式程度降低开发员工作强度3时种函数式程序设计思想提供种简单程序设计算法利两编程函数实现应复杂计算务相简单高效完成规模数编程处理
提供述功：
1数划分计算务调度：
系统处理数进行划分数块分应计算务时通系统计算节点调度完成相应数块处理工作作业务调度实现分配调度计算节点外完成节点运行状态监控
2数代码互定位：
减少数通信满足化数处理原计算节点言完磁盘分布数计算处理满足化数处理原时通寻找节点数网络传输该节点应机架寻找节点降低网络通信延迟时间提升系统响应效率
3系统优化：
降低数通信程中资源消耗数进入节点前会实现合处理节点处理数源Map节点防止计算时发生数相关Map节点输出中间结果时采合理策略完成划分保证相关性数发送节点外系统需进行计算性优化处理例慢计算务选择快完成者作结果进行处理
4出错检测恢复：
利商服务器构成规模计算集群中节点硬件出错性较言需检测完成出错节点隔离调度分配新节点完成出错节点计算务执行外系统配备备份冗余机制提升数储存程性完成出错数信息时检测恢复
25 Hive数库工具
基中数库仓库工具结构化数文件映射数库时提供数库查询功实现sql语句务相互转换运行该工具优点低成通数库语言实现统计需开发专工具适合实现数库统计分析基
构建技术构建提供系列工具完成数提取转化加载储存查询分析规模数简单类SQL查询语言进行定义称准许户实现数查询外语言准许熟悉开发者开发处理建完成复杂分析工作未建立专门数格式Thrift工作完成分隔符控制准许户指定格式数
种低层封装数仓库处理工具利数库语言瓦城数查询数均储存兼容文件系统中 完成数加载程中会数进行修改仅数移动HDFS中目录知支持数添加改写数均加载时确定设计特点
1支持创建索引实现数查询优化
2具备储存类型包含文文件中文件
3元数保存关系数库中减少数查询时执行语义检查时间
4储存文件系统中数信息
5置户函数数挖掘工具支持户扩展函数实现操作
6类SQL查询方式SQL 查询转换务集群中执行
26 Hbase开源数库
HBase分布式面列开源数库图22Hbase工作层面该技术源 撰写文：种结构化数分布式储存系统利文件系统提供数储存系统相具相似力子项目般关系数库间具定处适合非结构化数储存数库处模式未基列非基行
种高性伸缩分布式储存系统利技术科中完结构化储存集群搭建等商
产品相较言代码开源 利GFS作文件储存系统相类似利作文件存储系统运行中产生数信息进行处理样通处理中中产僧数信息利作协服务相应利作协服务 [1]
图描述中层系统中位结构化存储层提供储存技术支持提供高性数处理数计算力提供稳定服务机制
图22
仅提供高层语言支持完成数统计处理程十分简单 提供数导入功实现程更简单传统数库中实现数迁移更方便快捷
第三章 计算机网络安全理系统需求分析
图31
31 项目概述
传统播控中心通常采竖井式技术架构弹性扩展性差法根需进行计算存储等资源灵活动态分配媒体融合背景播出业务发展形成制约实现传统电视业务融合媒体业务转型电视台面新挑战图31已建成某广电总台播出分发台项目前电视台业务中四楼传统频道播出系统部分高清化改造技术部门整系统进行重新架构重新搭建容服务台智监台五楼高标清体化播出系统等江苏广电总台播出分发项目面全媒体扩展云架构基础率先采SDVN（软件定义视频网络）技术引入IP 矩阵建立传统基带+IP 总控传输分发台台搭建程中充分利数技术实现流程视化智监文现智监台部分展开讨
前电视台网络传统数备份通机存储介质者单化存储服务器实现导致网络出现部分安全隐患果网络中存储介质者服务器破坏备份数会失效外电视台种规模数说单服务器存储介质方式存储介质容量严峻考验
图32
文现代流需求发展趋势提出基Hadoop网络智安全监台系统基级网络安全理系统模型中添加数存储中心利Hadoop实现图32数存储中心够安全理域数进行存储级联安数性致性进行保证外系统务调度改进Hadoop集群公调度算法级安高级安务优先级进行保证通集群行计算力全部提交作业完成速度进行保证
32 系统需求分析
321 系统功需求
（1）理员理员通台模块实现设备监控理检索视频功：设备应进行监控设置监控设备接入系统理员手动操作实现设备实时监控视频分析监测预警容时候会动报警
图33 系统理员例图
（2）身份认证图33实现户注册登录视频文件理中求理员提供特殊权限具备理权限户登录够HDFS中传视频视频检索中视频检索操作会影响系统设置低权限户登录实现检索
（3）文件查理果户具理员权限够实现Hadoop分布式文件系统理传全新视频文件HDFS文件目录查等模块够提供视频数处理基存储服务Hadoop框架中核心容
(4)够快速部署虚拟机终端结合部门实际工作需求电视业务保证24时间断必须够快速部署虚拟机终端方便维护理图34虚拟机软件界面
图34虚拟机远程理图
322系统非功性需求
系统功需求满足表示实际业务需求全部满足基性安全性维护性扩展性全面考虑实现系统方案非功性需求设计范围交广结合智预警系统系统性易性安全性进行考虑
系统性：性关系着系统处理速度具较衡量标准系统发数响应时间资源率等基方面考虑系统设计户参操作时间够太长包括系统移动端操作等时间三秒Hadoop集群分布式存储数保证阶段中均衡存储提高资源率
性：性系统出现异常时候降低系统损失判断指标包括恢复力异常力容错力
易性：应角度基础户程中难易程度进行考虑易易易学等总体说求系统操作简单重点突出方便户快速寻找信息操作文设计系统界面较简单重操作信息突出操作惯满足般理户容易手操作
安全性：安全性指系统数安全性验证数访问需求实现没应功时候访问户数般系统通数库服务理业务数包括非关系数关系数库够降低通外方式访问数库率保证数安全性
第四章 智监台设计
41系统功架构设计
系统HDFS分布式文件系统作底层数处理利统客户端访问台效实现户存储户文件数维护理够利系统客户端实现户指定文件集群系统中传够实现文件载利系统台够户文件基操作实现创建文件删文件开文件等客户端通诺网络台统访问种统访问台HDFS分布式文件通信系统进行通信时候定义通信接口协议户通客户端操作底层数块实现利底层客户端HDFS通信连接程进行云存储服务供应商属云存储服务系统接口模型理员理云存储台充分发挥作云存储服务系统框架进行优化够提供云存储系统户接口开发云存储服务系统户现实需求更加接扩展高效安全存储服务实现图41计算机网络安全理系统41（a）计算机网络安全理系统架构41（b）计算机网络安全理系统软件流程
（a）计算机网络安全理系统结构
（b） 计算机网络安全理系统软件流程
图41 计算机网络安全理系统
通图41表示系统Hadoop分布式文件系统作基础云存储户操作访问客户端台相互结合户程中需磁盘中文件数存储进行掌握解
42系统硬件结构设计
计算机网络安全理系统硬件包括智分析仪中心服务器视频监控摄头理端PC机Android移动端计算集群通层次划分硬件接口成数应层采集分析层存储加工层图42系统硬件结构
图42 系统硬件结构
数采集分析层中具智功分析仪视频监控摄头系统信息源监控设备设防背景会实时视频智分析仪发送智分析仪视频容进行分析程中果遇安全容会报警
系统核心数存储加工层硬盘录机中心服务器计算集群应层录指令进行发送时硬盘录机会出实时视频录进行保存录结束媒体服务器计算集群发送视频录媒体服务器够提录访问接口移动端视频播放数源数服务器实现全新预警信息生成程中触发发送短信推送消息指令
数应层基系统户包括PC理端Android移动端PC端够监控设备进行接入够实现设防登录录相应数检索传图片移动端会定期接收服务器发送信息短信实现预警视频播放监控实时查
43系统功模块设计
431通信模块
通信模块安全理系统神安全设备通模块够服务器报事件状态通信设备设计程中满足需求：首先固定端口进行实时监控安全设备报相应安全信息进行接收次实现通信协议兼容然级联关系网络安全理系统相互通信时相应理信息发送安全设备中
述需求满足种通信协议完成封装全部协议通ICE进行实现图模块构成
图43 通信模块构成
该模块事件模块安全设备报安全状态事件设备理模块够实现理命令发种操作具备操作控制反馈结构方便理员者程序判断开始接操作通信模块仅够封装底层通信细节够封装通信协议
充分程中便捷性进行考虑通信模块进行设计时通面象方式实现通信模块功系统者需考虑细节部分根约定面象接口行方便扩展通信模块够模块封装通信模块提供程序绑定端口注册处理例程等功通通信模块完成客户端程序创建发送业务请求信息实现业务处理结果接收等功图44通信模块功
图44 通信模块功
432设备理模块
文中网络安全理系统操作安全理设备作基础图45实现高兼容性完善功简单理安全设备理模块具重作文系统理中安全设备包括流市场中安全设备种类类：补丁理类防火墙类防病毒类入侵检测类漏洞扫描类接入认证类体化防护网闸类机安全理监控类数备份类基安全设备理模块操作设备删添加基础结合设备理信息策略完成资源配置系统确定接口安全设备级信设备安全机未知设备理设备理
图45
433事件处理模块
时间处理模块指户带体验模块基通信模块划分成事件预处理事件入库页面展现三部分
事件收集包括两种种动报安全设备安全设备理事件二服务器评估出现包含设备离线异常利服务器进行判断完成安全理模块设计程中包括十种安全设备网络安系统身事件相互结合具十种事件事件中根事件容划分成风险事件理日志事件登录事件设备离线者异常事件策略违规空策略事件设备基信息实时信息事件通事件收集信息定进行判断信息剔
事件处理流程高级安全服务器中添加事件格式转换部分报事件利定格式文件中报hadoop集群中定时传图46具体处理流程
434安全评估模块
安全评估模块安全系统整体核心够系统安全性进行判断系统通定性定量分析相结合方法系统中安全设备相互结合利种规网络情况局域网中安全事件利系统原始数检查基础包括登录理状态等事件利通信中间件ICE服务器够中安全事件该系统利事件完成网络状况分析相应结果结果呈现客户安全评估设备运行情况否部署设备安全事件信息安全素进行判断图47安全评估容
图47 安全评估容
设计程中充分考虑程序控制工进行实现安全评估包括工检查程序检查利服务器者理员发起安全评估通hadoop中mapreduce够安全评估流程进行实现级联安全理中通hadoop调度算法予改进安全评估务充分展现文系统设计重点系统中安全评估特点包含述方面：
计算量利传统业务处理方式花费十分钟计算时间
二部分定时发送般天午五点实现日安全检查周周五午六点实现周安全评估月28号晚八点实现月安全评估等
三完成计算结果理员进行呈现行需实时展现
四高级网络安全理系统进行安全检查程中部分包括级联关系倍安全检查高级系统结果求低级联关系系统进行理基级系统进行分析
综合述结果知该系统通利改进调度算法系统中基户划分提交作业级户 提交作业级较相应会降低二级三级户 级时候作业优先级明确指定代表作业重程度基想高级作业执行时级低级完成作业提交占资源
高级作业独占集群资源保证低级作业运行程中提交高级作业够抢占资源保证高级作业时够快速响应
公调度器属实现Hadoop集群资源享务调度器仅具备支持缺额调度层次调度功时实现资源抢占作业调度策略队列够支持FIFO公调度两种调度方式作业优先级改变完成作业调度控制利现代公调度算法高级作业会抢占时会高级作业进度导致拖延目前调度算法实现作业优先级资源抢占改进新提价作业中次获取时间前时间相差Tmin该作业没minShare量资源时调度器时调度器动终止中前制定务果作业获半时间目前时间差值高次作业中完成未资源时调度器动终止中前制定务改进型算法中优先级够实现资源分配排序够资源抢占进行控制
假系统级够实现安全评估命令提交通已改进调度算法实现案系统务实现便低级安系统中评估务执行中提交高级务够保证短时间完成高级安全评估低级安全评估会受影响
435数备份模块
数备份模块够数完整性致性进行保证容灾基础服务器中数整体理系统者系统户说较重图48电视工作业务流程
图48
hadoop技术实现安装数致化结合数备份功实现系统数存储中心创建图49数模块功
图49 数模块功
通图49出数备份模块包括Hadoop集群备份功安备份接口两部分中安备份接口实现数整合数信息包含属两部分：首先级联安信息备份全新级网络安全理系统整体级联网络添加时候会初始化出唯服务器标识符网络安全理域唯标识符信息服务器基信息高级网络安全理系统职工擦混熟服务器IPMAC通服务器部分信息Hadoop集群中传信息保存性稳定性进行保证目前级网络安全理系统服务器出现意外情况进引发重装中高级Hadoop集群信息唯信息次整体网区域中发生数备份出现应安全事件时候通格式转换指定文件中保存文件会文件信息Hadoop集群中定时传设置Hadoop集群法实现户写入全部写入操作够通级安户实现数完整性致性进行保证全部写入操作够通级安户实现数性完整性致性进行保证集群中够事先文件写入理读取操作
44系统数备份设计
图410系统数备份流程通图410出系统数备份功：首先实现身份认证数备份系统数副进行备份会产生定量数属整体安级联系统级操作般级操作员没实现项操作权限特殊系统理员够实现数备份操作仅避免明真相操作员出现误操作非正确情况中数备份性降低够安全性提高避免攻击者低安全级操作员账号备份盗取够避免攻击者利操作员权限备份文件盗取
实现身份认证实现备份配置配置策略模块数备份策略包括完全备份增量备份差异备份系统理员够实际情况选择种备份外仅具基备份策略系统理员够修改备份副数量数块
实现策略配置实现数备份模块模块系统核心利文件整合网络传输等操作级联结构需备份数文件级联结构HDFS网络中写入操作占量带宽级安系统中进程启动CPU资源存资源进行分配然够安服务器运行性暂时降低会功正常进行保证实现备份会级联安服务器发送系统消息表示完成级联结构备份
图410 系统数备份流程
441户认证模块
户认证模块进入系统基础数备份功说整体系统级联结构功般操作员没种操作权限权限赋予高级系统理员中网络安理系统中操作员安全理员角色突简单说账号仅具备操作员权限具备系统理员权限通网络安全理监察系统中权限控制系统实现数备份功身份认证策略制定图411户认证模块流程
图411 户认证模块流程
根图411表示具备系统理员权限账号够利系统理员角色网络安全理台登录数备份功操作接口进入操作接口实现数备份策略配置然实现整体级联系统数备份没系统理员权限员者具备系统理员权限操作员角色登录网络安全理监察系统员够隐藏数备份操作接口
外实现数备份操作接口页面处理利手段进入功前事先身份验证满足条件功员够开界面果员符合条件会返回失败信息
442策略配置模块
户通身份认证够进入数备份策略配置模块中模块目配置数备份操作参数中部分参数HDFS系统配置文件中字段参数具密切关系具体参数配置：
数备份策略参数模块中尤重决定数备份种备份方式实现操作备份策略包括完全增量差异三种备份备份策略具点指定场合中目前方案首次备份够完全备份方式实现两种备份文件生成安级联结构HDFS网络中存储首次数备份操作够利三种数备份策略中种次备份策略数备份模块会实际情况处理
二数备份分块参数选选项HDFS系统需求数块默认64MB实际操作中够改变HDFS中充分考虑降低存消耗硬盘寻道时间三种选择64MB128MB256MB
三定时备份方式时间节约系统理员工作量系统数备份操作进行规范户提供定备份功系统利定时分配够指定时间中备份完全备份提高差异备份增量备份没通数备份级联结构法实现定时备份操作
四数备份副数目满足数安全需求数性提高实现容灾容错目HDFS系统中具副策略容般HDFS会文件生成副副放置相DataNode中副DataNode中放置利备份副数目设置操作员够选择满足系统情况副数量实现数备份
443数备份模块
确认数备份配置顶级安NameNode实现数备份图412数备份模块流程
图412 数备份模块流程
通图412表示相应数备份策略数备份模块操作相：
完全备份指全部备份级联结构系统数检查否首次备份假首次备份次完全备份产生数进行删实现完全备份完全备份操作实现三份备份生成相互独立份备份数中具副利三份备份够保证差异备份增量备份会出现突
二增量备份增量备份指次备份说备份方式种备份方式备份数次备份改变数假系统理员选择种备份方式根时间寻找备份实现操作假成功增量备份份备份副实现备份操作假失败利份备份副原实现错误信息返回
三差异备份差异备份指次完全备份说备份方式种备份方式数次完全备份改变数假系统理员种备份方式寻找次完全备份实现操作简单说增量备份改变备份进行忽略假成功备份次实现备份副操作假失败原份备份副返回错误信息
种备份产生数整体级联结构非顶级安服务器中分布成功备份理员返回成功信息
45系统数恢复设计
某种素安级联系统数造成损坏利备份数鞥够恢复数降低损失实现容灾容错目传统数恢复直接级安服务器中备份数恢复备份数会恢复效果造成限制恢复系统会安级联结构匹配需量时间工实现手工调试系统安全安级联系统相互结合基Hadoop数备份系统数恢复功根整体级联结构实现备份备份数恢复应某案系统安系统整体级联结构中融入图413数恢复流程通413表示数恢复备份结构相似求身份认证配置数恢复策略够直接数恢复中
图413 数恢复流程
451身份认证模块
模块数备份身份认证模块类似面系统理身份登录系统理员操作恢复数某网络安全理监察系统服务器存定影响包括整体安级联结构重视身份认证利身份认证够避免低级操作员意系统攻击者恢复破坏级联服务器图412身份认证模块流程
图414 身份认证模块流程
452数恢复策略配置模块
模块目数恢复选项提供户解户需求数恢复模块传递操作数恢复策略配置够户提供接口：
制定数备份恢复利安级联系统实现数备份恢复安级联系统通次完全备份系统已完全备份结果三份备份基数备份实现增量备份差异备份操作够系统理员选择三份备份中意数实现恢复
二数恢复安台包括两种情况首先顶级安够选择整体安级联系统中意台者台实现数恢复次非顶级安够通知发送顶级安方式实现数恢复操作
453数恢复模块
系统理员选择数恢复模块模块实现数恢复图415数恢复模块流程
图415 数恢复模块流程
通流程图表示实现恢复前系统增量备份实现数回滚然寻找户指定数备份文件户选择安台寻找DataNode中相应文件位置利Map函数DataNode中部署数取出利Reduce函数实现汇拢出安系统数备份文件利网络传输实现传输然实现数恢复假户安台实现数恢复中会具优先级问题NameNode够保证全部操作堵塞资源高优先级安系统进行分配般资源量高级安系统进行分配种方法优势高级安系统具更级安级联具较部结构数较求更资源实现求改进Hadoop公调度算法
优先级需求说已具改进公调度算法利Tmin者Tshare时长分配Jnew资源足时候会寻找秋天pool中运行作业JselectedJselectedJnew间优先级关系假Jselected优先级Jnew优先级会Jselected杀掉资源Jnew分配相反TshareTmin作目前时间进行操作种算法具定问题产生优先级作业阻塞提出全新高优先级作业pool中优先级作业Jselected杀掉抢占资源会Jselected够完成高优先级作业够继续进行假Jnew长时间够实现Jeslected需少量资源够实现基中改进算法Jselected够Jnew实现够继续运行浪费量时间假Jnew较整体Hadoop集群资源会中集中低优先级作业法工作提出改进调度算法基公满足高优先级作业处理需求：
首先优先级务相应pool中规定提出作业时利代表资源满足实际需求找寻中作业：
中时中作前时间完成修改进实现标记完成操作次中实现额外资源寻找时会选择标记
二>中前时间时中中资源降低r*weight降低资源Jnew进行分配
全新务Jnew提出段时间果资源法满足需求寻找pool中运行
优先级进行优先级高需资源占情况予考观察资源占低中权重系数代表作业资源较低够继续运行抢夺pool中资源通段时间Jnew会继续寻找Jselected资源通观察表示中权重系数需抢夺资源利方法仅够全部作业运行够分配高优先级作业资源通合理调度算法级安系统中实现数恢复保证系统正常稳定运行外利量资源完成集中操作数恢复出现问题死前增量备份结果实现回滚系统理员返回错误信息数恢复正常系统理员会收成功信息相应安设备进行重启
46次性口令身份认证设计
够利数字证书口令等方法认证户use身份通认证合法户够具身FileSystem实例具备HDFS访问权限数库中创建HDFS户名户信息记录利口令认证方式认证户身份户认证成功HDFS中合法户充分考虑静态口令身份会窃听容易受字典攻击重放攻击等问题次性口令身份认证认证安全性较高容易实施设计次性口令身份认证方案
461符号标识
方便描述方案约定符号含义：
U指户端
S指服务器端
A→B指AB发送消息
pwd指户口令uid指户身份标识
Ps指服务器公钥ds指服务器私钥
Pu指户公钥du指服务器私钥
Ps（M）指利公钥实现消息加密
Pu（M）指利公钥实现消息加密
ds（M）指利私钥实现消息解密
du（M）指利私钥实现消息解密密
H（M）指消息M实现Hash运算
462注册程
认证方案户注册程：
利安全信道户请求进行注册户服务器公钥Ps户端口令pwduid进行输入功服务器公钥Psuid进行加密服务器中传输
二服务器接收身私钥ds解密够出uid数库中uid否相进行监测果相求户重新全新uid输入然执行步
三户利系统生成身公钥私钥PuDu私钥dU安全保存服务器Pu公开外户端够产生机数R1进行计算AR1服务器公钥Ps实现加密服务器Ps（AR1）进行传输
四服务器接收PS（AR1）利私钥ds解密出AR1相应uid进行保存认证时候进行结束户注册
463认证程
假户第i次认证服务器端存储认证数机数Ri认证程：
1 U→SPs(uidRi+1)
2 S→UPu（MRiRTi）
3 U→SH(pwdRi+1)H(pwdRi)RTj
4 S→USuccess者Faliure
第步中户端实现pwduid输出够产生机数Ri+1uidRi+1服务器公钥Rs实现加密服务器Ps(uidRi+1)进行传输
第二步中服务器私钥ds解密接收Ps(uidRi+1)够出uidRi+1数库中否uid进行验证果没表示uid合法次认证请求失败果存表示uid合法MH（uidRi+1）进行计算够机数RTiRi取出传输户Pu（MRiRTi）中
第三步中户利私钥duPu（MRiRTi）进行解密够出MRiRTiuid机数Ri+1H(pwdRi+1)进行计算M假两者相等表示服务器合法会话终止果星等BH(pwdRi+1)QNRTiNH（pwdRi）进行计算BQ服务器中传输
第四步中服务器会接收BQ然QRTi实现异运算N提取提取保存AAN假两者相等表示户合法户实现Failure消息发送次身份认证失败然表示户合法发送户Success消息服务器存户验证信息A机数Ri进行更新功B换ARi+1换Ri表示户够成功认证
464修改口令程
假设户前口令pwd新口令ped1口令修改前服务器端中认证数机数Ri口令修改程：
1：U→S口令修改请求
2 S→UPu（RiRWi）
3 U→SPs（EDRi+1）
4 S→USuccess者Faliure
第步中户服务器发送口令修改请求
第二步中服务器存储机数Ri取出够产生RWi传送户PU（RiRWi）中
第三步中户私钥dUPu（RiRWi）进行解密够出RiRWi产生Ri+1机数CH（pwdRi）FPs（EDRi+1）ECRWiDH（pwd1Ri+1）F服务器传输
第四步中服务器私钥dsF进行解密够出ERi+1DERWi实现异运算够出C存储中CA进行假相表示合法户密码修改Failure消息户发送次修改操作进行取消假相Sucess消息户发送D换成存储ARi+1换成存储Ri成功修改口令
465方案安全性
安全性属身份认证方案需充分考虑问题利形式化分析方法分析设计方案表示方案安全性身份认证方案实现述安全性：
方案中户认证程中会产生机数RTiRi+1保证次认证传输数认证口令便攻击者数截获法重放攻击
二假入侵者充服务器S服务器身具备私钥没传输网络专供Ri+1变化充者法通客户端H（uidRi+1）验证充者具价值信息假入侵者充户Uuid没网络中明文传输充者解uid法利服务器实现初步认证便充者Ps（uidRi+1）进行截获通初步认证没户私钥法信息进行解密计算法实现服务器步认证反感够抵御充攻击
三方案够效实现双认证服务器端利uid中否存QRiA否相等进行查询客户端进行认证客户端利H（uidRi+1）M否相等服务器端进行认证
四方案没认证序列值Hash运算反复迭代够数攻击进行抵抗
五整体认证中网络中没传输明文信息便进行传输程中截获信息会存信息泄露入侵者知道户身份表示uid
第五章 系统实现测试
51 系统功实现
511 通信模块实现
文设计智监台中通信模块利Icc中间件予实现该部分供实现十倍系统系统服务器间通讯全部通信类着虚类完成保证业务执行函数定义虚函数基通模块完成业务执行函数重写基重写通信模块具体通信功通信模块步通信模式提供模块者实现代码：
private void startconn_Click(object sender EventArgs e)
{
socketWatch new Socket(AddressFamilyInterNetwork SocketTypeStream ProtocolTypeTcp)
IPAddress ipaddress IPAddressParse(localipTextTrim())
IPEndPoint endpoint new IPEndPoint(ipaddress intParse(porttextTextTrim()))
socketWatchBind(endpoint)
socketWatchListen(10)
threadWatch new Thread(WatchingConn)
threadWatchIsBackground true
threadWatchStart()
thisInvoke(new Action(() >
{
recmsgAppendText(开始通信 + ＼r＼n)
}
))
}
服务器中存中间进程icebox目接收全部调接口发送服务器信息利registerTopic函数良信息需丢弃信息进行区分验证接收信息性icebox会信息事件中事件处理模块进程nsmeventd够处理安全事件nsmsd够时判断安全设备状态显示页面中
512 设备理模块实现
文设计智监台中设备理器模块实现相言十分简单系统求设备理器具良兼容性具体实现程中完成封装理基类具备设备添加理功功较单设备理模块实现父类理功调复杂设备设备理功进行集成全部设备类均父类进行集成通父类设备处理函数实现父类继承利父类设备实现流程简化时保持致性两级安系统处位置时会特殊场合某需求求台设备时利重定设备功程中没反复初始化设备标示外保证系统中安全设备相互独立关系设备理模块代码：
This function will perform a variety of control functions on devices
param dev the pointer of device driver structure
param cmd the command sent to device
param arg the argument of command
@return the result
rt_err_t rt_device_control(rt_device_t dev rt_uint8_t cmd void *arg)
{
RT_ASSERT(dev RT_NULL)
* call device write interface *
if (dev>control RT_NULL)
{
return dev>control(dev cmd arg)
}
return RT_EOK
}
513 事件处理模块实现
系统中安全理设备包括十种设备厂家产品型号相系统实现种安全设备事件规范制定设计事件模块安全事件具身规范安全设备划分两种容事件安全设备理系统接入前需通接口约定时限开发进入系统相应规范实现设备信息发送
外时间处理模块中安全设备状态较特殊文系统中均定时通安全事件方式进行报安全设备基信息相互独立中包含特殊信息需予标注说明安全设备信息事件起报通nsmsd核心函数合法性进行判断包括：
状态信息否完整指否全部信息正确报部分非空字段果确实丢失状态
二否通正常设备完成状态信息发送该部分通HandleIPConfice函数实现函数够状态中唯标识符通存数库设备基信息进行读取报基信息果macip信息符需实现设备状态转移进行操作够完整信息假满足两条件会转相应安全设备模块处理函数中实现步容
514 安全评估模块实现
安全评估目网络中否具安全隐患进行判断理安全设备局域网中工作机器具密切关系原重复性次递减例防火墙检查规包含容：
防火墙工作状态进行检查首先运行状态进行检测判断防火墙体化安全防护设备否定方式完成部署需需求进行部署认防火墙状态满分否认定零分
二防火墙旁路进行检查设备边界访问控制模块网络接口状态外网交换网络数包进行检查判断否旁路24h未发生旁路告警项目认定满分规定时间发生旁路告警认定零分
三理员口令检查否缺省进行检查已更改口令项目认定满分未更改认定零分
述防火墙安全检查中继承两类实现两函数函数功安全检查计划分析安全理域情况文件容通日期作单位实现map函数结果安天记录日独立函数操作函数输出安全检查周期计划等实现重新整合利完成页面读取
515 数备份模块实现
数备份模块属系统数备份程中运行部分执行台程序接受数备份策略传递信息实现数备份操作首先实现级身数备份操作利数备份代码表示利HDFS带API安HDFS中写入文件操作配置信息部分通数备份策略页面HDFS默认系统配置实现代码：
public bool BackUPDB(string strDbName string strFileName)
{
SQLDMOSQLServer svr new SQLDMOSQLServerClass()
try
{
svrConnect(ServerName UserName Password)
SQLDMOBackup bak new SQLDMOBackupClass()
bakAction SQLDMOSQLDMO_BACKUP_TYPESQLDMOBackup_Database
bakInitialize true
bakFiles strFileName
bakDatabase strDbName
bakSQLBackup(svr)
return true
}
if (saveFileDialogShowDialog() DialogResultOK)
{
if (smBackUPDB(数名称 saveFileDialogFileName))
{
MessageBoxShow(数备份成功 提示 MessageBoxButtonsOK)
}
}
完成备份相应目录中容删利网络传输顶级安根次数实现级安身发送xml报文级安实现网络传输工作通知备份安系统顶级安会作NameNode身文件映射表进行更新直全网完成备份全网备份完成机会动调方法系统消息数库写入信息完成备份假出现传输失败情况安系统记录跳全部安系统完成备份重新发送命令字果失败发送系统消息表示网络原导致安备份失败通系统理员进行处理
516 桌面虚拟化实现
摸拟桌面协议发送终端设备终端设备通接收该协议容获传统PC机相体验户登录虚拟机需输入正确口令信息时完成桌面系统访问系统操作指令通网络传送服务器实现相应运算处理时利桌面远程协议桌面视图终端中予显示交互图
图51虚拟桌面系统信息交互
（1）虚拟化桌面服务器端虚拟桌面系统服务器桌面分发理等部分组成虚拟化桌面服务器端功包含实现数储存系统托虚拟桌面分发理等等（2）户接收服务器端托工具运行环境求较低传统计算机中运行移动终端中运行总体言通服务器储存等加虚拟化套件结构服务器端实现服务器端资源托系统理员说户具体需求服务器端完成资源高效配置户获取更户 体验服务器端资源更合理利
台搭建时规划服务器虚拟化作基础服务器提供计算力设计基业务力统计结果知：两种业务类型计算量分布全天时间段编单业务播出整备业务计算量峰值未出现叠加计算量峰值言前者明显者根述分析结果知者节目单编排相虚拟化环境中进行部署部署虚拟化桌面需瘦客户机网络等资源投入原工控机换代投入确定利虚拟化技术完成基础台搭建需相虚拟化硬件配置服务器桌面虚拟化通实际调研结果发现VMware 虚拟化解决述问题合适方案需VMware vSphere 服务器虚拟化环境配置VMware Horizon View服务实现服务器桌面虚拟化部署图52虚拟机配置规划
图52虚拟机配置规划
图示虚拟机配置计划虚拟化部署时计算力求基实现设备采购次采购8台虚拟化机2 套 作存储系统2 台博科6505光纤交换机作SAN 存储4台思科3750 万兆交换机实现VLAN划分作理外服务交换器台思科3750 万兆交换机部署办公区
设备房子楼层提升系统整体安全性完成系统部署时设备均分布两楼层进行部署通光纤等进行互联采虚拟机配置两口分光纤交换机连接进实现两台SAN 享存储连接配置千兆太网口84 口组接入交换机外接入交换机外服务接口引出路办公区设备相连虚拟化桌面瘦客户机连接入交换机虚拟化桌面理系统中新建名智监台手动桌面池桌面池中配置相应桌面模板完成桌面模板配置应编单虚拟机虚拟桌面分配相互 独立账户户通分配户名密码实现虚拟化桌面操作系统配置系统配置HP 零终端作访问虚拟化桌面客户机优势体现利极简零终端操作系统完成相关协议运行具安全性高启动速度快等诸优势外该终端带扬声器实现音频监听系统配置USB 接口外设连接种接口连接形式程度系统带定安全风险通HP 零终端产品进行进步研究发现通工程模式配置USB 设备接入执行相应线网络设备策略
52 系统测试
521 系统部分功测试
（1）文件导入测试该测试额目数导入容正确性否通压缩格式完成文件储存利三文件写入文件压缩格式写入Hadoop中表51数写入测试
表51 数写入测试
测试务
Hadoop数写入
输入项
日志数文件
前置条件
Hadoop集群启动
测试步骤
生成三日志文件
写入集群文件机载
作源三日志文件合成文件
实现载日志排序
排序合日志
启动三日志写入进程实现日志写入
通vimdiff两份日志
预期结果
原始文件导入载文件样
测试结果
预期结果相符
（2）数处理测试数处理测试时首先两份测试数作日志输入方便结果验证准备简单数图51测试数1中包括三条数数实现分割条数中具五字段日志命名pv图52第二份测试数中具三条数实现数分割条数具三字段日志命名成click
图51 测试数1
图52 测试数2
定义日志解析器分隔符进行解析命名测试数1中字段成AE测试数2中字段名定义成ac框架具数处理运行意义框架测试数处理务测试实现通数报表实现测试图53数报表需求第列属需求名称第二列第三列分源日志计算输出结果第四列需求计算类型第五列指计算字段名表52数报表生成测试测试够队动配置文件进行运行实现务成插件部署运行环境中否生成配置文件进行验证
表52 数报表生成测试
测试务
生成数报表
前置条件
Hadoop集群启动
输入项
日志数文件数报表需求
测试步骤
输入务脚务配置文件
AE作字段名pv日志解析器配置
允许click处理务
ac作字段名click日志解析器配置
允许pv处理务
允许uv处理务
实现机载
预期结果
计算结果包括两条数：
测试结果
预期相
522 系统性测试
系统集群配置利数量实现系统测试单机性实验环境Intel I3处理器
CPU频3GHz
硬盘500G
存4GB
Hadoop集群通三台种计算机构成单机服务器通台种计算机构成利两种台中服务器创建索引时间性进行测试精准结果通次试验均值实现图51系统性测试结果
图51 系统性测试结果
通图51出数量较少时候Hadoop集群数处理速度没单机快Hadoop分布式特性决定假数量较少Hadoop法身优势充分发挥出数量断增加程中Hadoop性优势会更加明显通图51表示数量断增加程中Hadoop台中数处理时间没增加单机处理数时间断增加通实验表示基Hadoop台系统量文档数处理程中优势较明显
523安全评估
现集群中级安发起命令完成时间进行测试详见表53：
表53 作业优先级独占集群完成时间
名称
优先级
独占集群作业完成时间
测试1：级评估提交间隔5s提交序分级二级三级结果详见表54：
表54 先提交高级作业测试结果
名称
原公调度算法中完成时间
改进完成时间
测试2：级评估提交间隔5s提交序分二级级三级结果详见表55：
表55 先提交中级作业测试结果
名称
原公调度算法中完成时间
改进完成时间
测试3：级评估提交间隔5s提交序分三级级二级结果详见表55：
表55 先提交低级作业测试结果
名称
原公调度算法中完成时间
改进完成时间
根述结果知级安全评估作业类型间显著差异通公调查结果表示作业完成时间作业提交先序相关表示文系统数存储中心通改进公调度方法保证级安系统发起评估实现快速作业二级三级安系统优先级降低
第六章 总结展
61 工作总结
文工作：调研hadoopMapReduce数处理机制原理结合虚拟机部署量终端二分析电视播出业务实际需求安全快速目标够提供数安全检索等功三分析数处理程中异常情况原老系统进行较观察性效率否提高
文设计智监台数备份程中具较高安全性统性整体性够恢复数分配资源程中具优先级实现数恢复操作传统系统基Hadoop技术智监台具较高效率安全性
文结合hadoop技术特点某电视台实际需求通搭建系统实现基Hadoop某电视台智监台前计算机理系统已技术发展存储理力远远新求应Hadoop分布式技术简单性安全性较高文设计程中通改进Hadoop算法避免出现性瓶颈通改进够HDFS系统满足安全级联系统分布广泛设备繁琐较问题设计数备份恢复功分子模块出相应实现方法代码文件分配整体HDFS系统中Hadoop系统APIHDFS系统中取出相应文件实现数恢复总体说通研究Hadoop技术结合数备份需求设计智监台够满足实际需求
62 研究展
研究中安级联系统作树结构通树子节点构成子树结构够通顶级安子树节点实现数备份恢复操作通整体安级联结构顶级安实现外系统顶级安较赖果顶级安出现问题整系统法实现双机热备机方法实现数备份降低系统顶级安赖
参考文献
[1] 肖庆松 基Hadoop网络取证分析系统设计实现[D] 山东师范学 2015
[2] 张柳 云环境网络告警理系统设计[D] 南京邮电学 2015
[3] 刘芬 廖荣涛 余铮 Hadoop线网络日志分析系统设计[J] 电子技术软件工程 2017(22)30
[4] 付伟 基HadoopWeb日志分析台设计实现[D] 北京邮电学 2015
[5] 辛跃华 基Hadoop云端安全存储系统研究设计[J] 科教文汇 2016(28)
[6] 裴浩 数背景高职计算机网络专业课程体系改革研究[J] 物联网技术 2016(12)
[7] Zhang Haishan Research and Design of Video Surveillance system based on Cloud Storage [D] Wuhan Institute of Post and Telecommunications Sciences 2015
[8] 莫加亮 基Hadoop技术电信数分析台设计分析[J] 网络安全技术应 2017(6)
[9] 张俊杰 基Hadoop电子文件分类系统设计实现[D] 东南学 2016
[10] 卞涛 罗泽 马永征 基Hadoop分布式视频处理[J] 科研信息化技术应 2016(4)
[11] 杨丕仁 基Hadoop利Hive进行网络日志存储分析[J] 电子技术软件工程 2017(2)163165
[12] 丁文涛 基Hadoop脸识系统研究设计[D] 江苏科技学 2017
[13] 潘乔 电网监控系统设计运行[J] 中国新技术新产品 2015(17)33
[14] Zhang Yingying Research and implementation of secure cloud storage file system based on SSH framework[D] Xi ＇an University of Technology 2016
[15] 王伟 廖正宇 张辉 et al 基数铁路信号系统数存储分析系统设计实现[J] 信息网络安全 2017(1)
[16] 郭凯振 基Hadoop分布式计算系统设计实现[D] 连海事学 2015
[17] 陈卓 王春 佳伟 基公钥基础设施Hadoop安全机制设计[J] 计算机测量控制 2016 24(4)
[18] 李晨 杨子江 朱世伟 et al 基Hadoop网络舆情监控台设计实现[J] 计算机技术发展 2016(2)144149
[19] Mr Wang Design and implementation of cloud computing education resource sharing platform based on Hadoop [D] Inner Mongolia University 2015
[20] 卢厅 基Hadoop业务程模型理方法研究[D] 湖南科技学 2015
[21] 文燕 基Hadoop农业数理台设计[J] 计算机系统应 2017(5)
[22] 龚志霖 孙麒 基Hadoop线考试系统设计研究[J] 工业控制计算机 2016 29(7)133134
[23] 陈志华 基 Hadoop 神网络算法网络学评价中应研究[J] 计算机数字工程 2016(2)
[24] 崔岩 基Hadoop舌部图预处理时间研究[J] 计算机时代 2016(11)5456
[25] 段军红 张东 史庆华 基Hadoop海量数存储台设计开发[J] 电子技术软件工程 2017(16)162162
[26] Yuan Yaxin Design and implementation of Yunping platform based on Hadoop traffic information parallel processing [D] University of Electronic Science and Technology 2015
[27] 尹飞 高东 石建峰 et al 基Hadoop分布式网仿真台设计[J] 计算机应化学 2016 33(6)
[28] 杨利娟 基Hadoop云台数挖掘技术天气数应研究[D] 北京邮电学 2015
[29] 李莉 基云计算台Hadoop行kmeans聚类算法设计研究[J] 网络安全技术应 2017(12)4950
[30] 姚银锋 基Hadoop应视化研究实现[D] 北京邮电学 2015
[31] 文婷 刘健 袁庆升 et al 支持Hadoop数访问pNFS框架研究实现[J] 计算机应研究 2016 33(11)33403344
[32] Zhang Jin Research on Web crawler Technology based on Hadoop platform [D] Nanjing University of posts and Telecommunications 2017
[33] 袁胜 基Hadoop心肌缺血辅助诊断工作站设计实现[D] 华南理工学 2016
[34] 郑艳霞 基云计算视频监控系统设计[D] 成理工学 2015
[35] 陈娟 基Hadoop网购物系统算法分析实现[D] 江西农业学 2015
[36] 秦东霞 韦家骥 齐迎春 基Hadoop云台设计实现[J] 智计算机应 2016 6(4)3234
[37] 张传勇 基hadoop影视碎片云存储设计实现[D] 山东学 2015
[38] 杜娟 基Hadoop视频云转码系统研究设计[D] 南京邮电学 2017
[39] 李英 Hadoop保护数安全9技巧[J] 计算机网络 2016 42(1)5959
[40] 兆良 张文涛 葛慧 et al 基Hadoop台日志分析模型[J] 计算机工程设计 2016 37(2)338344
[41] 施磊磊 施化吉 宋玉 et al 基Hadoop分布式题网络爬虫设计实现[J] 信息技术 2015(7)109112
[42] 张效尉 陈亚峰 秦东霞 基 Hadoop 云存储系统研究实现[J] 商丘师范学院学报 2015(9)6064
[43] 尹飞 基Hadoop道网络分布式实时计算应[D] 北京化工学 2016
[44] 谭雄飞 钱建良 陈亚 搭建基Hadoop云计算台 [J] 江苏第二师范学院学报 2016(12)32365页
[45] 邹倩颖 基Hadoop倒排索引研究实现[J] 福建电脑 2016(1)124124
[46] Wang Pugang Design and implementation of Industrial Log system based on HBase [D] Dalian University of Technology 2016
[47] 卢厅 刘建勋 文 et al 基Hadoop业务程模型理方法研究[J] 计算技术动化 2015(4)115121
[48] 杨志伟 基Hadoop规模网络入侵检测技术研究[D] 新疆学 2015
[49] 李甲帅 彭长根 朱义杰 et al 面Hadoop风险访问控制模型[J] 网络信息安全学报 2016 2(1)
[50] 艾超 针线产品支撑数滤分析系统研究设计[D] 电子科技学 2015
[51] 蒋云霞 符琦 基Hadoop云教学资源台研究[J] 代教育理实践 2016 8(4)111113
[52] 王研 张岩 基Hadoop云台实现基准测试[J] 沈阳师范学学报(然科学版) 2016 34(2)240245
[53] 吴真 基Hadoop台构建数仓库关键技术研究[D] 华北电力学 2017
[54] Li Rongrong Research on big data Mining platform based on Hadoop [J] Southern Agricultural Machinery 201748 (22) 111111
[55] Tu Zhusong Research on data sharing Model based on Hadoop [D] Hefei University of Technology 2015
[56] 范孟 王攀 基Hadoop固网宽带终端识技术研究实现[J] 计算机技术发展 2017(11)
[57] 万钧 沈斌 周兰凤 基角色信访问控制Hadoop实现[J] 现代电子技术 2017(24)1719+22
[58] 刘珊珊 基云计算台Hadoop聚类神网络算法研究实现[D] 贵州学 2016
[59] Yang Peng Analysis of Network Node behavior based on Hadoop [D] Beijing University of posts and Telecommunications 2015
[60] 申剑博 基Hadoop面社交网络友推荐系统研究应[D] 西安工程学 2015
致谢
半年文历选题开题撰写等阶段期间导师指导作次修改易稿文已接尾声回首整程艰辛收获汗水喜悦
篇文导师次指导完成感谢您宝贵学机会作您学生您里学宽广胸襟学敏锐思维宽阔视野深信路艰辛累累收获程日工作实践奠定必基础
里感谢学院老师步成长悉心指导完成次老师道声：老师您辛苦谢谢您外文终利完成提供参考文献学者离开感谢提供宝贵文献资料写文程中参考
学友情深情兄妹年夕相处记忆里时常浮现起点点滴滴窗情必终生难忘
感谢文评审答辩中予私帮助老师感谢指出足促成长
时学程中亲情陪伴付出衷心感谢家
感谢年关心帮助谨文铭记似海深情谨文献祝福感恩
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档