基增量式爬虫搜索引擎系统设计实现
基增量式爬虫搜索引擎系统设计实现
摘
着社会断发展信息增长越越快量数涌现面前数信息查找提取会更加困难更快速更精准找需信息获取信息成重技术传统搜索引擎次开发搜索引擎具针性更新频率快实时数进行爬取户次获取数新
次课题Windows台基Python中Scrapy框架网络数进行爬取获取数进行保存Redis分布式保存通流行搜索引擎elasticsearch进行索引数进行连接然通Django框架快速搭建搜索网站讲解完成Djangoelasticsearch搜索查询交互通Scrapyd完成Scrapy线部署户针性信息进行搜索查询通系列实验验证获取数存储Redis证明增量式爬虫传统搜索引擎优点优势
关键词：Scrapy搜索引擎增量式Django框架爬虫
Design and Implementation of Search Engine System Based on Incremental Crawler
ABSTRACT
With the continuous development of society information is growing faster and faster and a large amount of data appears in front of us For these data we will find it more difficult to find and extract information How to find the information we need faster and more accurately and obtain useful information has become an important technology Compared with traditional search engines the search engine developed this time is targeted and updated frequently It can crawl data in real time so that the data obtained by users every time is the latest
This topic crawls network data based on the Scrapy framework in Python under the Windows platform and saves the obtained data locally and Redis distributed preservation Through the most popular search engine elasticsearch for indexing and data connection then quickly build a search website through the Django framework explain how to complete the search query interaction between Django and elasticsearch and finally complete online deployment of Scrapy through Scrapyd Users can search and query information in a targeted manner Through a series of experimental verifications the data obtained is well stored locally and in Redis proving the advantages and advantages of incremental crawlers in traditional search engines
Keywords Scrapy search engine incremental Django framework crawler
目录
1 绪 1
11搜索引擎背景 1
12搜索引擎目意义 1
13国外搜索引擎发展现状 2
131 搜索引擎发展阶段 2
14 文研究容 3
15 文结构安排 4
2搜索引擎相关技术介绍 4
21 搜索引擎技术 4
211 搜索引擎索引 5
22 网络爬虫相关技术 6
221 深度优先 7
222 广度优先 7
223 网页链接重 7
23 网络爬虫分类 7
24 章结 8
3基增量式爬虫搜索引擎系统实现 8
31 Scrapy爬虫搜索引擎系统分析设计 8
311 虚拟环境安装 8
312 Scrapy介绍配置 9
313 搜索引擎系统分析设计 11
32 数展示 13
33 前端引擎展示 14
34 章难点容解决 15
4基增量式爬虫搜索引擎系统测试 17
41 测试环境 17
42 测试结果 17
43 章结 19
5结期 19
参考文献 1
致谢 1
1绪
11搜索引擎背景
着时代发展工智时代数变越越数着互联网越越丰富数处理达新层次数处方面身边身边数仅电脑电视手表甚家电涵盖种样数纸质版报纸等传统媒体已逐渐转互联网互联局飞速发展时代说信息时代中特点数量信息资源丰富种样利数数更服务成新问题目前基数做事情越越例：数分析服务互联网金融数建模信息聚类然语言处理医疗病例分析等等系统需数通爬虫获取进行规范化完成着数时代搜索引擎成解决问题方法获取数数进行系列处理利特定策略数存储服务器户简单友界面通界面户需查找栏里面搜索医药获取数关键字点击搜素获系列关信息列表年发展搜索引擎成互联网重部分搜索引擎解决需求着计算机崛起系列关计算机技术招聘容成时代热门够快速效找已相关感兴趣技术文章更提高学生求职者需求爆炸性中信息互联网里面找文章求职信息关键步搜索引擎面校园学生老师搜寻资料计算机感兴趣群Scrapy框架造分布式爬虫通elasticsearchDjango造简易高效搜索引擎网站
12搜索引擎目意义
搜索引擎说重性言语现种样搜索引擎提供者样化性化服务前通谷歌种公司API 接口进行搜索户法控制搜索数量频率目前许强搜索引擎早期相现搜索引擎改进少搜索引擎界面做修改搜索引擎搜索方式进行提升次研究数基Java技术次通Python中Scrapy框架获取针型数风格针性开发做搜索引擎实现搜索引擎方法进行进步提升计算机技术方面群进行更关键搜索结果群获想数进行便利次研究原型01开发终测试结果效果错基础搜索引擎进行进步完善提升次研究更受众群获益定程度减少搜索结果导致身没法真正会数案例次Python更进行发扬作Python中数处理友性导致方数处理等方面更表现力
13国外搜索引擎发展现状
1990年前互联网里面数搜索1990年Arichie出现利文件名索引互联网中网站程序文件第次实现搜索种功效率极低算真正意义搜索引擎直1995年搜索引擎真正出现发展25年25年里互联网完全发展起网站发布成断降网络享资源信息段增加时互联网面Web站点数量早已超150万信息飞速膨胀远远超出时手动查阅范围1995年成搜索引擎重起点户急需工具进行快速精准搜索想数年里出现搜索引擎ExciteFastSearchAltaVistaInfoSeek等许非常著名搜索引擎始1995年中著名yahoocom1995年开始快速发展迅速成时著名搜索引擎然全球访问量第五网站19951998互联网飞快发展时间信息爆炸式增长开始满足户需求Google腾空出世利PageRank连接分析等技术提高搜索效率质量快速抢占国搜索引擎市场成目前强搜索引擎1998年Google仅实现里搜索引擎动态摘网页快DailyRefresh图股票词典等样方式集成搜索支持语言界面革新永久改变搜索引擎格局
131 搜索引擎发展阶段
搜索引擎发展分四阶段：
第阶段：分类目录阶段
阶段搜索引擎刚起步阶段互联网网页开始阶段阶段手工网页进行分类户通种方式寻找网站纯手工方式没特巧妙技术快取代阶段具代表性搜索引擎yahoo国hao123优点明显工挑选网站质量会较高快进入第二阶段
第二阶段：文检索阶段
文检索阶段利关键字进行检索代搜索引擎工形式法满足需求信息开始增户需求增搜索引擎开始进入爬虫时代动获取网页信息容时期网络技术发展户开始希容进行查找采典信息检索模型计算户需查询语句网页阶段Google成功建立网页链接分析技术基础文字检索进行搜索中效果较概率模型量空间模型早起搜索引擎ExciteAltaVista采模式种方式定弊端少员会利样缺陷增加收录关键词堆砌样网站快搜前面
第三阶段：整合分析阶段
着网络信息迅速膨胀够更解决户网页信息搜寻查找搜索引擎出现种反链兴算法网页间利连接关系搜索引擎链接起反链越说明网站越访问越关注样网站评分会越越高光阶段搜索引擎网页链接代表深入挖掘利种相推荐关系假设A网站阶段网站指AA网站相网页推荐说明A网站具知名度种连接分析深入心改进搜索结果影响种基连接吻戏网站说考量网站指成种链式结构时候发布者网站更推荐会变流行容易检索基种逻辑找真正重网页呢通分析连接指时候出现熟知PR值（PageRank）PageRank算法Google提出引发学术界轰动起初算法优势非常明显少学者提出基算法改进直目前止算法进行钻漏洞进行购买链接等等然目前止商业搜索引擎采取算法链接技术少刚刚提弊端购买链接搜索引擎性化需求没考虑户输入相语句时会结果样查询结果质量会降低出现相困扰意见户说第四阶段出现必然
第四阶段：户中心阶段
着搜索引擎发展演变搜索引擎现代化智化搜索引擎通记录量户行数（跳出率点击率等）数演变成户核心搜索引擎开始户行分析通户网页操作行数等等产生权重举例子：户通搜索关键词查网页停留长段时间事物进行次点击反复进出页面搜索引擎会认页面户说需求面次搜索中关键词搜索分排名增加前
14 文研究容
次课题研究工作数获取总结分析部分实现代码通scrapy框架实现01实现三网站数获取百度google等型搜索引擎次研究更具针性获取数通异步存储步存储分保存数进行格式化处理然通简单django搭建前端界面通elasticsearch前端端数联系起
根述描述问题次研究工作安排：
1前急Java搭建爬虫框架理想代码量维护次通Python—scrapy框架进行研究scrapy适Python快速开发网络爬虫抓取框架兵器代码量少易修改维护提供种类型爬虫入Crawlspiderspider等实现搜索引擎系统原型
2通Scrapy框架应系统程中选择性深度优先者广度优先抓取网站url针型网站错种效果通scrapy框架中知道URL重模块抓取网站时候滤掉没URL进行异步解析网址针爬取数时候爬虫容易禁止问题提出线程池ip代理效解决方案
3通redis数库搭建作nosql数存储特点快程度解决存储足问题操作增删改查等功实现redis分布式爬虫充分利台服务器提高爬虫效率速度集成bloomfilter样redis高性keyvalue数库Redis仅支持步数分布服务器服务器意数量服务器步服务器关联服务器
4通elasticsearch提供Api接口搭建搜索引擎云计算中够方便快捷安装作良搜索引擎高扩展高实时分布式搜索数分析够储存数样支持实时GET请求适合nosql数存储
5通django搭建简单搜索引擎台elasticsearch进行查询交互已实现搜索引擎
15 文结构安排
文分七章节进行讨第章绪介绍搜索引擎背景目意义搜索引擎发展现状概介绍文研究容面设计时候做铺垫更清晰思路初步解搜索引擎搜索引擎技术网络爬虫技术进行介绍网络爬虫相关技术深度优先广度优先网页链接重等第二章技术相关知识点进行介绍第三五章作次课题研究重点scrapy应实例头尾进行分析第六章系统测试三五章节搜索引擎设计功进行测试分析第七章次研究总结未期
2搜索引擎相关技术介绍
21 搜索引擎技术
搜索引擎种帮助户搜索想容计算机程序说搜索七年前数计算机处理户需信息做匹配匹配结果展示出样搭建搜索引擎三关键问题需考虑：1保持高效爬取网页2样够建立效索引3判定搜索结果先序查询关键字应网页相关性想搭建搜索引擎优秀算法框架必少两前提搜索数爬取网页中做数获取存储检验搜索引擎否优秀标准选取搜索引擎方法关键额技术搜索引擎更加高效接章面章节实现搜索引擎系统做介绍
搜索引擎解决快速获取信息重方式搜索引擎工作原理理解总结说抓取网页处理网页提供检索服务搜索引擎网页抓取程序spiderspider通网络爬虫技术抓取网络种相关网页获取网页需做量预处理工作数进行处理检错重等提供检索服务中包括重点技术分词提取关键字建立检索服务等包括网页重分析url关次权重等等次课题里面会研究关搜索引擎相关知识幸运搜索引擎发展现阶段已开发相关库轻松调搜索引擎索引服务户输入关键词进行搜索搜索引擎会前建立索引数库中找想匹配关键词网页提供户参考图21
图21 搜索引擎工作流程
211 搜索引擎索引
理解搜索引擎中索引呢？什搜索引擎快索引重点接介绍索引相关知识介绍索引前先介绍生活中数类型结构化数非结构化数结构化数相mysql类数库值应关系通键值方式快获取信息非结构化数相nosql类数没严格格式容包括图文等等非结构化数提取重信息然组织成新信息索引
索引存两种：正索引倒排索引正索引头尾遍历匹配索引值进行累加图22
图22 正索引
种方式非常耗费资源般采倒排索引倒排索引会文件进行查找找文件中应值标注出现位置文件信息样索引结构直接应搜索排名户搜索关键词1搜索引擎会包含关键词1文件调出进行相关度权重计算样加快排名速度图23
图23 倒排索引
22 网络爬虫相关技术
网络诞生第爬虫1993年名字做互联网漫游者网站中网络机器者网络爬虫开发作者美国麻省理工学院学生马修互联网张巨蜘蛛网说数结构中图表示网络爬虫通图算法遍历互联网信息获取中数
互联网相张网网页网中点通点（url连接）访问网站网站网站直接通互联网连接起网络爬虫中点出发定规遍历网中需点（网页）遇合适需求网页载处理
网站面资源存储服务器面搜索引擎想获取户搜索首先网页存储服务器通爬虫获取数爬虫断网站发出请求容拷贝起前提反链技术通常说通网页网页发送请求然断重复程中细节考虑网页死循环连接网页中容发开时者开错误超时时候
次高速发爬取数挑战成千完数时进行保存爬取做互干扰步情况实现效率低需异步保存提取等等样爬虫工程相百度谷歌样搜索引擎次研究课题负担针计算机学术海量数进行抓取针性url进行重处理样数量想做高效快速符合户需求需涉技术章会呈现种抓取略实现爬虫住区提供帮助
221 深度优先
深度优先常描述条路走黑算法较理解字面深度访问第节点时候访问子节点直里层子节点遍历然访问相邻结点然重复循环深度优先确保结点走次缺陷分支深时候会出现问题
广度优先策略会消耗量存情况需采取策略深度优先解决消耗存策略次搜索程中需维护节点法知道条路径否短路径条路走黑导致策略法全面会深度优先广度优先遍历节点找合适方法章重点类型网页中网页结构样侧重点样
222 广度优先
广度优先称宽度优先深度优先想法通图片初步理解策略仅网络爬虫面存久领域广泛运
表面广度优先普通载网页帮韩连接直接获取url放队列末尾实际应程中体现出算法效果少报告提出策略然着算法普通抓取网页时候确实网站url网页排序广度哦优先条件果网页深网页网页容易户外层网页里面第层域名果兄弟网页话更优先获取网页容
广度优先搜索数结构中树体现节点中n相邻结点第节点获取时候先第节点放进然相邻n节点放进进行轮搜索中果轮树节点n时候队列存消耗空间会非常广度优先缺点输层次较深点较情况存会占较
223 网页链接重
网页链接重什网页链接重呢？什进行网页链接重呢？网络爬虫进行时候通常会网页互相关联url链接提取出作分析然进行载处理网页数偶互联网包含着量重复信息
23 网络爬虫分类
网络爬虫致分类：通型聚焦型增量式深度式中通爬虫称全网爬虫通者url扩展整web应型web采集数通搜索引擎类引擎少讲代码公布出爬取数量速度存储空间求较高爬取序容没什求网页较刷新频率较低然作通性搜索引擎具较强参考价值
聚焦爬虫提前设置相关结构选择性爬取兴趣相关web种爬虫通爬虫聚焦型需符合相关规定页面进行获取节省网络硬件保存页面较少更新快针特定户提供服务爬行策略四种基容评价基增强学基链接评价基语境图
增量爬虫较理解某新闻网站者资讯网站里面发布容天增加种者类网站爬取采增量式爬虫增量爬虫实原容面进行更新未改变容变获取网站产生新页面定程度保证爬取压面新
深度爬虫网站爬取分表层网页深层网页表层网页需提交表单静态url达网页深层网页隐藏表单面需提交关键词获取直接访问
24 章结
章搜索引擎网络爬虫相关技术进行介绍首先搜索引擎工作原理进行介绍次介绍搜索引擎中重技术—索引通搜索引擎介绍实现搜索引擎更理解铺垫介绍网络爬虫相关技术通章介绍初步解网络爬虫原理相关技术
3基增量式爬虫搜索引擎系统实现
第三章基础初步理解scrapy整体框架结构利框架开发功完整爬虫通源码分析模块具体作章解释scrapy中应接通代码演示重难点技术进行讲解
31 Scrapy爬虫搜索引擎系统分析设计
311 虚拟环境安装
方便解决项目赖库次课题虚拟环境开发解决 Python解释器中包混乱版容程序独立创建虚拟环境
直接运行pip install virtualenv图31：
图31 虚拟环境安装
312 Scrapy介绍配置
scrapypython开发快速高层次网站抓取框架抓取网络网络中提取结构化数scrapy重特性身高发底层异步IO框架twist时间循环回调模式
scrapy安装简单前介绍虚拟环境安装需虚拟环境通命令：pip install scrapy安装scrapy框架
scrapy新建pycharm项目：
通 scrapy startproject ArticleSpider 创建新项目图创建项目初始界面接分介绍文件：
图32 目录
代码分离性较易维护scrapy重结构数传递保存分开维护
spider里面存储具体爬虫代码
item作scrapy里面重类专门解决数传递问题解决数种pipeline间item理解dict增强版item里面集成dictitem里面具常dict法作容器包含爬取数类型：url容时间等等代码：
class JobBoleArticleItem(scrapyItem)
title scrapyField()
create_date scrapyField(
input_processorMapCompose(date_convert)
)
url scrapyField()
url_object_id scrapyField()
front_image_url scrapyField(
# input_processor MapCompose(add_author add_test) # 测试
output_processorIdentity()
)
front_image_path scrapyField()
pipeline专门做数保存数清洗数处理代码：
class MysqlTwistedPipline(object)
# 采异步方式导入mysql
def __init__(self dbpool)
selfdbpool dbpool
@classmethod
def from_settings(cls settings)
dbparms dict(
host settings[MYSQL_HOST]
db settings[MYSQL_DBNAME]
user settings[MYSQL_USER]
passwd settings[MYSQL_PASSWORD]
charset＇utf8＇
cursorclassMySQLdbcursorsDictCursor
use_unicodeTrue
)
dbpool adbapiConnectionPool(MySQLdb **dbparms)
return cls(dbpool)
def process_item(self item spider)
#twistedmysql插入变成异步执行
query selfdbpoolrunInteraction(selfdo_insert item)
queryaddErrback(selfhandle_error item spider) #处理异常
return item
settings项目设置文件项目进行初始化设置爬取延迟时间等
middleware设置中间件方访问网站时候设置机更换ua代理ip等等操作代码：
class RandomUserAgentMiddlware(object)
#机更换useragent
def __init__(self crawler)
super(RandomUserAgentMiddlware self)__init__()
selfua UserAgent()
selfua_type crawlersettingsget(RANDOM_UA_TYPE random)
@classmethod
def from_crawler(cls crawler)
return cls(crawler)
通图更加详细介绍scrapy运行程通图32分析scrapy
图33 scrapy架构图
①输写网站spider然会通yieldrequestsrequests发送engine
②engine什做直接传scheduler（调度器）
③schedul（调度器）会生成requests交engine
④engine通downloader middleware 层层滤讲数发送
⑤downloader载完成downloader middleware 数载返回response
⑥engineresponse返回spider然执行里面编写处理逻辑解析item
⑦解析出item传递item pipeline果reque第步样
⑧item pipeline解析item
样完成scrapy整数流流通章scrapy详细分析部分作接开发搭建搜索引擎做铺垫
313 搜索引擎系统分析设计
首先开发环境搭建：
IDEpycharm
数库：mysqlrediselasticsearch
开发环境：virtualenv
spider爬取网页
次课题中针三网页进行爬取scrapyspidercrawlspider两种方法
唯url扣获取文章网站基scrapyspider爬取思路：1获取文章列表页中文章url交scrapy载进行解析 2获取页url交scrapy载解析具体代码：
post_nodes responsecss(＇#news_list news_block＇)
for post_node in post_nodes
image_url post_nodecss(＇entry_summary a imgattr(src)＇)extract_first()
if image_urlstartswith()
image_url https + image_url
post_url post_nodecss(＇h2 aattr(href)＇)extract_first()
yield Request(urlparseurljoin(responseurl post_url) meta{front_image_url image_url}
callbackselfparse_detail)
break
行代码说获取url见scrapy强获取url接获取需具体信息里itemloader相item更易维护关itemloader详细法里做解释代码
item_loaderadd_value(praise_nums j_data[DiggCount])
item_loaderadd_value(fav_nums j_data[TotalView])
item_loaderadd_value(comment_nums j_data[CommentCount])
item_loaderadd_value(url_object_id get_md5(responsemetaget(url )))
全站爬取里crawlspider会更代码：
class LagouSpider(CrawlSpider)
name ＇lagou＇
allowed_domains [＇wwwlagoucom＇]
start_urls [＇httpswwwlagoucomzhaopinJavalabelWordslabel＇]
rules (
Rule(LinkExtractor(allow(zhaopin*)) followTrue)
Rule(LinkExtractor(allow(gongsij＼d+html)) followTrue)
Rule(LinkExtractor(allowr＇jobs＼d+html＇) callback＇parse_job＇ followTrue)
)
rules里面定义需爬取url网站滤掉rule规url样获url网站信息提取前样面展示部分代码：
item_loader LagouJobItemLoader(itemLagouJobItem() responseresponse)
item_loaderadd_css(title jobnameattr(title))
item_loaderadd_value(url responseurl)
item_loaderadd_value(url_object_id get_md5(responseurl))
item_loaderadd_css(salary job_request salarytext)
两爬虫写分需进行入库前提pipeline通pipeline数保存mysqlpipeline第三章已详细介绍里做描述
32 数展示
次课题数存储采关系型数库mysql利更储存理数提高数提取展示接网站获取数展示图41示整数库视化界面里利Navicat for MySQL针MySQL设计数库理工具视化方式数进行索引理
图41 数库界面
中article_spider次数库中jobbole_articlelagou_jobzhihu_answerzhihu_question次课题数文展示中数图42
图42 数保存mysql
33 前端引擎展示
前端搭建次课题选择Django框架搭建环境相独立里首先新建虚拟环境里实现搜索建议提示运elasticsearch基语法代码：
class SearchSuggest(View)
def get(self request)
key_words requestGETget(＇s＇ ＇＇)
re_datas []
if key_words
s ArticleTypesearch()
s ssuggest(＇my_suggest＇ key_words completion{
field suggest fuzzy {
fuzziness 2
}
size 10
})
suggestions sexecute_suggest()
for match in suggestionsmy_suggest[0]options
source match_source
re_datasappend(source[title])
return HttpResponse(jsondumps(re_datas) content_typeapplicationjson)
图43实现效果展示
图43搜索展示图
搜索结果图43
图43 搜索结果
整前端界面出简介清晰容分三类型搜索右边热门搜索前搜索记录中容搜索结果里搜索手机例子出手机标红手机关键字出现次数作权重序显示界面
34 章难点容解决
1selenium模拟登陆：
网站设立登录获取信息里需模拟登陆selenium作web动化测试工具直接运行浏览器想真正户操作样
首先需进入虚拟环境pip install selenium 进行安装selenium浏览器操作需载driver次实验chrome网站搜索chrome driver进行载模拟登陆前需重写方法接直接展示模拟浏览器代码：
def start_requests(self)
#selenium模拟登录cookie交scrapyrequest
#1通selenium模拟登录
#文件中读取cookies
cookies []
from selenium import webdriver
import time
browser webdriverChrome(executable_pathEchromedriverchromedriver_win32chromedriverexe)
browserget(httpspassportlagoucomloginloginhtml)
访问网页通selenium带api模拟点击页面进行操作登录登录网页获取cookies值进行保存次登陆时候通保存cookies直接进入网站
2文字倒立识：
文字倒立识次课题难点知反爬机制模拟登陆获取文字道理信息进行点击呢里简单思路：
1保存图片通网tensorflow进行图处理分析倒立文字位置进行识
2返回文字位置通selenium模拟点击登录
模拟点击登录代码长里全部展示：
保存图片
1 通保存base64编码
2 通crop方法
# 1 通保存base64编码
base64_text chinese_captcha_elementget_attribute(src)
import base64
code base64_textreplace(＇dataimagejpgbase64＇ ＇＇)replace(0A )
# print code
fh open(yzm_cnjpeg wb)
fhwrite(base64b64decode(code))
fhclose()
from zheye import zheye
z zheye()
positions zRecognize(yzm_cnjpeg)
3反爬虫实现机uaip代理
uauser agent缩写中文名户代理什需户代理呢？爬虫运行时候默认带scrapy进行访问网址部分网址说分辨出爬虫禁止访问时浏览器例FirefoxChrome等相代理firefox 浏览器中 user agent Mozilla50 (X11 Ubuntu Linux x86_64 rv540) Gecko20100101 Firefox540浏览器 user agent 样爬虫获取数时候果频繁ua会网站识禁止里需机换ua实现防止封github面已做件事维护量useragent
代码：
from fake_useragent import UserAgent
class RandomUserAgentMiddlware(object)
#机更换useragent
def __init__(self crawler)
super(RandomUserAgentMiddlware self)__init__()
selfua UserAgent()
selfua_type crawlersettingsget(RANDOM_UA_TYPE random)
@classmethod
def from_crawler(cls crawler)
return cls(crawler)
def process_request(self request spider)
def get_ua()
return getattr(selfua selfua_type)
requestheaderssetdefault(＇UserAgent＇ get_ua())
代理ip网免费ip网址通爬虫获取：
class RandomProxyMiddleware(object)
#动态设置ip代理
def process_request(self request spider)
get_ip GetIP()
requestmeta[proxy] get_ipget_random_ip()
4基增量式爬虫搜索引擎系统测试
41 测试环境
台：Windows10 64位
开发工具：Python37PyCharm2019Chrome760
42 测试结果
通ace手机关键词进行搜索百度图41百度搜索结果：
图41百度搜索结果
出什时候搜索关键词百度前面结果定广告想信息更新够快没定实效性次搜索引擎出发布时间信息容直接展示出实现标注红色效果
图42文实现搜索结果
43 章结
通次测试出结百度谷歌种型网络搜索引擎搜索结果定新更新频率法进行控制消息收录够时
搭建搜索引擎基网络爬虫获取数说事实访问存数通调节网站获取频率数爬虫直运行程中数会直更新实现次获取数全网新数解决文问题效果满意
5结期
通次课题研究解决实现针性搜索引擎更新搜索引擎容快速找效问题答案通网络爬虫学深入探讨尤Python中scrapy框架学研究助开源scrapy框架快获取源码利中间键快开发出套属针性搜索引擎简单利Django框架搭建套前端页面进行数采集视化研究通scrapy中spider爬取类型网站中关技术性文章某知名问答网站 某知名求职网站利scrapy框架爬取网站数
通课题实现发现问题部分校园搜索引擎基Java实现lucence目前受欢迎java全文搜索引擎然java说语言逻辑清晰容易理解java语言特点代码量较期维护时间较文利python已完成库实现搜索引擎代码量少易维护尝试实现基scrapy框架搜索引擎系统实现方法创新报告前提出拟解决问题仅找应解决方法做工作：
1url重策略运hash函数url进行md5获唯标识符
2频繁爬取网络数容易禁止文通延长爬虫频率根通更换IP代理解决爬虫禁止方法设置代理池量代理IP址放入中次爬取数时候机调中值
3通形式爬虫解Scrapy爬虫优势框架应种类型网站代码维护通item_loader代码更易维护修改移植
4针爬虫获取数保存面次课题研究仅利Scrapy带pipeline数进行保存编写中间件（pipeline）爬取数进行格式保存爬取速度保存速度样次课题先爬虫异步存储
着网络断发展网发布信息越越容易型网站面会属搜索引擎开发套模块开发研究搜索引擎变更容易开发移植Python里做仅代码容易修改针种类型网站错结果相反python缺点C语言C++语言说速度慢带Python模块说基C语言开发
爬虫数获取搜索引擎搭建说希爬虫技术搜索引擎重视起耿学学者支持数处理活户更想数重希见机智交互式搜索引擎工精准快速获取户想资料容
参考文献
[1]游治勇 基字分词方法研究实现[D]电子科技学2015
[2]王勇 面移动互联网性化推荐系统设计实现[D]北京交通学2016
[3]陈春阳利网络搜索引擎检索网络信息资源[J]兰州工业高等专科学校学报2003(01)4448
[4]陈龙飞 垂直搜索引擎烟草行业研究应[D]浙江理工学2016
[5]李霄 国搜索引擎产业创新中科技伦理问题研究[D]武汉学2017
[6]耿伟 基Python技术校园网搜索引擎设计实现[D]燕山学2015
[7]黄兴财 学生职位垂直捜索引擎设计实现[D]电子科技学2015
[8]韩逸 基增量式爬虫搜索引擎系统设计实现[D]东北学2015
[9]赵俊杰李思霖孙博瑞李梦浩浅谈数环境基python网络爬虫技术[J]中国新通信202022(04)68
[10]吴永聪浅谈Python爬虫技术网页数抓取分析[J]计算机时代2019(08)9496
[11]孙瑜 基Scrapy框架网络爬虫系统设计实现[D]北京交通学2019
[12]段晨迪 基ElasticSearch面M00C垂直搜索引擎设计实现[D]北京交通学2019
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档
基增量式爬虫搜索引擎系统设计实现
基增量式爬虫搜索引擎系统设计实现
摘
着社会断发展信息增长越越快量数涌现面前数信息查找提取会更加困难更快速更精准找需信息获取信息成重技术传统搜索引擎次开发搜索引擎具针性更新频率快实时数进行爬取户次获取数新
次课题Windows台基Python中Scrapy框架网络数进行爬取获取数进行保存Redis分布式保存通流行搜索引擎elasticsearch进行索引数进行连接然通Django框架快速搭建搜索网站讲解完成Djangoelasticsearch搜索查询交互通Scrapyd完成Scrapy线部署户针性信息进行搜索查询通系列实验验证获取数存储Redis证明增量式爬虫传统搜索引擎优点优势
关键词：Scrapy搜索引擎增量式Django框架爬虫
Design and Implementation of Search Engine System Based on Incremental Crawler
ABSTRACT
With the continuous development of society information is growing faster and faster and a large amount of data appears in front of us For these data we will find it more difficult to find and extract information How to find the information we need faster and more accurately and obtain useful information has become an important technology Compared with traditional search engines the search engine developed this time is targeted and updated frequently It can crawl data in real time so that the data obtained by users every time is the latest
This topic crawls network data based on the Scrapy framework in Python under the Windows platform and saves the obtained data locally and Redis distributed preservation Through the most popular search engine elasticsearch for indexing and data connection then quickly build a search website through the Django framework explain how to complete the search query interaction between Django and elasticsearch and finally complete online deployment of Scrapy through Scrapyd Users can search and query information in a targeted manner Through a series of experimental verifications the data obtained is well stored locally and in Redis proving the advantages and advantages of incremental crawlers in traditional search engines
Keywords Scrapy search engine incremental Django framework crawler
目录
1 绪 1
11搜索引擎背景 1
12搜索引擎目意义 1
13国外搜索引擎发展现状 2
131 搜索引擎发展阶段 2
14 文研究容 3
15 文结构安排 4
2搜索引擎相关技术介绍 4
21 搜索引擎技术 4
211 搜索引擎索引 5
22 网络爬虫相关技术 6
221 深度优先 7
222 广度优先 7
223 网页链接重 7
23 网络爬虫分类 7
24 章结 8
3基增量式爬虫搜索引擎系统实现 8
31 Scrapy爬虫搜索引擎系统分析设计 8
311 虚拟环境安装 8
312 Scrapy介绍配置 9
313 搜索引擎系统分析设计 11
32 数展示 13
33 前端引擎展示 14
34 章难点容解决 15
4基增量式爬虫搜索引擎系统测试 17
41 测试环境 17
42 测试结果 17
43 章结 19
5结期 19
参考文献 1
致谢 1
1绪
11搜索引擎背景
着时代发展工智时代数变越越数着互联网越越丰富数处理达新层次数处方面身边身边数仅电脑电视手表甚家电涵盖种样数纸质版报纸等传统媒体已逐渐转互联网互联局飞速发展时代说信息时代中特点数量信息资源丰富种样利数数更服务成新问题目前基数做事情越越例：数分析服务互联网金融数建模信息聚类然语言处理医疗病例分析等等系统需数通爬虫获取进行规范化完成着数时代搜索引擎成解决问题方法获取数数进行系列处理利特定策略数存储服务器户简单友界面通界面户需查找栏里面搜索医药获取数关键字点击搜素获系列关信息列表年发展搜索引擎成互联网重部分搜索引擎解决需求着计算机崛起系列关计算机技术招聘容成时代热门够快速效找已相关感兴趣技术文章更提高学生求职者需求爆炸性中信息互联网里面找文章求职信息关键步搜索引擎面校园学生老师搜寻资料计算机感兴趣群Scrapy框架造分布式爬虫通elasticsearchDjango造简易高效搜索引擎网站
12搜索引擎目意义
搜索引擎说重性言语现种样搜索引擎提供者样化性化服务前通谷歌种公司API 接口进行搜索户法控制搜索数量频率目前许强搜索引擎早期相现搜索引擎改进少搜索引擎界面做修改搜索引擎搜索方式进行提升次研究数基Java技术次通Python中Scrapy框架获取针型数风格针性开发做搜索引擎实现搜索引擎方法进行进步提升计算机技术方面群进行更关键搜索结果群获想数进行便利次研究原型01开发终测试结果效果错基础搜索引擎进行进步完善提升次研究更受众群获益定程度减少搜索结果导致身没法真正会数案例次Python更进行发扬作Python中数处理友性导致方数处理等方面更表现力
13国外搜索引擎发展现状
1990年前互联网里面数搜索1990年Arichie出现利文件名索引互联网中网站程序文件第次实现搜索种功效率极低算真正意义搜索引擎直1995年搜索引擎真正出现发展25年25年里互联网完全发展起网站发布成断降网络享资源信息段增加时互联网面Web站点数量早已超150万信息飞速膨胀远远超出时手动查阅范围1995年成搜索引擎重起点户急需工具进行快速精准搜索想数年里出现搜索引擎ExciteFastSearchAltaVistaInfoSeek等许非常著名搜索引擎始1995年中著名yahoocom1995年开始快速发展迅速成时著名搜索引擎然全球访问量第五网站19951998互联网飞快发展时间信息爆炸式增长开始满足户需求Google腾空出世利PageRank连接分析等技术提高搜索效率质量快速抢占国搜索引擎市场成目前强搜索引擎1998年Google仅实现里搜索引擎动态摘网页快DailyRefresh图股票词典等样方式集成搜索支持语言界面革新永久改变搜索引擎格局
131 搜索引擎发展阶段
搜索引擎发展分四阶段：
第阶段：分类目录阶段
阶段搜索引擎刚起步阶段互联网网页开始阶段阶段手工网页进行分类户通种方式寻找网站纯手工方式没特巧妙技术快取代阶段具代表性搜索引擎yahoo国hao123优点明显工挑选网站质量会较高快进入第二阶段
第二阶段：文检索阶段
文检索阶段利关键字进行检索代搜索引擎工形式法满足需求信息开始增户需求增搜索引擎开始进入爬虫时代动获取网页信息容时期网络技术发展户开始希容进行查找采典信息检索模型计算户需查询语句网页阶段Google成功建立网页链接分析技术基础文字检索进行搜索中效果较概率模型量空间模型早起搜索引擎ExciteAltaVista采模式种方式定弊端少员会利样缺陷增加收录关键词堆砌样网站快搜前面
第三阶段：整合分析阶段
着网络信息迅速膨胀够更解决户网页信息搜寻查找搜索引擎出现种反链兴算法网页间利连接关系搜索引擎链接起反链越说明网站越访问越关注样网站评分会越越高光阶段搜索引擎网页链接代表深入挖掘利种相推荐关系假设A网站阶段网站指AA网站相网页推荐说明A网站具知名度种连接分析深入心改进搜索结果影响种基连接吻戏网站说考量网站指成种链式结构时候发布者网站更推荐会变流行容易检索基种逻辑找真正重网页呢通分析连接指时候出现熟知PR值（PageRank）PageRank算法Google提出引发学术界轰动起初算法优势非常明显少学者提出基算法改进直目前止算法进行钻漏洞进行购买链接等等然目前止商业搜索引擎采取算法链接技术少刚刚提弊端购买链接搜索引擎性化需求没考虑户输入相语句时会结果样查询结果质量会降低出现相困扰意见户说第四阶段出现必然
第四阶段：户中心阶段
着搜索引擎发展演变搜索引擎现代化智化搜索引擎通记录量户行数（跳出率点击率等）数演变成户核心搜索引擎开始户行分析通户网页操作行数等等产生权重举例子：户通搜索关键词查网页停留长段时间事物进行次点击反复进出页面搜索引擎会认页面户说需求面次搜索中关键词搜索分排名增加前
14 文研究容
次课题研究工作数获取总结分析部分实现代码通scrapy框架实现01实现三网站数获取百度google等型搜索引擎次研究更具针性获取数通异步存储步存储分保存数进行格式化处理然通简单django搭建前端界面通elasticsearch前端端数联系起
根述描述问题次研究工作安排：
1前急Java搭建爬虫框架理想代码量维护次通Python—scrapy框架进行研究scrapy适Python快速开发网络爬虫抓取框架兵器代码量少易修改维护提供种类型爬虫入Crawlspiderspider等实现搜索引擎系统原型
2通Scrapy框架应系统程中选择性深度优先者广度优先抓取网站url针型网站错种效果通scrapy框架中知道URL重模块抓取网站时候滤掉没URL进行异步解析网址针爬取数时候爬虫容易禁止问题提出线程池ip代理效解决方案
3通redis数库搭建作nosql数存储特点快程度解决存储足问题操作增删改查等功实现redis分布式爬虫充分利台服务器提高爬虫效率速度集成bloomfilter样redis高性keyvalue数库Redis仅支持步数分布服务器服务器意数量服务器步服务器关联服务器
4通elasticsearch提供Api接口搭建搜索引擎云计算中够方便快捷安装作良搜索引擎高扩展高实时分布式搜索数分析够储存数样支持实时GET请求适合nosql数存储
5通django搭建简单搜索引擎台elasticsearch进行查询交互已实现搜索引擎
15 文结构安排
文分七章节进行讨第章绪介绍搜索引擎背景目意义搜索引擎发展现状概介绍文研究容面设计时候做铺垫更清晰思路初步解搜索引擎搜索引擎技术网络爬虫技术进行介绍网络爬虫相关技术深度优先广度优先网页链接重等第二章技术相关知识点进行介绍第三五章作次课题研究重点scrapy应实例头尾进行分析第六章系统测试三五章节搜索引擎设计功进行测试分析第七章次研究总结未期
2搜索引擎相关技术介绍
21 搜索引擎技术
搜索引擎种帮助户搜索想容计算机程序说搜索七年前数计算机处理户需信息做匹配匹配结果展示出样搭建搜索引擎三关键问题需考虑：1保持高效爬取网页2样够建立效索引3判定搜索结果先序查询关键字应网页相关性想搭建搜索引擎优秀算法框架必少两前提搜索数爬取网页中做数获取存储检验搜索引擎否优秀标准选取搜索引擎方法关键额技术搜索引擎更加高效接章面章节实现搜索引擎系统做介绍
搜索引擎解决快速获取信息重方式搜索引擎工作原理理解总结说抓取网页处理网页提供检索服务搜索引擎网页抓取程序spiderspider通网络爬虫技术抓取网络种相关网页获取网页需做量预处理工作数进行处理检错重等提供检索服务中包括重点技术分词提取关键字建立检索服务等包括网页重分析url关次权重等等次课题里面会研究关搜索引擎相关知识幸运搜索引擎发展现阶段已开发相关库轻松调搜索引擎索引服务户输入关键词进行搜索搜索引擎会前建立索引数库中找想匹配关键词网页提供户参考图21
图21 搜索引擎工作流程
211 搜索引擎索引
理解搜索引擎中索引呢？什搜索引擎快索引重点接介绍索引相关知识介绍索引前先介绍生活中数类型结构化数非结构化数结构化数相mysql类数库值应关系通键值方式快获取信息非结构化数相nosql类数没严格格式容包括图文等等非结构化数提取重信息然组织成新信息索引
索引存两种：正索引倒排索引正索引头尾遍历匹配索引值进行累加图22
图22 正索引
种方式非常耗费资源般采倒排索引倒排索引会文件进行查找找文件中应值标注出现位置文件信息样索引结构直接应搜索排名户搜索关键词1搜索引擎会包含关键词1文件调出进行相关度权重计算样加快排名速度图23
图23 倒排索引
22 网络爬虫相关技术
网络诞生第爬虫1993年名字做互联网漫游者网站中网络机器者网络爬虫开发作者美国麻省理工学院学生马修互联网张巨蜘蛛网说数结构中图表示网络爬虫通图算法遍历互联网信息获取中数
互联网相张网网页网中点通点（url连接）访问网站网站网站直接通互联网连接起网络爬虫中点出发定规遍历网中需点（网页）遇合适需求网页载处理
网站面资源存储服务器面搜索引擎想获取户搜索首先网页存储服务器通爬虫获取数爬虫断网站发出请求容拷贝起前提反链技术通常说通网页网页发送请求然断重复程中细节考虑网页死循环连接网页中容发开时者开错误超时时候
次高速发爬取数挑战成千完数时进行保存爬取做互干扰步情况实现效率低需异步保存提取等等样爬虫工程相百度谷歌样搜索引擎次研究课题负担针计算机学术海量数进行抓取针性url进行重处理样数量想做高效快速符合户需求需涉技术章会呈现种抓取略实现爬虫住区提供帮助
221 深度优先
深度优先常描述条路走黑算法较理解字面深度访问第节点时候访问子节点直里层子节点遍历然访问相邻结点然重复循环深度优先确保结点走次缺陷分支深时候会出现问题
广度优先策略会消耗量存情况需采取策略深度优先解决消耗存策略次搜索程中需维护节点法知道条路径否短路径条路走黑导致策略法全面会深度优先广度优先遍历节点找合适方法章重点类型网页中网页结构样侧重点样
222 广度优先
广度优先称宽度优先深度优先想法通图片初步理解策略仅网络爬虫面存久领域广泛运
表面广度优先普通载网页帮韩连接直接获取url放队列末尾实际应程中体现出算法效果少报告提出策略然着算法普通抓取网页时候确实网站url网页排序广度哦优先条件果网页深网页网页容易户外层网页里面第层域名果兄弟网页话更优先获取网页容
广度优先搜索数结构中树体现节点中n相邻结点第节点获取时候先第节点放进然相邻n节点放进进行轮搜索中果轮树节点n时候队列存消耗空间会非常广度优先缺点输层次较深点较情况存会占较
223 网页链接重
网页链接重什网页链接重呢？什进行网页链接重呢？网络爬虫进行时候通常会网页互相关联url链接提取出作分析然进行载处理网页数偶互联网包含着量重复信息
23 网络爬虫分类
网络爬虫致分类：通型聚焦型增量式深度式中通爬虫称全网爬虫通者url扩展整web应型web采集数通搜索引擎类引擎少讲代码公布出爬取数量速度存储空间求较高爬取序容没什求网页较刷新频率较低然作通性搜索引擎具较强参考价值
聚焦爬虫提前设置相关结构选择性爬取兴趣相关web种爬虫通爬虫聚焦型需符合相关规定页面进行获取节省网络硬件保存页面较少更新快针特定户提供服务爬行策略四种基容评价基增强学基链接评价基语境图
增量爬虫较理解某新闻网站者资讯网站里面发布容天增加种者类网站爬取采增量式爬虫增量爬虫实原容面进行更新未改变容变获取网站产生新页面定程度保证爬取压面新
深度爬虫网站爬取分表层网页深层网页表层网页需提交表单静态url达网页深层网页隐藏表单面需提交关键词获取直接访问
24 章结
章搜索引擎网络爬虫相关技术进行介绍首先搜索引擎工作原理进行介绍次介绍搜索引擎中重技术—索引通搜索引擎介绍实现搜索引擎更理解铺垫介绍网络爬虫相关技术通章介绍初步解网络爬虫原理相关技术
3基增量式爬虫搜索引擎系统实现
第三章基础初步理解scrapy整体框架结构利框架开发功完整爬虫通源码分析模块具体作章解释scrapy中应接通代码演示重难点技术进行讲解
31 Scrapy爬虫搜索引擎系统分析设计
311 虚拟环境安装
方便解决项目赖库次课题虚拟环境开发解决 Python解释器中包混乱版容程序独立创建虚拟环境
直接运行pip install virtualenv图31：
图31 虚拟环境安装
312 Scrapy介绍配置
scrapypython开发快速高层次网站抓取框架抓取网络网络中提取结构化数scrapy重特性身高发底层异步IO框架twist时间循环回调模式
scrapy安装简单前介绍虚拟环境安装需虚拟环境通命令：pip install scrapy安装scrapy框架
scrapy新建pycharm项目：
通 scrapy startproject ArticleSpider 创建新项目图创建项目初始界面接分介绍文件：
图32 目录
代码分离性较易维护scrapy重结构数传递保存分开维护
spider里面存储具体爬虫代码
item作scrapy里面重类专门解决数传递问题解决数种pipeline间item理解dict增强版item里面集成dictitem里面具常dict法作容器包含爬取数类型：url容时间等等代码：
class JobBoleArticleItem(scrapyItem)
title scrapyField()
create_date scrapyField(
input_processorMapCompose(date_convert)
)
url scrapyField()
url_object_id scrapyField()
front_image_url scrapyField(
# input_processor MapCompose(add_author add_test) # 测试
output_processorIdentity()
)
front_image_path scrapyField()
pipeline专门做数保存数清洗数处理代码：
class MysqlTwistedPipline(object)
# 采异步方式导入mysql
def __init__(self dbpool)
selfdbpool dbpool
@classmethod
def from_settings(cls settings)
dbparms dict(
host settings[MYSQL_HOST]
db settings[MYSQL_DBNAME]
user settings[MYSQL_USER]
passwd settings[MYSQL_PASSWORD]
charset＇utf8＇
cursorclassMySQLdbcursorsDictCursor
use_unicodeTrue
)
dbpool adbapiConnectionPool(MySQLdb **dbparms)
return cls(dbpool)
def process_item(self item spider)
#twistedmysql插入变成异步执行
query selfdbpoolrunInteraction(selfdo_insert item)
queryaddErrback(selfhandle_error item spider) #处理异常
return item
settings项目设置文件项目进行初始化设置爬取延迟时间等
middleware设置中间件方访问网站时候设置机更换ua代理ip等等操作代码：
class RandomUserAgentMiddlware(object)
#机更换useragent
def __init__(self crawler)
super(RandomUserAgentMiddlware self)__init__()
selfua UserAgent()
selfua_type crawlersettingsget(RANDOM_UA_TYPE random)
@classmethod
def from_crawler(cls crawler)
return cls(crawler)
通图更加详细介绍scrapy运行程通图32分析scrapy
图33 scrapy架构图
①输写网站spider然会通yieldrequestsrequests发送engine
②engine什做直接传scheduler（调度器）
③schedul（调度器）会生成requests交engine
④engine通downloader middleware 层层滤讲数发送
⑤downloader载完成downloader middleware 数载返回response
⑥engineresponse返回spider然执行里面编写处理逻辑解析item
⑦解析出item传递item pipeline果reque第步样
⑧item pipeline解析item
样完成scrapy整数流流通章scrapy详细分析部分作接开发搭建搜索引擎做铺垫
313 搜索引擎系统分析设计
首先开发环境搭建：
IDEpycharm
数库：mysqlrediselasticsearch
开发环境：virtualenv
spider爬取网页
次课题中针三网页进行爬取scrapyspidercrawlspider两种方法
唯url扣获取文章网站基scrapyspider爬取思路：1获取文章列表页中文章url交scrapy载进行解析 2获取页url交scrapy载解析具体代码：
post_nodes responsecss(＇#news_list news_block＇)
for post_node in post_nodes
image_url post_nodecss(＇entry_summary a imgattr(src)＇)extract_first()
if image_urlstartswith()
image_url https + image_url
post_url post_nodecss(＇h2 aattr(href)＇)extract_first()
yield Request(urlparseurljoin(responseurl post_url) meta{front_image_url image_url}
callbackselfparse_detail)
break
行代码说获取url见scrapy强获取url接获取需具体信息里itemloader相item更易维护关itemloader详细法里做解释代码
item_loaderadd_value(praise_nums j_data[DiggCount])
item_loaderadd_value(fav_nums j_data[TotalView])
item_loaderadd_value(comment_nums j_data[CommentCount])
item_loaderadd_value(url_object_id get_md5(responsemetaget(url )))
全站爬取里crawlspider会更代码：
class LagouSpider(CrawlSpider)
name ＇lagou＇
allowed_domains [＇wwwlagoucom＇]
start_urls [＇httpswwwlagoucomzhaopinJavalabelWordslabel＇]
rules (
Rule(LinkExtractor(allow(zhaopin*)) followTrue)
Rule(LinkExtractor(allow(gongsij＼d+html)) followTrue)
Rule(LinkExtractor(allowr＇jobs＼d+html＇) callback＇parse_job＇ followTrue)
)
rules里面定义需爬取url网站滤掉rule规url样获url网站信息提取前样面展示部分代码：
item_loader LagouJobItemLoader(itemLagouJobItem() responseresponse)
item_loaderadd_css(title jobnameattr(title))
item_loaderadd_value(url responseurl)
item_loaderadd_value(url_object_id get_md5(responseurl))
item_loaderadd_css(salary job_request salarytext)
两爬虫写分需进行入库前提pipeline通pipeline数保存mysqlpipeline第三章已详细介绍里做描述
32 数展示
次课题数存储采关系型数库mysql利更储存理数提高数提取展示接网站获取数展示图41示整数库视化界面里利Navicat for MySQL针MySQL设计数库理工具视化方式数进行索引理
图41 数库界面
中article_spider次数库中jobbole_articlelagou_jobzhihu_answerzhihu_question次课题数文展示中数图42
图42 数保存mysql
33 前端引擎展示
前端搭建次课题选择Django框架搭建环境相独立里首先新建虚拟环境里实现搜索建议提示运elasticsearch基语法代码：
class SearchSuggest(View)
def get(self request)
key_words requestGETget(＇s＇ ＇＇)
re_datas []
if key_words
s ArticleTypesearch()
s ssuggest(＇my_suggest＇ key_words completion{
field suggest fuzzy {
fuzziness 2
}
size 10
})
suggestions sexecute_suggest()
for match in suggestionsmy_suggest[0]options
source match_source
re_datasappend(source[title])
return HttpResponse(jsondumps(re_datas) content_typeapplicationjson)
图43实现效果展示
图43搜索展示图
搜索结果图43
图43 搜索结果
整前端界面出简介清晰容分三类型搜索右边热门搜索前搜索记录中容搜索结果里搜索手机例子出手机标红手机关键字出现次数作权重序显示界面
34 章难点容解决
1selenium模拟登陆：
网站设立登录获取信息里需模拟登陆selenium作web动化测试工具直接运行浏览器想真正户操作样
首先需进入虚拟环境pip install selenium 进行安装selenium浏览器操作需载driver次实验chrome网站搜索chrome driver进行载模拟登陆前需重写方法接直接展示模拟浏览器代码：
def start_requests(self)
#selenium模拟登录cookie交scrapyrequest
#1通selenium模拟登录
#文件中读取cookies
cookies []
from selenium import webdriver
import time
browser webdriverChrome(executable_pathEchromedriverchromedriver_win32chromedriverexe)
browserget(httpspassportlagoucomloginloginhtml)
访问网页通selenium带api模拟点击页面进行操作登录登录网页获取cookies值进行保存次登陆时候通保存cookies直接进入网站
2文字倒立识：
文字倒立识次课题难点知反爬机制模拟登陆获取文字道理信息进行点击呢里简单思路：
1保存图片通网tensorflow进行图处理分析倒立文字位置进行识
2返回文字位置通selenium模拟点击登录
模拟点击登录代码长里全部展示：
保存图片
1 通保存base64编码
2 通crop方法
# 1 通保存base64编码
base64_text chinese_captcha_elementget_attribute(src)
import base64
code base64_textreplace(＇dataimagejpgbase64＇ ＇＇)replace(0A )
# print code
fh open(yzm_cnjpeg wb)
fhwrite(base64b64decode(code))
fhclose()
from zheye import zheye
z zheye()
positions zRecognize(yzm_cnjpeg)
3反爬虫实现机uaip代理
uauser agent缩写中文名户代理什需户代理呢？爬虫运行时候默认带scrapy进行访问网址部分网址说分辨出爬虫禁止访问时浏览器例FirefoxChrome等相代理firefox 浏览器中 user agent Mozilla50 (X11 Ubuntu Linux x86_64 rv540) Gecko20100101 Firefox540浏览器 user agent 样爬虫获取数时候果频繁ua会网站识禁止里需机换ua实现防止封github面已做件事维护量useragent
代码：
from fake_useragent import UserAgent
class RandomUserAgentMiddlware(object)
#机更换useragent
def __init__(self crawler)
super(RandomUserAgentMiddlware self)__init__()
selfua UserAgent()
selfua_type crawlersettingsget(RANDOM_UA_TYPE random)
@classmethod
def from_crawler(cls crawler)
return cls(crawler)
def process_request(self request spider)
def get_ua()
return getattr(selfua selfua_type)
requestheaderssetdefault(＇UserAgent＇ get_ua())
代理ip网免费ip网址通爬虫获取：
class RandomProxyMiddleware(object)
#动态设置ip代理
def process_request(self request spider)
get_ip GetIP()
requestmeta[proxy] get_ipget_random_ip()
4基增量式爬虫搜索引擎系统测试
41 测试环境
台：Windows10 64位
开发工具：Python37PyCharm2019Chrome760
42 测试结果
通ace手机关键词进行搜索百度图41百度搜索结果：
图41百度搜索结果
出什时候搜索关键词百度前面结果定广告想信息更新够快没定实效性次搜索引擎出发布时间信息容直接展示出实现标注红色效果
图42文实现搜索结果
43 章结
通次测试出结百度谷歌种型网络搜索引擎搜索结果定新更新频率法进行控制消息收录够时
搭建搜索引擎基网络爬虫获取数说事实访问存数通调节网站获取频率数爬虫直运行程中数会直更新实现次获取数全网新数解决文问题效果满意
5结期
通次课题研究解决实现针性搜索引擎更新搜索引擎容快速找效问题答案通网络爬虫学深入探讨尤Python中scrapy框架学研究助开源scrapy框架快获取源码利中间键快开发出套属针性搜索引擎简单利Django框架搭建套前端页面进行数采集视化研究通scrapy中spider爬取类型网站中关技术性文章某知名问答网站 某知名求职网站利scrapy框架爬取网站数
通课题实现发现问题部分校园搜索引擎基Java实现lucence目前受欢迎java全文搜索引擎然java说语言逻辑清晰容易理解java语言特点代码量较期维护时间较文利python已完成库实现搜索引擎代码量少易维护尝试实现基scrapy框架搜索引擎系统实现方法创新报告前提出拟解决问题仅找应解决方法做工作：
1url重策略运hash函数url进行md5获唯标识符
2频繁爬取网络数容易禁止文通延长爬虫频率根通更换IP代理解决爬虫禁止方法设置代理池量代理IP址放入中次爬取数时候机调中值
3通形式爬虫解Scrapy爬虫优势框架应种类型网站代码维护通item_loader代码更易维护修改移植
4针爬虫获取数保存面次课题研究仅利Scrapy带pipeline数进行保存编写中间件（pipeline）爬取数进行格式保存爬取速度保存速度样次课题先爬虫异步存储
着网络断发展网发布信息越越容易型网站面会属搜索引擎开发套模块开发研究搜索引擎变更容易开发移植Python里做仅代码容易修改针种类型网站错结果相反python缺点C语言C++语言说速度慢带Python模块说基C语言开发
爬虫数获取搜索引擎搭建说希爬虫技术搜索引擎重视起耿学学者支持数处理活户更想数重希见机智交互式搜索引擎工精准快速获取户想资料容
参考文献
[1]游治勇 基字分词方法研究实现[D]电子科技学2015
[2]王勇 面移动互联网性化推荐系统设计实现[D]北京交通学2016
[3]陈春阳利网络搜索引擎检索网络信息资源[J]兰州工业高等专科学校学报2003(01)4448
[4]陈龙飞 垂直搜索引擎烟草行业研究应[D]浙江理工学2016
[5]李霄 国搜索引擎产业创新中科技伦理问题研究[D]武汉学2017
[6]耿伟 基Python技术校园网搜索引擎设计实现[D]燕山学2015
[7]黄兴财 学生职位垂直捜索引擎设计实现[D]电子科技学2015
[8]韩逸 基增量式爬虫搜索引擎系统设计实现[D]东北学2015
[9]赵俊杰李思霖孙博瑞李梦浩浅谈数环境基python网络爬虫技术[J]中国新通信202022(04)68
[10]吴永聪浅谈Python爬虫技术网页数抓取分析[J]计算机时代2019(08)9496
[11]孙瑜 基Scrapy框架网络爬虫系统设计实现[D]北京交通学2019
[12]段晨迪 基ElasticSearch面M00C垂直搜索引擎设计实现[D]北京交通学2019
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档