首页
期刊大全
万向问答
期刊动态
学术会议
科研项目
帮助中心
免费注册
|
会员登录
文献检索:
文献标题
文献标题
关键词
摘要
作者
单位
搜索
您的当前位置:
首页
>>
期刊文献
>> 正文
基于aiohttp的异步爬虫的设计与实现
摘 要:
爬虫是I/O密集型任务,即爬虫程序中涉及较多的操作是读写操作,所以爬取效率是
大家
比较关注的问题之一。提高爬取效率的方式有很多,比如:异步爬虫、多进程方式、多线程方式等。文章主要涉及异步爬虫方式,以一个图片网站作为案例,通过使用aiohttp实现异步爬虫,从而高效获取目标站点的
数据
。与同步爬虫对比,异步爬虫在实战项目中更具有实用价值。
作 者:
李阳;范伊红;李彦蓉;王朝阳;
单 位:
河南科技大学软件学院
关键字:
Python;网络爬虫;异步爬虫;aiohttp;
页 码:
56-57
出 处:
无线互联科技
-
2021年17期
您还没有登陆会员账号,请先登陆,在进行阅读或下载!