您的当前位置:首页 >> 期刊文献 >> 正文
基于aiohttp的异步爬虫的设计与实现
摘 要:
爬虫是I/O密集型任务,即爬虫程序中涉及较多的操作是读写操作,所以爬取效率是大家比较关注的问题之一。提高爬取效率的方式有很多,比如:异步爬虫、多进程方式、多线程方式等。文章主要涉及异步爬虫方式,以一个图片网站作为案例,通过使用aiohttp实现异步爬虫,从而高效获取目标站点的数据。与同步爬虫对比,异步爬虫在实战项目中更具有实用价值。
作 者:
  • 李阳;范伊红;李彦蓉;王朝阳;
单 位:
    河南科技大学软件学院
关键字:
  • Python;网络爬虫;异步爬虫;aiohttp;
页 码:
    56-57
出 处:
HTML阅读PDF文献下载您还没有登陆会员账号,请先登陆,在进行阅读或下载!
返回顶部 关注公众号