时隔3年,摄影网站依旧可用,果然靠谱,Python爬虫100例,第2篇复盘文章

爬虫100例(复盘) 专栏收录该内容
3 篇文章 9 订阅

爬虫 100 例专栏复盘系列第二篇文章

本次要复盘爬虫 100 例专栏中的,第 5,6,7,8 篇博客,刷新部分案例,以及解答大家在评论区提供的相关问题。

案例五:图片网爬虫

原案例学习博客参考:https://dream.blog.csdn.net/article/details/82892288

本案例在本地复盘时,发现目标网站已经消失不见了,又是一个没有坚持过 3 年的网站。

复盘之后发现本案例整体编码与思路无问题,评论区有朋友寻求代码中的一个模块,即 http_help.py,这次你可以直接去 https://codechina.csdn.net/hihell/scrapy 案例 5 获取了。

本案例升级为 http://www.jj20.com/bz/ktmh/list_16_1.html 网站,该网站应该也是一个临时站点,大家可以优先爬取壁纸,在本地做好存储,以防网站忽然间再次消失。

案例六:蜂鸟网图片爬取

原案例学习博客参考:https://dream.blog.csdn.net/article/details/82976900

这个案例在测试的时候,只需要修改一点点就可以用了,而且目标网站也可用。

数据接口的请求参数有一些变化,具体如下:

http://image.fengniao.com/list.php?action=getList&class_id=192&sub_classid=1587&page=1&not_in_id=0
http://image.fengniao.com/list.php?action=getList&class_id=192&sub_classid=1587&page=2&not_in_id=0

其它代码保持一致即可,测试了一遍,下载的图片质量依旧非常高。

代码下载地址为:https://codechina.csdn.net/hihell/scrapy

案例七:蜂鸟网论坛爬虫

本案例只需要修改一个正则提取的表达式即可,原案例学习博客参考:https://blog.csdn.net/hihell/article/details/82988649

pic_list_pattern = re.compile('var picList = eval\(\'\(\'\+\'\[(.*?)\]\'\+\'\)\'\);')

其余内容无更改,可以直接去下载代码,地址为:https://codechina.csdn.net/hihell/scrapy

案例八:蜂鸟网论坛爬虫

该案例依旧可用,原案例学习博客参考:https://dream.blog.csdn.net/article/details/82995074

今日复盘结论

复盘结果满意,竟然有 3 个案例依旧可用,可见蜂鸟网的活力,为其点赞,橡皮擦的爬虫课果然没选错。

良心博主,竟然 3 年不掉线。

收藏时间

做个不可能实现的任务吧,收藏过 400,橡皮擦将回复评论区所有人,发一个神秘码

今天是持续写作的第 188 / 200 天。
可以关注我,点赞我、评论我、收藏我啦。

更多精彩

相关推荐
©️2020 CSDN 皮肤主题: 博客之星2020 设计师:CY__ 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值