爬虫入门到放弃系列05:从程序模块设计到代理IP池

前言

上篇文章吧啦吧啦讲了一些有的没的,现在还是回到主题写点技术相关的。本篇文章作为基础爬虫知识的最后一篇,将以爬虫程序的模块设计来完结。

在我漫(liang)长(nian)的爬虫开发生涯中,我通常将爬虫程序分为四大模块。

如图,除了代理模块是根据所需引入程序,请求、解析、储存模块是必不可少的。

代理模块

代理模块主要是构建代理IP池。在第三篇中讲过为什么需要代理IP,因为很多网站是通过请求频率来识别爬虫,即记录一个IP在一段时间内的请求次数,所以可以通过更换代理IP来提高爬取效率。

概念

什么是代理IP池?

和线程池、连接池的理念一样,预先将多个代理IP放入一个公共区域供多个爬虫使用,每次用完之后再放回。

为什么需要代理池?

正常情况下,我们在程序中是这样添加代理IP的。

proxies = {
    'https': 'https://183.220.xxx.xx:80'
}
response = requests.get(url, proxies=proxies)

这样我们就只能使用一个IP,这时候可能有人就会说:

就算使用集合可以存放多个代理IP,但是如果IP失效需要删除,或者添加新的IP时,还是一样需要终止程序修改代码。我在初学编程的时候,老师就经常说这么一句话:

直到现在,这句话也时常在耳边萦绕。而代理模块就是提供了灵活增删代理IP、验证IP有效性的功能。

实现

目前,一般使用MySQL来存放代理IP。先看一下代理池的表设计。

CREATE TABLE `proxy` (
  `ip` varchar(100) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

我的表结构设计比较简单粗暴,只有一个字段。在开发中可以根据自己的需要来进行细分。

再看一下表里面的数据:

从图中看着,代理IP是由支持的协议 + IP + port组成。

最后,代理池代码奉上:

import requests
import pymysql

class proxyPool:
    # 初始化数据连接
    def __init__(self, host, db, user, password, port):
        self.conn = pymysql.connect(host=host,
                                    database=db,
                                    user=user,
                                    password=password,
                                    port=port,
                                    charset='utf8')
    # 从数据库获取ip
    def get_ip(self):
        cursor = self.conn.cursor()
        cursor.execute('select ip from proxy order by rand() limit 1')
        ip = cursor.fetchone()
        # 如果代理ip表中有数据,则进行判断,没有则返回空
        if ip:
            judge = self.judge_ip(ip[0])
            # 如果ip可用直接将其放回,不可用再重新调用此方法从数据库获取一个IP
            if judge:
                return ip[0]
            else:
                self.get_ip()
        else:
            return ''

    # 判断ip是否可用
    def judge_ip(self, ip):
        http_url = 'https://www.baidu.com'
        try:
            proxy_dict = {
                "http": ip,
            }
            response = requests.get(http_url, proxies=proxy_dict)
        except Exception:
            self.delete_ip(ip)
            return False
        else:
            code = response.status_code
            if code in (200, 299):
                return True
            else:
                self.delete_ip(ip)
                return False

    # 从数据库中删除无效的ip
    def delete_ip(self, ip):
        delete_sql = f"delete from proxy where ip='{ip}'"
        cursor = self.conn.cursor()
        cursor.execute(delete_sql)
        self.conn.commit()

代理池工作流程主要分为两部分:

  1. 从数据中获取IP。如果数据库没有可用IP,则表示不使用代理,返回空;如果有IP,则进入下一步
  2. 对IP进行有效性验证。如果IP无效,删除IP并重复第一步;如果IP有效,则返回IP

使用

代理池最终的目的还是提供有效代理IP。玩的比较花的可以将代理池与爬虫程序分离,将代理池独立成一个web接口,通过url来获取代理IP,需要使用Flask或者Django来搭建一个web服务。

我一般就是直接放在爬虫程序中。样例代码如下:

pool = proxyPool('47.102.xxx.xxx', 'test', 'root', 'root', 3306)
proxy_ip = pool.get_ip()
url = 'https://v.qq.com/detail/m/m441e3rjq9kwpsc.html'
proxies = {
    'http': proxy_ip
}
if proxy_ip:
    response = requests.get(url, proxies=proxies)
else:
    response = requests.get(url)
print(response.text)

代理IP的来源

这个之前也讲过,代理IP可以付费购买或者从网上使用免费的。因为免费IP存活率低,所以代理池主要是面向于免费IP。

一般都是单独开发一个爬虫程序来爬取免费的IP,并放入到数据库中,然后验证可用性。

请求/解析模块

在前几篇写的爬虫样例中,都是对单个url进行的爬取。而爬虫程序往往都是以网站为单位进行的爬取。归根结底,都是基于请求模块和解析模块来设计实现的。

如果想爬取整个网站,首先必须确定一个网站入口,即爬虫程序第一个访问的url。然后接着对返回的网页进行解析,获取数据或者获取下一层url继续请求。

这里就拿腾讯视频举个栗子,我们来**爬取动漫的信息*。

1. 选择网站入口

分析需求,选取网站入口。此时,需要明确的是:动漫频道url就是网站入口

我们对网站入口,即动漫频道进行请求后,解析返回的网页内容。我们从页面中可以发现,动漫频道下有国漫、日漫、战斗等分类。

查看网页源码:

如上图,我们可以从动漫首页解析出来各个分类的url

2.分类请求

在获取到各个分类的url之后,继续发起请求。这里首先对国漫的url进行请求,返回的网页内容如下:

如图,都是国漫分类下的动漫列表。在浏览器中,我们点击哪个动漫就能进入它的播放页,所以在这个页面上我们可以解析到这些国漫的播放页链接

我们查看此页面的网页源码:

如图,我们可以获取到各个国漫播放页的url

3.定向到信息页

以第一个国漫斗罗大陆为例,我们获取到它的播放页url,进行请求并返回播放页内容。

我们发现,点击右上角的斗罗大陆就会进入详情页。所以我们需要解析右上角详情页的url进行请求,来获取详情页的网页内容。

4.获取数据

对详情页的网页内容进行解析,得出自己想要的数据,具体代码在第一篇文章的样例中。

从上面的四个步骤来看,爬虫对网站的爬取就是层层递进,逐级访问。我们要找准网站入口,明确想要获取的数据内容,规划好网站入口到获取数据的路径

当然其中还是有很多可以优化的地方,例如从第二步可以略过第三步,直接请求第四步的详情页。我们比对一下播放页和详情页的url。

# 斗罗大陆的播放页和详情页
https://v.qq.com/x/cover/m441e3rjq9kwpsc.html
https://v.qq.com/detail/m/m441e3rjq9kwpsc.html
# 狐妖小红娘的播放页和详情页
https://v.qq.com/x/cover/0sdnyl7h86atoyt.html
https://v.qq.com/detail/0/0sdnyl7h86atoyt.html

从上面两对url中我们不难看出其中的规律。所以我们在第二步解析出国漫播放页的url之后,经过处理,就可以直接得到详情页的url。

备注:上面对腾讯视频的爬取分析仅做流程参考,实际开发可能涉及异步请求等方面的知识。

存储模块

爬取的数据只有存储下来,爬虫才变得更有意义。

通常爬取数据格式有文本、图片等,这里先看图片如何下载并保存到本地目录。

图片下载

之前我用scrapy内置的ImagesPipeline下载GIF动图的时候,折腾了老半天,下载下来的还不是动图。于是回归原始,终成功,一行代码慰平生。

代码如下:

urllib.request.urlretrieve(imageUrl, filename)

所以,不论以后你用原生爬虫还是scrapy的时候,下载图片就记住一行代码就行了!

找个图片链接测试一下:

右键图片,选择拷贝图像地址。

将图片地址放入程序中,代码如下:

import urllib.request
urllib.request.urlretrieve('http://puui.qpic.cn/vcover_vt_pic/0/m441e3rjq9kwpsc1607693898908/0', './1.jpg')

我将图片下来,保存到当前目录并命名为1.jpg,运行程序。

文本数据

  1. 存放于文件中
with open("/path/file.txt", 'a', encoding='utf-8') as f:
  f.write(data + '\n')
  1. 使用pymsql模块将数据存放到MySQL的数据表中

  2. 使用pandas或者xlwt模块将数据存放到excel中

结语

本篇文章主要写了一下自己对爬虫程序模块设计的理解,也是对爬虫基础知识的一个总结和收尾。期待下一次相遇。

写的都是日常工作中的亲身实践,置身自己的角度从0写到1,保证能够真正让大家看懂。

文章会在公众号 [入门到放弃之路] 首发,期待你的关注。

给TA买糖
共{{data.count}}人
人已赞赏
经验教程

从零学脚手架(二)---初识webpack

2021-3-9 9:28:00

经验教程

漫画 | 公司前端把后端告上县衙,还列了 5 宗罪!

2021-3-9 9:52:00

⚠️
免责声明:根据《计算机软件保护条例》第十七条规定“为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬。”您需知晓本站所有内容资源均来源于网络,仅供用户交流学习与研究使用,版权归属原版权方所有,版权争议与本站无关,用户本人下载后不能用作商业或非法用途,需在24个小时之内从您的电脑中彻底删除上述内容,否则后果均由用户承担责任;如果您访问和下载此文件,表示您同意只将此文件用于参考、学习而非其他用途,否则一切后果请您自行承担,如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。 本站为个人博客非盈利性站点,所有软件信息均来自网络,所有资源仅供学习参考研究目的,并不贩卖软件,不存在任何商业目的及用途,网站会员捐赠是您喜欢本站而产生的赞助支持行为,仅为维持服务器的开支与维护,全凭自愿无任何强求。本站部份代码及教程来源于互联网,仅供网友学习交流,若您喜欢本文可附上原文链接随意转载。
无意侵害您的权益,请发送邮件至 momeis6@qq.com 或点击右侧 私信:momeis 反馈,我们将尽快处理。
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索