Scrapy框架

发布 : 2017-01-11 分类 : Python爬虫 浏览 :

1.Scrapy框架

Scrapy是用纯Python实现一个为了爬取网站数据、提取结构化数据而编写的应用框架，用途非常广泛。

1
2
3
4
5
6
框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，
用来抓取网页内容以及各种图片，非常之方便

Scrapy 使用了 Twisted['twɪstɪd'](其主要对手是Tornado)异步网络框架来处理网络通讯
可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口
可以灵活的完成各种需求

Markdown

1
2
3
4
5
6
7
8
9
10
11
12
13
Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，

Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，

Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.

Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。

Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

1.1.Scrapy的运作流程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
代码写好，程序开始运行...

引擎：Hi！Spider, 你要处理哪一个网站？

Spider：老大要我处理xxxx.com。

引擎：你把第一个需要处理的URL给我吧。

Spider：给你，第一个URL是xxxxxxx.com。

引擎：Hi！调度器，我这有request请求你帮我排序入队一下。

调度器：好的，正在处理你等一下。

引擎：Hi！调度器，把你处理好的request请求给我。

调度器：给你，这是我处理好的request

引擎：Hi！下载器，你按照老大的下载中间件的设置帮我下载一下这个request请求

下载器：好的！给你，这是下载好的东西。（如果失败：sorry，这个request下载失败了。然后引擎告诉调度器，这个request下载失败了，你记录一下，我们待会儿再下载）

引擎：Hi！Spider，这是下载好的东西，并且已经按照老大的下载中间件处理过了，你自己处理一下（注意！这儿responses默认是交给def parse()这个函数处理的）

Spider：（处理完毕数据之后对于需要跟进的URL），Hi！引擎，我这里有两个结果，这个是我需要跟进的URL，还有这个是我获取到的Item数据。

引擎：Hi ！管道 我这儿有个item你帮我处理一下！调度器！这是需要跟进URL你帮我处理下。然后从第四步开始循环，直到获取完老大需要全部信息。

管道``调度器：好的，现在就做！

注意！只有当调度器中不存在任何request了，整个程序才会停止，（也就是说，对于下载失败的URL，Scrapy也会重新下载。）

1.2.编写Scrapy爬虫

1
2
3
4
新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目
明确目标 （编写items.py）：明确你想要抓取的目标
制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页
存储内容 （pipelines.py）：设计管道存储爬取内容

1.3.Scrapy Shell

1
2
3
Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。

如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大，提供智能的自动补全，高亮输出，及其他特性。（推荐安装IPython）

1.3.1.selector选择器

1
2
3
4
5
6
7
8
Scrapy Selectors 内置 XPath 和 CSS Selector 表达式机制

Selector有四个基本的方法，最常用的还是xpath:

xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表
extract(): 序列化该节点为Unicode字符串并返回list
css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表，语法同 BeautifulSoup4
re(): 根据传入的正则表达式对数据进行提取，返回Unicode字符串list列表

以腾讯社招的网站http://hr.tencent.com/position.php?&start=0#a举例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
# 启动
scrapy shell "http://hr.tencent.com/position.php?&start=0#a"

# 返回 xpath选择器对象列表
response.xpath('//title')
[<Selector xpath='//title' data=u'<title>\u804c\u4f4d\u641c\u7d22 | \u793e\u4f1a\u62db\u8058 | Tencent \u817e\u8baf\u62db\u8058</title'>]

# 使用 extract()方法返回 Unicode字符串列表
response.xpath('//title').extract()
[u'<title>\u804c\u4f4d\u641c\u7d22 | \u793e\u4f1a\u62db\u8058 | Tencent \u817e\u8baf\u62db\u8058</title>']

# 打印列表第一个元素，终端编码格式显示
print response.xpath('//title').extract()[0]
<title>职位搜索 | 社会招聘 | Tencent 腾讯招聘</title>

# 返回 xpath选择器对象列表
response.xpath('//title/text()')
<Selector xpath='//title/text()' data=u'\u804c\u4f4d\u641c\u7d22 | \u793e\u4f1a\u62db\u8058 | Tencent \u817e\u8baf\u62db\u8058'>

# 返回列表第一个元素的Unicode字符串
response.xpath('//title/text()')[0].extract()
u'\u804c\u4f4d\u641c\u7d22 | \u793e\u4f1a\u62db\u8058 | Tencent \u817e\u8baf\u62db\u8058'

# 按终端编码格式显示
print response.xpath('//title/text()')[0].extract()
职位搜索 | 社会招聘 | Tencent 腾讯招聘

response.xpath('//*[@class="even"]')
职位名称:

print site[0].xpath('./td[1]/a/text()').extract()[0]
TEG15-运营开发工程师（深圳）
职位名称详情页:

print site[0].xpath('./td[1]/a/@href').extract()[0]
position_detail.php?id=20744&keywords=&tid=0&lid=0
职位类别:

print site[0].xpath('./td[2]/text()').extract()[0]
技术类

2.新建Scrapy项目

1
scrapy startproject matrixspider

Markdown

1
2
3
4
5
6
7
8
9
10
11
scrapy.cfg ：项目的配置文件

matrixspider/ ：项目的Python模块，将会从这里引用代码

matrixspider/items.py ：项目的目标文件

matrixspider/pipelines.py ：项目的管道文件

matrixspider/settings.py ：项目的设置文件

matrixspider/spiders/ ：存储爬虫代码目录

2.1.明确目标(matrixspider/items.py)

1
2
3
4
5
6
7
8
9
我们打算抓取：http://www.datatang.com/data/shopping-mall.html 网站里的所有数据名称、数据图像、数据价格。

打开matrixspider目录下的items.py

Item定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误。

可以通过创建一个scrapy.Item类，并且定义类型为scrapy.Field的类属性来定义一个Item（可以理解成类似于ORM的映射关系）。

接下来，创建一个MatrixspiderItem类，和构建item模型（model）。

2.1.1.items.py

1
2
3
4
5
6
7
8
9
10
# -*- coding: utf-8 -*-

import scrapy

class MatrixspiderItem(scrapy.Item):
    name = scrapy.Field()
    author = scrapy.Field()
    hot = scrapy.Field()
    comment = scrapy.Field()
    pass

2.2.制作爬虫（spiders/matrixspider.py）

1
爬虫功能要分两步：

2.2.1.爬数据

在当前目录下输入命令，将在matrixspider/spider目录下创建一个名为matrix的爬虫，并指定爬取域的范围：

1
scrapy genspider matrix "meishij.net"

打开matrixspider/spider目录里的matrix.py，默认增加了下列代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
其实也可以由我们自行创建matrix.py并编写上面的代码，只不过使用命令可以免去编写固定代码的麻烦

要建立一个Spider，你必须用scrapy.Spider类创建一个子类，并确定了三个强制的属性和一个方法

name = "" ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字

allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略

start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成

parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下

负责解析返回的网页数据(response.body)，提取结构化数据(生成item)
生成需要下一页的URL请求
1
2
3
4
5
6
7
8
9
10
11
12
13
14
# -*- coding: utf-8 -*-
import scrapy
from matrixspider.items import MatrixspiderItem

class MatrixSpider(scrapy.Spider):
    name = "matrix"
    allowed_domains = ["meishij.net"]
    start_urls = (
        'http://www.meishij.net/chufang/diy/',
    )

    def parse(self, response):
        filename = "chufang.html"
        open(filename, 'w').write(str(response.body))

在matrixspider目录下运行

1
scrapy crawl matrix
1
2
3
4
matrix是matrixspider类的name属性，也就是使用 scrapy genspider命令的唯一爬虫名。

运行之后，如果打印的日志出现 [scrapy] INFO: Spider closed (finished)，代表执行完成。
之后当前文件夹中就出现了一个shopping-mall.html文件，里面就是我们刚刚要爬取的网页的全部源代码信息。

2.2.2.取数据

1
爬取整个网页完毕，接着就是要取数据了，首先观察页面源码：

Markdown

使用Scrapy shell测试获取选择器

1
scrapy shell http://www.meishij.net/chufang/diy/

Markdown

matrix.py

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# -*- coding: utf-8 -*-
import scrapy
from matrixspider.items import MatrixspiderItem


class MatrixSpider(scrapy.Spider):
    name = "matrix"
    allowed_domains = ["meishij.net"]
    start_urls = (
        'http://www.meishij.net/chufang/diy/',
    )

    def parse(self, response):
        items = []
        for each in response.xpath('//div[@class="c1"]'):
            item = MatrixspiderItem()
            item['name'] = each.xpath('strong/text()').extract()[0]
            item['author'] = each.xpath('em/text()').extract()[0]
            item['comment'] = each.xpath('span/text()').extract()[0].split(" ")[0]
            item['hot'] = each.xpath('span/text()').extract()[0].split(" ")[3]
            # xpath返回的是包含一个元素的列表
            items.append(item)
            # 将获取的数据交给pipelines
            # yield item
        # 返回数据，不经过pipeline
        return items

在matrixspider目录下运行

1
scrapy crawl matrix

Markdown

2.3.保存数据

1
2
3
4
5
6
7
8
9
10
11
# json格式，默认为Unicode编码
scrapy crawl matrix -o chufang.json

# json lines格式，默认为Unicode编码
scrapy crawl matrix -o chufang.jsonl

# csv 逗号表达式，可用Excel打开
scrapy crawl matrix -o chufang.csv

# xml格式
scrapy crawl matrix -o chufang.xml

Markdown

Markdown

2.4.Item Pipeline

1
2
3
4
5
6
7
当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。

每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用：

验证爬取的数据(检查item包含某些字段，比如说name字段)
查重(并丢弃)
将爬取结果保存到文件或者数据库中

编写item pipeline

1
编写item pipeline很简单，item pipiline组件是一个独立的Python类，其中process_item()方法必须实现:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
import something

class SomethingPipeline(object):
    def __init__(self):    
        # 可选实现，做参数初始化等
        # doing something

    def process_item(self, item, spider):
        # item (Item 对象) – 被爬取的item
        # spider (Spider 对象) – 爬取该item的spider
        # 这个方法必须实现，每个item pipeline组件都需要调用该方法，
        # 这个方法必须返回一个 Item 对象，被丢弃的item将不会被之后的pipeline组件所处理。
        return item

    def open_spider(self, spider):
        # spider (Spider 对象) – 被开启的spider
        # 可选实现，当spider被开启时，这个方法被调用。

    def close_spider(self, spider):
        # spider (Spider 对象) – 被关闭的spider
        # 可选实现，当spider被关闭时，这个方法被调用

item写入JSON文件

1
2
以下pipeline将所有(从所有'spider'中)爬取到的item，存储到一个独立地items.json 文件，
每行包含一个序列化为'JSON'格式的'item':
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html

import json

class MatrixspiderPipeline(object):
    def __init__(self):
        self.file = open('menu.json', 'wb')

    def process_item(self, item, spider):
        content = json.dumps(dict(item), ensure_ascii=False) + "\n"
        self.file.write(bytes(content,encoding='utf-8'))
        return item

    def close_spider(self, spider):
        self.file.close()

启用一个Item Pipeline组件

1
2
3
为了启用Item Pipeline组件

必须将它的类添加到settings.py文件ITEM_PIPELINES配置，就像下面这个例子:
1
2
3
ITEM_PIPELINES = {
   'matrixspider.pipelines.MatrixspiderPipeline': 300,
}

Markdown

1
2
分配给每个类的整型值，确定了他们运行的顺序，item按数字从低到高的顺序，
通过pipeline，通常将这些数字定义在0-1000范围内（0-1000随意设置，数值越低，组件的优先级越高）

重新启动爬虫

1
scrapy crawl matrix
1
查看当前目录是否生成menu.json

Markdown

本文作者 : Matrix
原文链接 : https://matrixsparse.github.io/2017/01/11/Scrapy框架/
版权声明 : 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明出处！

知识 & 情怀 | 二者兼得

微信扫一扫, 向我投食

微信扫一扫, 向我投食

支付宝扫一扫, 向我投食

支付宝扫一扫, 向我投食

标签: #大数据 #Python爬虫
留下足迹