手把手教你使用Scrapy框架来爬取北京新发地价格行情（理论篇）

发布时间：2025-11-04 16:51:13 来源：创站工坊 作者：IT科技

大家好!我是手把手教使用霖hero。上个月的框架时候，我写了一篇关于IP代理的北京文章，手把手教你使用XPath爬取免费代理IP，格行今天在这里分享我的情理第二篇文章，希望大家可以喜欢。论篇

前言

有一天，手把手教使用我在逛街，框架突然被一声靓仔打断了我的北京脚步，回头一看，格行原来是情理水果摊阿姨叫我买水果，说我那么靓仔，论篇便宜一点买给我，手把手教使用自恋的框架我无法拒绝阿姨的一声声靓仔，于是北京买了很多水果回家，家人问我水果多少钱，结果如何，没错，水果买贵了!今天我们使用scrapy框架来爬取北京新发地价格行情，了解商品价格，家人再也不怕我买贵东西啦。

Scrapy简介

在爬取之前，我们先来学习一下什么Scrapy框架。

Scrapy是一个基于Twisted的免费信息发布网异步处理框架，是纯Python实现的爬虫框架，是提取结构性数据而编写的应用框架，其架构清晰，模块之间的耦合程度低，可扩展性极强，我们只需要少量的代码就能够快速抓取数据。

Scrapy框架介绍

首先我们看看经典的Scrapy框架架构图，如下图所示：

学Scrapy框架的绝大部分都看过这个图，图中分了很多部分，接下来，我们通过下面的表来简单地了解各个部分的作用。

在表中，我们可以发现，每部分都要经过引擎，亿华云上图中Scrapy Engine部分也是放在正中心，由此可知，Engine引擎是整个框架的核心。

注意：这些模块部分只有Spiders和Item Pipeline需要我们自己手写代码，其他的大部分都不需要。

Scrapy项目

大致了解了Scrapy框架的各个部分后，接下来我们开始创建一个Scrapy项目，可以使用如下命令：

创建一个scrapy项目名为test1的项目，如下图所示：

这样我们就创建好Scrapy项目了，如下图所示：

其中：

Spider爬虫

创建spider爬虫

要创建Spider爬虫，首先我们要进入刚才创建的Scrapy目录中，再在命令行运行以下命令：

以

网站为例子，该网站是一个著名作家名言的网站，创建Spider爬虫如下图所示：

创建spider爬虫后，spiders文件夹中多了一个firstspider.py，这个py文件就是我们创建爬虫，文件内容如下所示：

其中：

parse()提取数据并启动爬虫

大致了解了firstspider.py文件内容后，我们接下来尝试在parse()方法中提取响应的数据，具体代码如下所示：

这样我们就成功提取到引擎响应的内容数据了，接着输入以下命令来运行spider爬虫：

运行结果如下：

运行后发现我们结果里面多了很多log日志，这时可以通过在settings.py添加以下代码，就可以屏蔽这些log日志：

这样就可以直接输入我们想要的内容，如下图所示：

有人可能问：那User-Agent在哪里设置?

我们可以在settings.py中设置User-Agent，代码如下所示：

items.py介绍

为了避免拼写错误或者定义字段错误，我们可以在items.py文件中定义好字段，在上面提取数据中，我们获取了text、author内容，所以我们可以在items.py定义text和author字段，具体代码如下所示：

在items.py文件中，我们只需要使用scrapy.Field()来进行定义即可，scrapy.Field()是一个字典，总的来说我们可以把该类理解为一个字典。

接着在firstspider.py文件中导入我们的items.py，以及修改item={}，如下所示：

有人可能会说为什么要多此一举定义一个字典呢?

当我们在获取到数据的时候，使用不同的item来存放不同的数据，在把数据交给pipeline的时候，可以通过isinstance(item,Test1Item)来判断数据属于哪个item，进行不同的数据(item)处理。

例如我们获取到京东、淘宝、拼多多的数据时，我们可以items.py文件中定义好对应的字段，具体代码如下：

定义好字段后，这是我们通过在pipeline.py文件中编写代码，对不同的item数据进行区分，具体代码如下：

首先我们通过导入我们的items.py，通过isinstance()函数来就可以成功获取到对应的item数据了。

pipelines.py介绍

Item Pipeline为项目管道，当Item生成后，它就会自动被送到Item Pipeline进行处理，我们常用Item Pipeline来做以下操作：

pipelines.py内容如下所示：

在process_item()方法中，传入了两个参数，一个参数是item，每次Spider生成的Item都会作为参数传递过来。另一个参数是spider，就是Spider的示例。

完成pipeline代码后，需要在setting.py中设置开启，开启方式很简单，只要把setting.py内容中的以下代码的注释取消即可：

其中：

注意：

当我们有多个spider爬虫时，为了满足不同的spider爬虫需求，这时可以定义不同的pipeline处理不同的item内容;

当一个spider的内容可能要做不同的操作时，例如存入不同的数据库中，这时可以定义不同的pipeline处理不同的item操作。

例如当我们有多个spider爬虫时，可以通过pipeline.py编写代码定义多个pipeline，具体代码如下：

这样我们就可以处理到对应的spider爬虫传递过来的数据了。

定义好pipeline后，我们要在settings.py中设置pipeline权重，也就是那个pipeline先运行，具体代码如下：

数据传输到pipeline中

在上面我们已经提取到想要的数据，接下来将数据传到pipeline中，传输很简单，我们只需要使用yield，代码如下：

没错，只要在spider爬虫中写入这一行代码即可，那么为什么要使用yield呢?，我用return不能行吗?

行，但yield是让整个函数变成一个生成器，每次遍历的时候挨个读到内存中，这样不会导致内存的占用量瞬间变高。

实现翻页

我们成功获取到了一页数据了，那么问题来了，如何实现翻页呢，方法有很多种，我们主要介绍两种。

第一种：使用start_requests()方法

我们通过在spider爬虫中，也就是我们创建的firstspider.py中添加以下代码，具体代码如下：

第二种：在parse()方法中实现翻页

我们可以通过parse()方法中实现翻页，具体代码如下：

大家可以发现，上面两种翻页方式都差不多，只是一个在start_requests()方法实现，一个在parse()方法实现。

但都要使用scrapy.Request()方法，该方法能构建一个requests，同时指定提取数据的callback函数

其中：

保存数据

我们已经获取到数据而且实现了翻页，接下来是保存数据。

保存在文件中

当我们要把数据保存成文件的时候，不需要任何额外的代码，只要执行如下代码即可：

想要保存为什么格式的文件，只要修改后缀就可以了，在这里我就不一一例举了。

保存MongoDB中

当我们要把数据保存在MongoDB数据库的时候，就要使用Item Pipeline模块了，也就是说要在pipeline.py中编写代码，具体代码如下所示：

首先我们导入MongoClient模块并实例化MongoClient，创建一个集合，然后在process_item()方法中使用insert()方法把数据插入MongoDB数据库中。

好了，Scrapy知识就讲到这里，下一篇文章小编将带大家爬取北京新发地价格行情，顺便巩固我们今天学的知识。

总结

大家好，我是霖hero。这篇文章主要给大家分享了Scrapy框架的条条框框，Scrapy是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，是提取结构性数据而编写的应用框架，其架构清晰，模块之间的耦合程度低，可扩展性极强。

本文转载自微信公众号「Python爬虫与数据挖掘」，可以通过以下二维码关注。转载本文请联系Python爬虫与数据挖掘公众号。

相关文章