- 当前位置：首页 >应用开发 >Python爬虫的任务数据操作的小技巧
Python爬虫的任务数据操作的小技巧
发布时间：2025-11-02 17:18:07 来源：创站工坊 作者：应用开发
需求
爬取某网站的爬虫项目列表页，获取其url，据操标题等信息，小技作为后续爬取详情页的爬虫任务url。
先上代码
代码
# -*- coding: utf-8 -*- # @Time : 2019-11-08 14:04 # @Author : cxa # @File : motor_helper.py # @Software: PyCharm import asyncio import datetime from loguru import logger from motor.motor_asyncio import AsyncIOMotorClient from collections import Iterable try: import uvloop asyncio.set_event_loop_policy(uvloop.EventLoopPolicy()) except ImportError: pass db_configs = { host: 127.0.0.1,据操 port: 27017, db_name: mafengwo, user: } class MotorOperation: def __init__(self): self.__dict__.update(**db_configs) if self.user: self.motor_uri = f"mongodb://{self.user}:{self.passwd}@{self.host}:{self.port}/{self.db_name}?authSource={self.db_name}" else: self.motor_uri = f"mongodb://{self.host}:{self.port}/{self.db_name}" self.client = AsyncIOMotorClient(self.motor_uri) self.mb = self.client[self.db_name] async def save_data_with_status(self, items, col="seed_data"): for item in items: data = dict() data["update_time"] = datetime.datetime.now() data["status"] = 0 # 0初始 data.update(item) print("data", data) await self.mb[col].update_one({ "url": item.get("url")}, {$set: data, $setOnInsert: {create_time: datetime.datetime.now()}}, upsert=True) async def add_index(self, col="seed_data"): # 添加索引 await self.mb[col].create_index(url)因为我的爬虫是异步网络模块aiohttp写的，所以选择了pymongo的小技异步版本motor进行操作。
异步代码的爬虫基本属性就是async/await成对的出现，如果把上面的据操await和async去掉，就是小技类似pymongo的写法了,这里异步不是重点，重点是爬虫我们怎么处理每条数据。
这里除了网页的据操url，标题等信息，小技我需要附加3个字段。爬虫分别是据操create_time, status,update_time。
这三个字段分别代表，小技数据插入数据，状态和更新时间。
那么我为什么添加三个字段呢?
首先，服务器托管我们需要判断每次的任务数据是否存在，我这里的情况是存在就更新不存在就插入，那么我就需要一个查询条件，作为更新的条件，很显然这里可以使用任务的url作为唯一条件(你还可以使用url+标题做个md5然后保存)，好了查询条件确定。
下面说create_time这个比较好理解就是数据插入时间,关键是为什么还要一个update_time，这个的话和status字段有一定的关系。画重点：这个status作为后续爬虫进行爬取的一个标志用。目前这个status有4个值，0-4，我这是这样定义的，
0:初始状态
1:抓取中的任务
2:抓取成功
3:抓取失败
4:抓取成功但是没有匹配到任务。
后面随着任务的爬取，状态也是不断变化的，网站模板同时我们需要更新update_time为最新的时间。这个目前的话是体现不出来什么作用，它的使用场景是，重复任务的抓取，比如今天我抓取了任务列表里的url1、url2，第二天的时候我如果再抓到，为了区分是抓取失败还是抓取成功，我们根据create_time和update_time就可以进行推断了，如果两者相同而且是当前的日期说明刚抓的，如果update_time的日期比create_time新可以说明，抓到了重复的任务。关于字段的设计就啰嗦这么些。
下面是实现，我们可以通过update_one方法，对数据作存在或者插入操作，WordPress模板因为url作为查询条件，后面量大的话就最好添加一个索引。也就是上面的 add_index方法。
好了最好说插入更新的具体代码
需要注意的是
{$set: data, $setOnInsert: {create_time: datetime.datetime.now()}}$setOnInsert里面使用的字段是数据不存在的时候才插入的，存在就不动了，只插入$set里面指定的。
另外$setOnInsert里面使用的字段不能在$set里面再次出现
upsert=True代表的是不存在就插入。
- 电脑进入PE出现错误的解决办法（排查PE进入错误的具体步骤和解决方案）
- M823手机（探索M823手机的功能和性能表现）
- 三星N709手机体验报告（全面屏设计、拍照实力、性能表现、续航能力一网打尽）
- 华为C8810的性能与功能全面解析（探索华为C8810的卓越性能与创新功能）
- 免费转换PDF为Word的最佳方法（绝对免费的PDF转Word工具推荐）
- 华为Mate7（了解华为Mate7的卓越性能和功能特点）
- 金斯顿防水（解密金斯顿防水的优势与特点）
- 电脑微信文件错误解决方法（解决微信文件错误，让电脑微信恢复正常使用）
- 电脑报read错误的解决方法（遇到电脑报read错误如何应对，尝试这些方法解决问题）
- 一加3T怎么样？值得买吗？（一加3T的关键特点和用户评价）
- 莱斯硬盘分区教程（详解莱斯硬盘分区方法，让你的数据有序有力）
- 金斯顿防水（解密金斯顿防水的优势与特点）
- 长虹50Q3T电视评测（探索高清画质和智能体验的绝佳选择）
- 电脑制作表格教程（快速学会电脑制作表格的方法与技巧）
- 解决galgame电脑运行错误的方法（探索电脑运行错误的原因与解决方案）
- 冰箱使用指南（科学规划冰箱空间，让食物保鲜更持久）
- 探索联想C360一体机的功能与性能（一体机行业新宠，C360引领全新体验）
- i53570性能解析（解析第三代i5处理器的优越性能和多项创新技术）
- 解决galgame电脑运行错误的方法（探索电脑运行错误的原因与解决方案）
- 电脑修复错误屏幕不动的有效方法（快速解决电脑故障，让屏幕恢复正常运行）
随便看看
- Copyright © 2025 Powered by Python爬虫的任务数据操作的小技巧,创站工坊 滇ICP备2023006006号-44sitemap