博客
关于我
Python实战演练之数据过滤
阅读量:734 次
发布时间:2019-03-22

本文共 794 字,大约阅读时间需要 2 分钟。

数据过滤与管道优化

上章回顾

从前一章导出的数据表中发现存在price == None的情况。这部分数据对应免费课程,并非我们目标爬取的内容。为确保数据完整,需对此进行过滤。

開 啟 EducsdnPipeline

在Scrapy的settings配置中,啟用EducsdnPipeline。該 Pipeline需置位 من Backbone,以便其後續的MysqlPipeline能正確接受過濕之後的數據.

Pipeline 定義

更新ITEM_PIPELINES設定如下:

ITEM_PIPELINES = {    'educsdn.pipelines.EducsdnPipeline': 300,    'educsdn.pipelines.MysqlPipeline': 301,}

設定方式指示了EducsdnPipeline應負責數據 προ靜過濕處理。

Pipeline 重寫

重定義EducsdnPipeline,新增如下功能:

import arcpyfrom scrapy.exceptions import DropItemclass EducsdnPipeline(object):    def process_item(self, item, spider):        if item['price'] is None:            raise DropItem("價值為NONE,移除此資料")        return item

此模式為МysqlPipeline不變,並保持原有設定。

清 確 表 中數據

實施以上變更之後،重新從終端執行:

educsdn $ scrapy crawl courses

此操作將僅říz禁那些price == None 的數據。

通過這些最佳實踪措施,可以有效保障爬取數據的完整性,避免無效數據存儲。

转载地址:http://lvggz.baihongyu.com/

你可能感兴趣的文章
Mysql 数据类型一日期
查看>>
MySQL 数据类型和属性
查看>>
mysql 敲错命令 想取消怎么办?
查看>>
Mysql 整形列的字节与存储范围
查看>>
mysql 断电数据损坏,无法启动
查看>>
MySQL 日期时间类型的选择
查看>>
Mysql 时间操作(当天,昨天,7天,30天,半年,全年,季度)
查看>>
MySQL 是如何加锁的?
查看>>
MySQL 是怎样运行的 - InnoDB数据页结构
查看>>
mysql 更新子表_mysql 在update中实现子查询的方式
查看>>
MySQL 有什么优点?
查看>>
mysql 权限整理记录
查看>>
mysql 权限登录问题:ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES)
查看>>
MYSQL 查看最大连接数和修改最大连接数
查看>>
MySQL 查看有哪些表
查看>>
mysql 查看锁_阿里/美团/字节面试官必问的Mysql锁机制,你真的明白吗
查看>>
MySql 查询以逗号分隔的字符串的方法(正则)
查看>>
MySQL 查询优化:提速查询效率的13大秘籍(避免使用SELECT 、分页查询的优化、合理使用连接、子查询的优化)(上)
查看>>
mysql 查询数据库所有表的字段信息
查看>>
【Java基础】什么是面向对象?
查看>>