博客
关于我
Python实战演练之数据过滤
阅读量:734 次
发布时间:2019-03-22

本文共 794 字,大约阅读时间需要 2 分钟。

数据过滤与管道优化

上章回顾

从前一章导出的数据表中发现存在price == None的情况。这部分数据对应免费课程,并非我们目标爬取的内容。为确保数据完整,需对此进行过滤。

開 啟 EducsdnPipeline

在Scrapy的settings配置中,啟用EducsdnPipeline。該 Pipeline需置位 من Backbone,以便其後續的MysqlPipeline能正確接受過濕之後的數據.

Pipeline 定義

更新ITEM_PIPELINES設定如下:

ITEM_PIPELINES = {    'educsdn.pipelines.EducsdnPipeline': 300,    'educsdn.pipelines.MysqlPipeline': 301,}

設定方式指示了EducsdnPipeline應負責數據 προ靜過濕處理。

Pipeline 重寫

重定義EducsdnPipeline,新增如下功能:

import arcpyfrom scrapy.exceptions import DropItemclass EducsdnPipeline(object):    def process_item(self, item, spider):        if item['price'] is None:            raise DropItem("價值為NONE,移除此資料")        return item

此模式為МysqlPipeline不變,並保持原有設定。

清 確 表 中數據

實施以上變更之後،重新從終端執行:

educsdn $ scrapy crawl courses

此操作將僅říz禁那些price == None 的數據。

通過這些最佳實踪措施,可以有效保障爬取數據的完整性,避免無效數據存儲。

转载地址:http://lvggz.baihongyu.com/

你可能感兴趣的文章
Mysql学习总结(49)——从开发规范、选型、拆分到减压
查看>>
Mysql学习总结(4)——MySql基础知识、存储引擎与常用数据类型
查看>>
Mysql学习总结(50)——Oracle,mysql和SQL Server的区别
查看>>
Mysql学习总结(51)——Linux主机Mysql数据库自动备份
查看>>
Mysql学习总结(52)——最全面的MySQL 索引详解
查看>>
Mysql学习总结(53)——使用MySql开发的Java开发者规范
查看>>
Mysql学习总结(54)——MySQL 集群常用的几种高可用架构方案
查看>>
Mysql学习总结(55)——MySQL 语句大全再温习
查看>>
Mysql学习总结(56)——MySQL用户管理和权限设置
查看>>
Mysql学习总结(57)——MySQL查询当天、本周、本月、上周、本周、上月、距离当前现在6个月数据
查看>>
Mysql学习总结(58)——深入理解Mysql的四种隔离级别
查看>>
Mysql学习总结(59)——数据库分库分表策略总结
查看>>
Mysql学习总结(5)——MySql常用函数大全讲解
查看>>
Mysql学习总结(60)——并发量大、数据量大的互联网业务数据库设计规范总结
查看>>
Mysql学习总结(61)——MySQL优化之DBA级优化整理汇总
查看>>
Mysql学习总结(62)——MySQL连接com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link问题
查看>>
Mysql学习总结(63)——Mysql数据库架构方案选择与分析
查看>>
Mysql学习总结(64)——Mysql配置文件my.cnf各项参数解读
查看>>
Mysql学习总结(65)——项目实战中常用SQL实践总结
查看>>
Mysql学习总结(66)——设置MYSQL数据库编码为UTF-8
查看>>