本篇文章主要介绍了"Item Pipeline"，主要涉及到方面的内容，对于其他编程jrs看球网直播吧_低调看直播体育app软件下载_低调看体育直播感兴趣的同学可以参考一下：
清理HTML数据验证爬取的数据(检查item包含某些字段)查重(并丢弃)将爬取结果保存到数据库中清理HTML数据样例：让我们来看一下以下这个假设的pipelin...
清理HTML数据
验证爬取的数据(检查item包含某些字段)
查重(并丢弃)
将爬取结果保存到数据库中
清理HTML数据
样例：让我们来看一下以下这个假设的pipeline，它为那些不含税(price_excludes_vat 属性)的item调整了price 属性，同时丢弃了那些没有价格的item:
from scrapy.exceptions import DropItem
class PricePipeline(object):
vat_factor = 1.15 //定义属性
def process_item(self, item, spider): //定义方法
if item['price']: //判断price 是否存在
if item['price_excludes_vat']: //判断price_excludes_vat是否存在
item['price'] = item['price'] * self.vat_factor //存在执行的操作
return item //返回
else:
raise DropItem("Missing price in %s" % item) //如果不存在 ，触发异常将item写入JSON文件
以下pipeline将所有(从所有spider中)爬取到的item，存储到一个独立地 items.jl 文件，每行包含一个序列化为JSON格式的item:
