Feed exports(2/3)

本篇文章主要介绍了"Feed exports"，主要涉及到方面的内容，对于其他编程jrs看球网直播吧_低调看直播体育app软件下载_低调看体育直播感兴趣的同学可以参考一下： Scrapy自带了Feed输出，并且支持多种序列化格式(serialization format)及存储方式(storage backends)。序列化方式(S...

使用feed输出时您可以通过使用 URI (通过 FEED_URI 设置) 来定义存储端。 feed输出支持URI方式支持的多种存储后端类型。

自带支持的存储后端有:

• 本地文件系统

• FTP

• S3 (需要 boto)

• 标准输出

有些存储后端会因所需的外部库未安装而不可用。例如，S3只有在 boto 库安装的情况下才可使用。

存储URI参数

存储URI也包含参数。当feed被创建时这些参数可以被覆盖:

• %(time)s - 当feed被创建时被timestamp覆盖

• %(name)s - 被spider的名字覆盖

其他命名的参数会被spider同名的属性所覆盖。例如， 当feed被创建时， %(site_id)s 将会被spider.site_id 属性所覆盖。

下面用一些例子来说明:

• 存储在FTP，每个spider一个目录:

• ftp://user:password@ftp.example.com/scraping/feeds/%(name)s/%(time)s.json

• 存储在S3，每一个spider一个目录:

• s3://mybucket/scraping/feeds/%(name)s/%(time)s.json

存储端(Storage backends)

本地文件系统

将feed存储在本地系统。

• URI scheme: file

• URI样例: file:///tmp/export.csv

• 需要的外部依赖库: none

注意: (只有)存储在本地文件系统时，您可以指定一个绝对路径 /tmp/export.csv 并忽略协议(scheme)。不过这仅仅只能在Unix系统中工作。

FTP

将feed存储在FTP服务器。

• URI scheme: ftp

• URI样例: ftp://user:pass@ftp.example.com/path/to/export.csv

• 需要的外部依赖库: none

S3

将feed存储在 Amazon S3 。

• URI scheme: s3

• URI样例:

• s3://mybucket/path/to/export.csv

  上一页 1 2 3 下一页