Copyright © 2022-2025 aizws.net · 网站版本: v1.2.6·内部版本: v1.24.0·
页面加载耗时 0.00 毫秒·物理内存 67.2MB ·虚拟内存 1302.3MB
欢迎来到 AI 中文社区(简称 AI 中文社),这里是学习交流 AI 人工智能技术的中文社区。 为了更好的体验,本站推荐使用 Chrome 浏览器。
不规则事件被称为例外。在Scrapy中,由于诸如缺少配置,从项目管道中删除项目等原因而引发异常。以下是Scrapy中提及的异常及其应用程序的列表。
物品管道利用此异常来停止在任何阶段处理物品。它可以写成:
exception (scrapy.exceptions.DropItem)
此异常用于使用回调请求停止蜘蛛。它可以写成:
exception (scrapy.exceptions.CloseSpider)(reason = 'cancelled')
它包含名为 reason(str)的 参数,它指定关闭的原因。
例如,下面的代码显示了这种异常用法:
def parse_page(self, response): if 'Bandwidth exceeded' in response.body: raise CloseSpider('bandwidth_exceeded')
调度程序或下载器中间件使用此例外来忽略请求。它可以写成:
exception (scrapy.exceptions.IgnoreRequest)
它表示缺少配置情况,应该在组件构造函数中提出。
exception (scrapy.exceptions.NotConfigured)
如果禁用了以下任何组件,则可能会引发此异常。
当不支持任何功能或方法时引发此异常。它可以写成:
exception (scrapy.exceptions.NotSupported)
要从网页中取消数据,首先需要创建Scrapy项目,您将在其中存储代码。要创建一个新目录,请运行以下命令:scrapy startproject first_scrapy上面的代码将创建一个名为first_scra ...