欢迎来到 AI 中文社区(简称 AI 中文社),这里是学习交流 AI 人工智能技术的中文社区。 为了更好的体验,本站推荐使用 Chrome 浏览器。
全部教程·
Python语言·
Scrapy爬虫
[目录]
·
Scrapy Web服务
Scrapy 教程
Scrapy 创建项目
Scrapy 官方示例
Scrapy 命令行工具
Scrapy 调试终端
Scrapy 提取数据
Response 和 Selector
Scrapy Spider
Scrapy Spider 分类
Scrapy 概述
Scrapy 环境
Scrapy 蜘蛛
Scrapy 选择器
Scrapy 项目
Scrapy Item Loaders
Scrapy shell
Scrapy Item Pipeline
Scrapy Feed exports
Scrapy 请求和响应
Scrapy 链接提取器
Scrapy 设置
Scrapy 异常
Scrapy 创建一个项目
Scrapy 定义一个项目
Scrapy 第一个蜘蛛
Scrapy 爬取
Scrapy 提取项目
Scrapy 使用Item
Scrapy 跟踪链接
Scrapy 保存数据
Scrapy 记录
Scrapy 统计收集
Scrapy 发送电子邮件
Scrapy Telnet控制台
Scrapy Web服务
Scrapy 教程
Scrapy 创建项目
Scrapy 官方示例
Scrapy 命令行工具
Scrapy 调试终端
Scrapy 提取数据
Response 和 Selector
Scrapy Spider
Scrapy Spider 分类
Scrapy 概述
Scrapy 环境
Scrapy 蜘蛛
Scrapy 选择器
Scrapy 项目
Scrapy Item Loaders
Scrapy shell
Scrapy Item Pipeline
Scrapy Feed exports
Scrapy 请求和响应
Scrapy 链接提取器
Scrapy 设置
Scrapy 异常
Scrapy 创建一个项目
Scrapy 定义一个项目
Scrapy 第一个蜘蛛
Scrapy 爬取
Scrapy 提取项目
Scrapy 使用Item
Scrapy 跟踪链接
Scrapy 保存数据
Scrapy 记录
Scrapy 统计收集
Scrapy 发送电子邮件
Scrapy Telnet控制台
Scrapy Web服务
Scrapy Web服务
运行的Scrapy网络爬虫可以通过 JSON-RPC 进行控制。它由JSONRPC_ENABLED设置启用。该服务通过 JSON-RPC 2.0 协议提供对主要爬虫对象的访问。访问爬虫对象的端点是:
http://localhost:6080/crawler
下表包含一些显示Web服务行为的设置:
| Sr.No | 设置和说明 | 默认值 |
|---|---|---|
| 1 | JSONRPC_ENABLED 这指的是决定Web服务及其扩展的布尔值是否被启用。 | True |
| 2 | JSONRPC_LOGFILE 这是指用于记录向Web服务发出的HTTP请求的文件。如果没有设置标准Scrapy日志将被使用。 | None |
| 3 | JSONRPC_PORT 这指的是Web服务的端口范围。如果它设置为none,那么端口将被动态分配。 | [6080,7030] |
| 4 | JSONRPC_HOST 这指的是Web服务应该监听的接口。 | '127.0.0.1' |
AI 中文社