欢迎来到 AI 中文社区(简称 AI 中文社),这里是学习交流 AI 人工智能技术的中文社区。 为了更好的体验,本站推荐使用 Chrome 浏览器。
全部教程·
Python语言·
Scrapy爬虫
[目录]
·
Scrapy 创建一个项目
Scrapy 教程
Scrapy 创建项目
Scrapy 官方示例
Scrapy 命令行工具
Scrapy 调试终端
Scrapy 提取数据
Response 和 Selector
Scrapy Spider
Scrapy Spider 分类
Scrapy 概述
Scrapy 环境
Scrapy 蜘蛛
Scrapy 选择器
Scrapy 项目
Scrapy Item Loaders
Scrapy shell
Scrapy Item Pipeline
Scrapy Feed exports
Scrapy 请求和响应
Scrapy 链接提取器
Scrapy 设置
Scrapy 异常
Scrapy 创建一个项目
Scrapy 定义一个项目
Scrapy 第一个蜘蛛
Scrapy 爬取
Scrapy 提取项目
Scrapy 使用Item
Scrapy 跟踪链接
Scrapy 保存数据
Scrapy 记录
Scrapy 统计收集
Scrapy 发送电子邮件
Scrapy Telnet控制台
Scrapy Web服务
Scrapy 教程
Scrapy 创建项目
Scrapy 官方示例
Scrapy 命令行工具
Scrapy 调试终端
Scrapy 提取数据
Response 和 Selector
Scrapy Spider
Scrapy Spider 分类
Scrapy 概述
Scrapy 环境
Scrapy 蜘蛛
Scrapy 选择器
Scrapy 项目
Scrapy Item Loaders
Scrapy shell
Scrapy Item Pipeline
Scrapy Feed exports
Scrapy 请求和响应
Scrapy 链接提取器
Scrapy 设置
Scrapy 异常
Scrapy 创建一个项目
Scrapy 定义一个项目
Scrapy 第一个蜘蛛
Scrapy 爬取
Scrapy 提取项目
Scrapy 使用Item
Scrapy 跟踪链接
Scrapy 保存数据
Scrapy 记录
Scrapy 统计收集
Scrapy 发送电子邮件
Scrapy Telnet控制台
Scrapy Web服务
Scrapy 创建一个项目
要从网页中取消数据,首先需要创建Scrapy项目,您将在其中存储代码。
要创建一个新目录,请运行以下命令:
scrapy startproject first_scrapy
上面的代码将创建一个名为first_scrapy的目录,它将包含以下结构:
first_scrapy/ scrapy.cfg # deploy configuration file first_scrapy/ # project's Python module, you'll import your code from here __init__.py items.py # project items file pipelines.py # project pipelines file settings.py # project settings file spiders/ # a directory where you'll later put your spiders __init__.py
下一章:Scrapy 定义一个项目
项目是用于收集从网站报废的数据的容器。你必须通过定义你的物品来启动你的蜘蛛。要定义项目,请编辑在 first_scrapy (自定义目录)目录下找到的 items.py 文件。该 items.py 看起来如下:i ...
AI 中文社