AI 中文社
Copyright © 2022-2025 aizws.net · 网站版本: v1.2.6·内部版本: v1.25.2·
页面加载耗时 0.00 毫秒·物理内存 121.0MB ·虚拟内存 1372.4MB
欢迎来到 AI 中文社区（简称 AI 中文社），这里是学习交流 AI 人工智能技术的中文社区。 为了更好的体验，本站推荐使用 Chrome 浏览器。
Scrapy第一蜘蛛
Spider是一个定义初始URL的类，用于提取数据，如何遵循分页链接以及如何提取和解析 items.py中 定义的字段。Scrapy提供了不同类型的蜘蛛，每种蜘蛛都有特定的用途。
在first_scrapy / spiders目录下创建一个名为 “first_spider.py” 的文件，在那里我们可以告诉Scrapy如何找到我们正在寻找的确切数据。为此，您必须定义一些属性
- 名称 - 它定义了蜘蛛的唯一名称。
- allowed_domains - 它包含要抓取的蜘蛛的基本URL。
- start-urls - 蜘蛛开始爬行的URL列表。
- parse（） - 这是一种提取和分析刮取数据的方法。
以下代码演示了蜘蛛代码：
import scrapy
class firstSpider(scrapy.Spider):
name = "first"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]
def parse(self, response):
filename = response.url.split("/")[-2] + '.html'
with open(filename, 'wb') as f:
f.write(response.body)
下一章：Scrapy 爬取
Scrapy爬取：要执行你的蜘蛛，请在 _firstscrapy 目录中运行以下命令：scrapy crawl first其中， 首先 是创建蜘蛛时指定的蜘蛛名称。一旦蜘蛛爬行，你可以看到下面的输出：2016-08-09 18:13:07- ...