Scrapy环境

在本章中,我们将讨论如何安装和设置Scrapy。Scrapy必须与Python一起安装。

Scrapy可以通过使用 pip 来安装。要安装,请运行以下命令:

pip install Scrapy

视窗

注意 - Windows 3不支持Python 3。

第1步 - 从 Python 安装Python 2.7通过将以下路径添加到PATH来设置环境变量:

C:\Python27\;C:\Python27\Scripts\;

您可以使用以下命令检查Python版本:

python --version

第2步 - 安装 OpenSSL

在您的环境变量中添加C:\OpenSSL-Win32\bin

- OpenSSL预装在Windows以外的所有操作系统中。

第3步 - 安装 Visual C ++ 2008许可再发行组件。

第4步 - 安装 pywin32

第5步 - 为Python版本2.7.9以前的版本安装pip

您可以使用以下命令检查pip版本:

pip --version

第6步 - 要安装scrapy,请运行以下命令:

pip install Scrapy

Python

如果您的计算机上安装了anacondaminiconda,请运行以下命令以使用conda安装Scrapy

conda install -c scrapinghub scrapy

Scrapinghub 公司支持适用于Linux,Windows和OS X的官方conda软件包。

- 如果您通过pip安装时遇到问题,建议使用上述命令安装Scrapy。

Ubuntu 9.10或更高版本

最新版本的Python已预先安装在Ubuntu OS上。使用Scrapinghub提供的Ubuntu软件包aptgettable。要使用包:

第1步 - 您需要将用于签署Scrapy软件包的GPG密钥导入APT密钥环:

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

第2步 - 接下来,使用以下命令创建/etc/apt/sources.list.d/scrapy.list文件:

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list

第3步 - 更新软件包列表并安装scrapy:

sudo apt-get update && sudo apt-get install scrapy

Archlinux

您可以使用以下命令从AUR Scrapy软件包安装Scrapy:

yaourt -S scrapy

Mac OS X

使用以下命令安装Xcode命令行工具:

xcode-select --install

不要使用系统Python,而应安装与系统其余部分不冲突的新更新版本。

第1步 - 安装 Brew

第2步 - 设置环境PATH变量以指定应该在系统包之前使用自制软件包:

echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

第3步 - 要确保更改完成,请 使用以下命令重新加载 .bashrc

source ~/.bashrc

第4步 - 接下来,使用以下命令安装Python:

brew install python

第5步 - 使用以下命令安装Scrapy:

pip install Scrapy

下一章:Scrapy 蜘蛛

Scrapy蜘蛛:Spider是一个负责定义如何遵循链接通过网站并从网页中提取信息的类。Scrapy的默认蜘蛛如下:scrapy.Spider它是蜘蛛必须从其中继承的蜘蛛。它有以下类:class scrapy.spiders.Spider下 ...