安装 Scrapy

Created: November-22, 2018

scrapy 安装的先决条件：

你可以使用 pip 安装 Scrapy。要使用 pip 运行安装：

pip install Scrapy

平台特定安装

这是安装 Scrapy 的推荐方法。

如果你已经安装了 Anaconda 或 Miniconda，Scrapinghub 公司将维护适用于 Linux，Windows 和 OS X 的官方 conda 软件包。

要使用 conda 安装 Scrapy，请运行：

conda install -c scrapinghub scrapy

使用官方 Ubuntu 软件包，它已经为你解决了所有依赖项，并不断更新最新的错误修复程序。

如果你更喜欢在本地构建 python 依赖项而不是依赖于系统包，则首先需要安装所需的非 python 依赖项：

sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

之后你可以用 pip 安装 Scrapy：

pip install Scrapy

你可以按照通用说明或从 AUR Scrapy 包安装 Scrapy：

yaourt -S scrapy

Windows 上尚不支持使用 Python 3 进行 Scrapy。

按照以下步骤在 Windows 上安装 scrapy：

安装 Python 2.7
调整 PATH 环境变量以包括 Python 可执行文件和其他脚本的路径。需要将以下路径添加到 PATH：

C：\ Python27; C：\ Python27 \脚本;
从这里安装 pywin32
让我们安装 Scrapy：
```
 pip install Scrapy
```

构建 Scrapy 的依赖项需要存在 C 编译器和开发头。在 OS X 上，这通常由 Apple 的 Xcode 开发工具提供。要安装 Xcode 命令行工具，请打开终端窗口并运行：

xcode-select --install

有一个已知的问题阻止 pip 更新系统包。必须解决这个问题才能成功安装 Scrapy 及其依赖项。以下是一些建议的解决方案

（推荐）不要使用系统 python，安装一个不与系统其他部分冲突的新版本。以下是使用自制软件包管理器的方法：
- 按照 http://brew.sh/中的说明安装自制软件
- 更新你的 PATH 变量，说明在系统软件包之前应该使用自制软件包（如果你使用 zsh 作为默认 shell，则将 .bashrc 改为 .zshrc ）：
```
echo "export PATH=/usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc
```
- 重新加载 .bashrc 以确保发生了变化：
```
source ~/.bashrc
```
- 安装 python：
```
brew install python
```
- 最新版本的 python 将 pip 与它们绑定在一起，因此你无需单独安装它。如果不是这样，请升级 python：
```
brew update; brew upgrade python
```
（可选）在隔离的 python 环境中安装 Scrapy。

此方法是上述 OS X 问题的解决方法，但它是管理依赖关系的总体良好实践，可以补充第一种方法。

virtualenv 是一个可以用来在 python 中创建虚拟环境的工具。我们建议你阅读 http://docs.python-guide.org/en/latest/dev/virtualenvs/等教程，以便开始使用。

在完成任何这些变通办法之后，你应该能够安装 Scrapy：

pip install Scrapy