Windows10下安装爬虫框架scrapy

63 阅读 0 评论 42 点赞

我是靠谱客的博主稳重豌豆，最近开发中收集的这篇文章主要介绍Windows10下安装爬虫框架scrapy，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

本萌在win10+Python3.6环境下使用pip命令安装scrapy时报错安装失败，遍寻解决方式最后终于成功，贴出我的解决方式供大家参考吧~~

具体步骤：（命令都是在cmd输入的，后面就不再说明了）

1.pip安装和升级

pip(http://pip.readthedocs.org/en/latest/)是用于管理Python共享代码和库的命令行工具，是开源软件文化的一个重要组成部分。Windows上可能已经安装了pip（Windows的Python安装包自带pip）。

①安装

要检查是否安装了pip，你可以输入命令：pip install ipython，如果系统报错的话，去下载pip安装脚本，然后执行下面的操作；如果没有报错直接进行②。

然后在cmd中输入命令：chdir C:UsersYOURNAMEDownloads将目录切换到Downloads文件夹（YOURNAME是计算机主目录的名字，这一步就是切换到下载了pip的那个目录），接下来输入命令：python get get-pip.py来运行下载的文件。

这样pip安装工作就已经基本完成。

②升级

输入命令：pip show pip可以查看pip的版本，如果不是最新版最后会有提示如下：

输入命令：python -m pip install --upgrade pip可以升级pip到最新版本。

2.安装pypiwin32

输入命令：pip install pypiwin32

关于pypiwin32，官网的介绍是：Python extensions for Microsoft Windows Provides access to much of the Win32 API, the ability to create and use COM objects, and the Pythonwin environment.（Microsoft Windows的Python扩展提供对大部分Win32 API的访问，创建和使用COM对象的能力以及Pythonwin环境。），所以不论电脑是32位还是64位都可以选择安装。

3.安装Twisted

Twisted是用Python实现的基于事件驱动的网络引擎框架。

①离线安装方式：

下载twisted对应版本的whl文件（如我的下载的是：Twisted-18.7.0-cp36-cp36m-win_amd64.whl），cp后面是python版本，win32代表32位系统，win_amd64代表64位，文件位置放在当前cmd目录下，输入命令：pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl

whl文件下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/

②在线安装方式：

直接输入命令：pip install Twisted

我当时使用的是这种方式，但是安装失败报错，缺少生成工具，需要安装Microsoft Visual C++ Build Tools。

我先是下载了一个vc++2017（下载地址：https://aka.ms/BuildTools），但是安装仍然报错，我认为是vc版本不兼容的问题，所以又下载几个vc++2015的相关工具（下载地址：https://www.microsoft.com/zh-cn/download/confirmation.aspx?id=48145），神奇的是还是错，我这暴脾气= _ =不能惯着它，然后就放弃了这种方法（其实我还是不明白为什么会报错，如果有大神知道可以在下面留言给我解释解释~），最后直接选择上面方式①离线下载安装完成。

如果你想试试这个方式，可以在下载地址官网上找到下面这个生成工具下载安装，安装时右边可选栏中的win10sdk必须选上。

4.安装scrapy

输入命令：pip install scrapy

大功告成，Successfully installed PyDispatcher-2.0.5 cssselect-1.0.3 lxml-4.2.4 parsel-1.5.0 pyasn1-0.4.4 pyasn1-modules-0.2.2 scrapy-1.5.1 service-identity-17.0.0 w3lib-1.19.0，安装成功。但还是有个小遗憾，就是生成工具的报错问题还不知道是由什么引起的，待我有空再查查吧~~

#本文由博主原创，转载需注明！