1. Scrapy的优点 | 安装Scrapy以及Python虚拟环境

Scrapy有什么优点值得学习

• 内置支持使用扩展的 CSS 选择器和 XPath 表达式从 HTML/XML 源中选择和提取数据，以及使用正则表达式提取的辅助方法。
• 一个交互式 shell 控制台（支持 IPython），用于尝试使用 CSS 和 XPath 表达式来抓取数据，在编写或调试蜘蛛时非常有用。
• 内置支持以多种格式（JSON、CSV、XML）生成提要导出并将它们存储在多个后端（FTP、S3、本地文件系统） 强大的编码支持和自动检测，用于处理外来、非标准和损坏的编码声明。
• 强大的可扩展性支持，允许您使用信号和定义良好的 API（中间件、扩展和管道）插入自己的功能。
• 用于处理的各种内置扩展和中间件： cookie 和会话处理 HTTP 功能，如压缩、身份验证、缓存、用户代理欺骗、robot.txt、爬行深度限制。

安装Python和Python的虚拟环境

安装Python可以通过Python官网来访问并下载最新版的Python。安装Python的虚拟环境，首先通过cd命令定位到你需要安装虚拟环境的位置。通过以下命令创建一个Python的虚拟环境。

python -m venv 文件夹名称

之后你将会得到以下的一个目录结构。这是我运行python -m venv Spider的目录结构

/Spider
  pyvenv.cfg
  /Include
  /Lib
  /Scripts
       ...
       activate.bat
       ...

之后只需要在命令行中运行activate.bat，就可以打开Python的虚拟环境了。我们可以通过使用pip，python等其他命令来执行我们的程序。有一点，这个虚拟环境中运行pip是没有任何的包的，也就是说虚拟环境和Python的真实环境是隔离开的，我们运行或者安装其他包的时候不会破坏Python原有的环境。

在虚拟环境中安装Scrapy

pip install scrapy

在此您可能会遇到如下问题 AttributeError: ‘module’ object has no attribute ‘OP_NO_TLSv1_1’¶原因是你安装的pyOpenSSL版本不支持Twisted版本，重新安装Twisted就可以了

pip install twisted[tls]

最后

以上就是魁梧香烟为你收集整理的1. Scrapy的优点 | 安装Scrapy以及Python虚拟环境的全部内容，希望文章能够帮你解决1. Scrapy的优点 | 安装Scrapy以及Python虚拟环境所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。