python设置爬取速度_Python爬取网页速度为什么那么快？它是通过什么去爬取的？...

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

本文来自腾讯云 作者：龙哥

一、前言

python爬虫事最方便最快捷的，今天给大家带来爬取网页，看看速度会有多快,爬取数据，基本都是通过网页的URL得到这个网页的源代码，根据源代码筛选出需要的信息

二、使用环境和使用库

IDE：PyCharm

库：requests、lxml

搭建环境

这里的搭建环境，可不是搭建python的开发环境，这里的搭建环境是指，我们使用pycharm新建一个python项目，然后弄好requests和lxml

三、爬取步骤

requests：获取网页源代码

lxml：得到网页源代码中的指定数据

新建一个项目：

在这里插入图片描述

依赖库导入

由于我们使用的是pycharm，所以我们导入这两个库就会显的格外简单

import requests

在这里插入图片描述

获取网页源代码

requests可以很方便的让我们得到网页的源代码网页。

获取源码：

# 获取源码

html = requests.get("https://coder-lida.github.io/")

# 打印源码

print html.text

代码就是这么简单，这个html.text便是这个URL的源码

完整代码：

import requests

import lxml

html = requests.get("https://coder-lida.github.io/")

print (html.text)

打印：

在这里插入图片描述

获取指定数据

现在我们已经得到网页源码了，这时就需要用到lxml来来筛选出我们所需要的信息这里我就以得到我博客列表为例,可以找到原网页通过F12查看XPath,如图

在这里插入图片描述

通过XPath的语法获得网页的内容。

查看第一篇文章标题

//*[@id="layout-cart"]/div[1]/a/@title

// 定位根节点 / 往下层寻找 提取文本内容：/text() 提取属性内容：/@xxxx

import requests

from lxml import etree

html = requests.get("https://coder-lida.github.io/")

#print (html.text)

etree_html = etree.HTML(html.text)

content = etree_html.xpath('//*[@id="layout-cart"]/div[1]/a/@title')

print(content)

查看所有文章标题

//*[@id="layout-cart"]/div/a/@title

代码：

import requests

from lxml import etree

html = requests.get("https://coder-lida.github.io/")

#print (html.text)

etree_html = etree.HTML(html.text)

content = etree_html.xpath('//*[@id="layout-cart"]/div/a/@title')

print(content)

输出：

[' springboot逆向工程 ', ' 自己实现一个简单版的HashMap ', ' 开发中常用的 个JavaScript 单行代码 ', ' shiro 加密登录 密码加盐处理 ', ' Spring Boot构建RESTful API与单元测试 ', ' 记一次jsoup的使用 ']

在这里插入图片描述