Python爬虫学习笔记(三)——爬虫基本原理Python爬虫
文章目录Python爬虫第二章 爬虫基础第3节 爬虫的基本原理一、爬虫概述二、能抓取的数据三、通过JavaScript渲染的页面Python爬虫第二章 爬虫基础第3节 爬虫的基本原理一、爬虫概述获取网页:获取网页,就是获取网页的源代码。向网站的服务器发送一个请求,返回的响应体便是网页源代码。Python提供了urllib、requests等库来帮助我们实现这个操作。我们可以用这些库来帮助我们实现HTTP请求操作,请求和响应都可以用类库提供的数据结构来表示,得到响应之后只需