python爬虫案例：抓取网易新闻

195 阅读 0 评论 129 点赞

我是靠谱客的博主缥缈帆布鞋，这篇文章主要介绍 python爬虫案例：抓取网易新闻，现在分享给大家，希望可以做个参考。

此文属于入门级级别的爬虫，老司机们就不用看了。

本次主要是爬取网易新闻，包括新闻标题、作者、来源、发布时间、新闻正文。

首先我们打开163的网站，我们随意选择一个分类，这里我选的分类是国内新闻。然后鼠标右键点击查看源代码，发现源代码中并没有页面正中的新闻列表。这说明此网页采用的是异步的方式。也就是通过api接口获取的数据。

那么确认了之后可以使用F12打开谷歌浏览器的控制台，点击Network，我们一直往下拉，发现右侧出现了："... special/00804KVA/cm_guonei_03.js? .... "之类的地址，点开Response发现正是我们要找的api接口。

在这里插入图片描述
可以看到这些接口的地址都有一定的规律：“cm_guonei_03.js”、 “cm_guonei_04.js”，那么就很明显了：

http://temp.163.com/special/0...*).js

上面的连接也就是我们本次抓取所要请求的地址。
接下来只需要用到的python的两个库：

requests

json

BeautifulSoup

以上就是缥缈帆布鞋最近收集整理的关于 python爬虫案例：抓取网易新闻的全部内容，更多相关内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。