繁荣香烟

文章
7
资源
0
加入时间
3年0月9天

使用python+urllib爬取最受欢迎豆瓣影评信息

用网络爬虫爬取网站数据时,先尝试使用了最简单的方式,如果访问url失败,先考虑添加表头信息(User-Agent是最重要的信息),这样往往可以解决访问失败的问题。如果爬取过程中遭遇中断,往往是该网站的反爬虫机制检测到了你的网络爬虫,这时候考虑添加cookie,模拟登录等手段。使用requests第三方包比使用urllib更方便快捷,遇到的问题也会较少。如果添加cookie后问题依然解决不了,那就考虑