对于一个爬虫脚本来说，很难具有很好的健壮性，缺乏可操作性，可能今天写出来的爬虫，说不定几个月后，甚至于几周后，就不能用了。为什么这么说呢？主要原因有以下几点：网站毕竟是由程序员编写出来的，给用户使用的，而网站想要更具有用户沾粘性，就必须要进行版本迭代。此时的网站，页面已经改版，接口已经更新。还有一些网站的数据具有一定的价值，这样的网站一般都会有反爬机制。既是对数据的保护，也是避免机器流量干扰到正常用户的体验。所以光是写个网络请求，几乎不可能成功拿到数据。“上有政策，下有对策”，这句话到哪都好用。
爬虫
2024-08-23
33 点赞
0 评论
50 浏览
