python爬虫反爬-爬虫怎么测试反爬?
网站有没有反爬,如果你没有用爬虫抓取过,你是不可能知道的。就算要测试,你还要尝试不同的delay。如果设置的 delay 在网站的反爬频率外,那就测不出来。如果在频率内,那就被封。或者封ip,或者封账号。如果一定要测出来,就简单粗暴的方法,你不要设置delay,就不间断的抓,最后出现两种情况,1、网站有反爬,你被封。然后呢,这个结果没意义,除非你能准备测试出网站反爬的那个频率,才能针对的做出一些防...