魁梧酒窝

文章
3
资源
0
加入时间
2年10月24天

HttpClient(四)-- 使用代理IP 和 超时设置

1.代理IP的用处:  在爬取网页的时候,有的目标站点有反爬虫机制,对于频繁访问站点以及规则性访问站点的行为,会采集屏蔽IP措施。这时候,就可以使用代理IP,屏蔽一个就换一个IP。2.代理IP分类:  代理IP的话 也分几种: 透明代理、匿名代理、混淆代理、高匿代理,一般使用高匿代理。3.使用 RequestConfig.custom().setProxy(proxy).build...