明亮蛋挞
java爬虫进阶 —— ip池使用，iframe嵌套，异步访问破解
写之前稍微说一下我对爬与反爬关系的理解一、什么是爬虫 爬虫英文是splider，也就是蜘蛛的意思，web网络爬虫系统的功能是下载网页数据，进行所需数据的采集。主体也就是根据开始的超链接，下载解析目标页面，这时有两件事，一是把相关超链接继续往容器内添加，二是解析页面目标数据，不断循环，直到没有url解析为止。举个栗子：我现在要爬取苏宁手机价格数据，爬取思路就是拿到第一页的url作为...
大数据入门课程：Hadoop和spark的性能比较
大数据课程，一门看似很专业实际很复杂的学科，备受追捧。因为大数据的就业前景真的很诱惑人，单单是就业薪资就能让人趋之若鹜。今天千锋大数据讲师给大家分享的技术知识是大数据入门课程之Hadoop和spark的性能比较。 曾经看过一个非常有趣的比喻，Hadoop是一家大型包工队，可以组织一大堆人合作(HDFS)搬砖盖房(用MapReduce)，但是速度比较慢。 Spark是另一家包工队，虽然成立得...
