python在规划类专业的作用_城市规划专业的学生有必要学爬虫吗？

65 阅读 0 评论 43 点赞

我是靠谱客的博主孤独月饼，最近开发中收集的这篇文章主要介绍python在规划类专业的作用_城市规划专业的学生有必要学爬虫吗？，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

说起爬虫，肯定绕不开Python这个词儿，话说现在知乎上Python这么热，我再这么捧它真的好吗(´;︵;`)。Python（网络图源）

现如今的环境下，规划师需要掌握的技能真是越来越多了（不过好像每个行业都差不多诶～，都在疯狂地学习各种跨领域技能。

其实我老早之前就在接触爬虫这块儿了，不过当时比较傻，属于是“全手动式”爬虫，把网上的评价信息逐一用第三方爬虫软件转移，然后开始Ctrl C与Ctrl V大法，效果还是蛮成功的(*^ω^*)。火车头采集器（网络图源）

之后学习Python写规则进行爬虫，不过都算是之后具体运用部分的事儿了，其实吧，我们用Python爬虫对象无非就是爬以下几个东西：

（1）点数据，点数据的爬取是规划专业爬的最多的了，我记得去年查相关资料，这部分的内容是真的多啊，方法也很成熟。。。。而且这部分数据主要是POI（兴趣点）支撑大家爬取热情的半壁江山；近几年来，城市规划领域对POI的研究也是越发红火，正所谓：遇事不决，先爬个POI。做个分析图，美滋滋，逼格瞬间上涨（隔壁地信的兄弟表示一群渣渣(>﹏<)）。POI对我们专业来说不外乎就是用于对业态功能以及人群聚落进行分析，于是乎，我们也可以继续联想，再爬个位置大数据？！整个人群密集度分析？！爬POI，数据源也大多是各大地图商，不过不要怕，他们是有开放接口，俗称API，按照开发要求，老老实实写一段（或复制一段？）代码爬取下来，然后开始可视化分析，鉴于现在爬取难度与数据丢失风险的增加，各位还是慎重啊！热力地图（网络图源）

（2）线数据，数据来源，还是各大地图商，不过有一款开放平台也蛮不错的，俗称OSM（open street map），我基本上都使用这个平台上的数据进行分析，OSM的数据爬取很简单，不少软件都有爬取它的插件儿，基本上都用不着写规则，直接使用第三方插件儿就可以下载，这部分数据通常就是道路网络，通常爬来放ArcGIS里处理，做个交通分析，不过按照国内开放数据的精度，很多时候还是需要自己再配准一番，清洗数据真的也是件儿苦差事(´;︵;`)。Open street map（网络图源）

（3）面数据，基本上就是各种建筑肌理与绿地系统等，这部分爬取同理于POI爬取，不过也有第三方平台插件儿可以使用，借助万能的搜索引擎，你肯定能发现它的存在，这部分的运用最广，受到广大画图狗的青睐。在此特别感谢写这些插件儿的开发者，真的是神人，描图秃头怪表示你们就是救星(*^ω^*)。缺陷也很明显，在数据缺少的地区，像乡村与三四线城市，数据缺失还是很严重的，还不如老老实实对着卫片描图，另一个好消息是，现在图像识别技术的发展迅速，前段时间阿里推出来一款付费建筑物识别平台，不过目前嘛。。。。emmm，精确度感人，还是老老实实描图吧。。。。

（4）语言信息与图像信息，这类数据信息是爬虫的老常客了，前三者还只针对于在线地图（抓住一只羊狠薅～），这个基本上就是全网络抓取了。之前也有人热衷于微博、大众点评等网络平台的爬取。这个爬取还是需要熟悉下http协议等规则了，建议可以观看下北理工嵩天老师的爬虫慕课，讲的真的很细致。这部分内容貌似在学术类研究中偏多一些，也可能是我太孤陋寡闻了吧(´;︵;`)。

（5）其他………

现在玩儿爬虫还是挺多的，记得当时公众号各种推，爬妹子头像、帅哥腹肌………(´;︵;`)

其实，爬虫与CAD、SU、Adobe全家桶一样，都只是一个工具而已，目的是为了更好地促进问题解决，简化工作量，而不是叫我们去与学计算机的抢饭碗啊，再说也抢不过啊（小声）。话说用软件的也不一定非要会设计软件啊，那还要软件工程师干嘛，术业有专攻嘛。了解爬虫的原理，会用就行了，具体是用Python爬也好、第三方平台爬取也好，只要能搞到数据都不错。在技术层面上，一般的爬虫对我们要求也没多高，多学门手艺也不赖嘛，毕竟未来的规划师可能不仅要爬虫了，可能还需要各种奇技淫巧（机器学习走起？！让计算机无路可走），再者，调研的时候各位连墙都爬过，现在不过爬个虫而已嘛(´-ω-`)。