python批量生成经纬度坐标查询_使用高德开放平台api批量爬取所需经纬度及位置信息(平台教程和python多进程、多线程代码详解)...

2019.3.20更新(将代码升级为非阻塞式多进程，效率极大提升)

2019.6.28更新 (将代码模块化，复用性更强，使用更高效的线程池进行爬取)

之前写爬虫对链家某地区全部二手房信息进行了获取并存在了MongoDB数据库。进行数据可视化时，想要做基于地图信息的分析，可所获信息中未包含经纬度值。

经过搜索大法，发现原来百度地图和高德地图都有开放平台，可基于文本位置返回更详细的地理位置信息。以高德开发平台为例，具体过程如下：

高德开放平台提供的接口功能很多，这里只是使用"地理/逆地理编码功能"，将结构化地址在经纬度之间互转。这里，需要先注册开发者账号并申请一个key(注册后需先随便创建一个应用)。

开发指南页面

注册账号，并创建了一个应用，获得一个key密匙。

获得key密匙

然后就可以愉快的使用api获得经纬度啦！

api请求链接为示例：

"https://restapi.amap.com/v3/geocode/geo?address=北京市朝阳区阜通东大街6号&output=XML&key="

这里只需要替换address为你需要查询的地点、替换key为你的key就可以了，我们在浏览器中做个试验：

api信息返回

可以看到调用高德的api接口时能获得更完整的地理位置信息以及经纬度志，亲测百度开放平台的api不会返回更详细地理信息，但可以返回该位置的类型，比如“小区”之类的。可视情况选择。

很重要的一点差点忘了，不要以为这可以随便嗨了，免费用户的每日调用次数和每秒并发量是有限制的！

每日调用限制

百度地图和高德地图的每日限量都是相同的，你也可以同时注册两边的账号，就像我一样，不过对一般需求来说也已经足够了。

下面直接上代码，用数据库中的小区名字来批量获取经纬度和更详细的地理信息，逻辑很简单，传入小区名、解析请求就好了:：

import pymongo

import pandas as pd

import requests

import re

from multiprocessing import Pool

#数据库连接

client = pymongo.MongoClient("localhost",27017)

db = client['ershoufang']

collection = db["lianjia_solded"]

location = db['locations']

#高德地图获取地理信息的api接口

gaode_api_url = "https://restapi.amap.com/v3/geocode/geo?address={}&output=XML&key=YOUR KEY"

headers = {

"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"

}

def get_location_info(loc):

"""

利用高德开放平台，解析小区全部位置信息(包含经纬度)，存入数据库

:param loc: 小区名字

:return: 具体位置信息

"""

new_loc = "成都市" + loc

parse_adress_url = gaode_api_url.format(new_loc)

response = requests.get(parse_adress_url, headers=headers).text

# 加入判断防止空白信息返回

if re.search(r"1", response, re.S):

# 使用正则表达式提取api反馈的地理信息

detail_info = re.findall(r"_address>(.*?)(.*?).*?(.*?)", response, re.S)[0]

result = {

'house_name': loc,

'adress': detail_info[0],

'district': detail_info[1],

'location': detail_info[2],

'longitude': detail_info[2].split(",")[0],

'latitude': detail_info[2].split(",")[1]

}

# 插入数据库

location.insert_one(result)

print(result)

else:

print("Something Wrong！未获取到api信息！")

if __name__ == '__main__':

#从数据库中获取源小区名

data = pd.DataFrame(list(collection.find())).drop(['elevator', 'url', 'village_id'], axis='columns')

# 小区名

locs = data["village_name"]

locs_num = pd.value_counts(locs, sort=True)

#开启进程池

p = Pool()

for loc in locs_num.index[:6000]: # 高德api限制每天请求不超过6000个

p.apply_async(get_location_info, (loc,))

p.close()

p.join()

6.28更新代码

import pymongo

import pandas as pd

import requests

import re

from concurrent import futures

from logging import warning

class GaodeLocation(object):

# 初始化连接到Mongo数据库

def __init__(self, key, city):

'''

初始化连接到数据库

:param key: 高德开放平台提供的KEY，需携带才能访问

:param db: 数据库名

:param collectin: 存放小区数据的表名

:param loc_collection: 存放位置信息的新表名

'''

self.CITY = city

self.gaode_api_url = "https://restapi.amap.com/v3/geocode/geo?address={}&output=XML&key=" + key

self.client = pymongo.MongoClient("localhost", 27017)

self.db = self.client["ershoufang"]

self.collection = self.db["lianjia_solded"]

self.loc_collection = self.db['locations']

# 将经纬度信息存入数据库

def to_database(self,result):

return self.loc_collection.insert_one(result)

# 传入位置字符串，通过高德API获取经纬度信息

def request_info(self,loc):

detail_loc = CITY + loc

parse_adress_url = self.gaode_api_url.format(detail_loc)

response = requests.get(parse_adress_url).text

# 加入判断防止空白信息返回

if re.search(r"1", response, re.S):

# 提取api反馈的地理信息

detail_info = re.findall(r"_address>(.*?)(.*?).*?(.*?)", response,re.S)[0]

result = {

'house_name': loc,

'adress': detail_info[0],

'district': detail_info[1],

'location': detail_info[2],

'longitude': detail_info[2].split(",")[0],

'latitude': detail_info[2].split(",")[1]

}

print(result)

self.to_database(result)

else:

warning("{}位置信息未成功获取".format(loc))

return None

def main(self):

# 从数据库中获取源小区名

data = pd.DataFrame(list(self.collection.find())).drop(['elevator', 'url', 'village_id'], axis='columns')

# 小区名字段

locs = data["village_name"]

# 按小区名出现频率排序

locs_num = pd.value_counts(locs, sort=True)

# 高德开放平台一天只允许免费用户使用API接口6000次......

available_loc_list = locs_num.index[:6000]

with futures.ThreadPoolExecutor(max_workers=20) as excutor:

excutor.map(self.request_info, available_loc_list)

if __name__ == '__main__':

KEY = "c9ac8XXXXXXXXXXXXXXXXXXX" # 你的KEY

CITY = "成都市" # 你的城市

s = GaodeLocation(KEY, city=CITY)

s.main()

模块化代码复用性更强，使用线程池进行批量IO操作，效率进一步提升，

OK，大功告成啦，6000条位置数据大概就几分钟吧！

存入数据库中的信息

多进程爬取数度很快

完。