使用高德开放平台api批量爬取所需经纬度及位置信息(平台教程和p

2019.3.20更新（将代码升级为非阻塞式多进程，效率极大提升）

• 之前写爬虫对链家某地区全部二手房信息进行了获取并存在了MongoDB数据库。进行数据可视化时，想要做基于地图信息的分析，可所获信息中未包含经纬度值。

• 经过搜索大法，发现原来百度地图和高德地图都有开放平台，可基于文本位置返回更详细的地理位置信息。以高德开发平台为例，具体过程如下：

• 直达链接：高德开放平台

• 高德开放平台提供的接口功能很多，这里只是使用"地理/逆地理编码功能"，将结构化地址在经纬度之间互转。这里，需要先注册开发者账号并申请一个key（注册后需先随便创建一个应用）。

  
  开发指南页面

• 注册账号，并创建了一个应用，获得一个key密匙。

  
  获得key密匙

• 然后就可以愉快的使用api获得经纬度啦！
  api请求链接为示例：
  "https://restapi.amap.com/v3/geocode/geo?address=北京市朝阳区阜通东大街6号&output=XML&key=<用户的key>"

• 这里只需要替换address为你需要查询的地点、替换key为你的key就可以了，我们在浏览器中做个试验：

  
  api信息返回
  

  可以看到调用高德的api接口时能获得更完整的地理位置信息以及经纬度志，亲测百度开放平台的api不会返回更详细地理信息，但可以返回该位置的类型，比如“小区”之类的。可视情况选择。

很重要的一点差点忘了，不要以为这可以随便嗨了，免费用户的每日调用次数和每秒并发量是有限制的！

每日调用限制

百度地图和高德地图的每日限量都是相同的，你也可以同时注册两边的账号，就像我一样，不过对一般需求来说也已经足够了。

• 下面直接上代码，用数据库中的小区名字来批量获取经纬度和更详细的地理信息，逻辑很简单，传入小区名、解析请求就好了：

import pymongo
import pandas as pd
import requests
import re
from multiprocessing import Pool
#数据库连接
client = pymongo.MongoClient("localhost",27017)
db = client['ershoufang']
collection = db["lianjia_solded"]
location = db['locations']

#高德地图获取地理信息的api接口
gaode_api_url = "https://restapi.amap.com/v3/geocode/geo?address={}&output=XML&key=YOUR KEY"
headers = {
    "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"
}

def get_location_info(loc):
    """
    利用高德开放平台，解析小区全部位置信息（包含经纬度），存入数据库
    :param loc: 小区名字
    :return: 具体位置信息
    """
    new_loc = "成都市" + loc
    parse_adress_url = gaode_api_url.format(new_loc)
    response = requests.get(parse_adress_url, headers=headers).text
    # 加入判断防止空白信息返回
    if re.search(r"<count>1</count>", response, re.S):
        # 提取api反馈的地理信息
        detail_info = re.findall(r"_address>(.*?)</.*?<district>(.*?)</district>.*?<location>(.*?)</location>", response, re.S)[0]
        result = {
            'house_name': loc,
            'adress': detail_info[0],
            'district': detail_info[1],
            'location': detail_info[2],
            'longitude': detail_info[2].split(",")[0],
            'latitude': detail_info[2].split(",")[1]
        }
        # 插入数据库
        location.insert_one(result)
        print(result)
    else:
        print("Something Wrong！未获取到api信息！")


if __name__ == '__main__':
    #从数据库中获取源小区名
    data = pd.DataFrame(list(collection.find())).drop(['elevator', 'url', 'village_id'], axis='columns')
    # 小区名
    locs = data["village_name"]
    locs_num = pd.value_counts(locs, sort=True)
    #开启进程池
    p = Pool()
    for loc in locs_num.index[:6000]:  # 高德api限制每天请求不超过6000个
        p.apply_async(get_location_info, (loc,))
    p.close()
    p.join()

OK，大功告成啦，6000条位置数据大概就几分钟吧！

存入数据库中的信息 多进程爬取数度很快

完。