jsonpath

匿名 (未验证) 提交于 2019-12-02 23:59:01
  • jsonpath

    用于处理爬虫爬取的json结构化数据

    from jsonpath import jsonpath
import requests import jsonpath import json  # 获取拉勾网城市json字符串 url = 'http://www.lagou.com/lbs/getAllCitySearchLabels.json' headers = {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"} response =requests.get(url, headers=headers) html_str = response.content.decode()  # 把json格式字符串转换成python对象 jsonobj = json.loads(html_str)  # 从根节点开始,获取所有key为name的值 citylist = jsonpath.jsonpath(jsonobj,'$..name')  # 写入文件 with open('city_name.txt','w') as f:     content = json.dumps(citylist, ensure_ascii=False)     f.write(content)


标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!