数据提取之JSON与JsonPATH的关系

背景介绍

我们知道再爬虫的过程中我们对于爬取到的网页数据需要进行解析，因为大多数数据是不需要的，所以我们需要进行数据解析，常用的数据解析方式有正则表达式，xpath，bs4，这次我们来介绍一下另一个数据解析库－－jsonpath，在此之前我们需要先了解一下什么是json。

一、初识Json

JSON（JavaScript Object Notation） 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。

Python 2．7及之后版本，自带了JSON模块，直接import json就可以使用了。

二、Json的基本使用

简介

json简单说就是javascript中的对象和数组，所以这两种结构就是对象和数组两种结构，通过这两种结构可以表示各种复杂的结构；

对象：对象在js中表示为｛ ｝括起来的内容，数据结构为 ｛ key：value， key：value， ．．． ｝的键值对的结构，在面向对象的语言中，key为对象的属性，value为对应的属性值，所以很容易理解，取值方法为 对象．key 获取属性值，这个属性值的类型可以是数字、字符串、数组、对象这几种。

数组：数组在js中是中括号［ ］括起来的内容，数据结构为 ［＂Python＂， ＂javascript＂， ＂C＋＋＂， ．．．］，取值方式和所有语言中一样，使用索引获取，字段值的类型可以是 数字、字符串、数组、对象几种。

使用

json模块提供了四个功能：dumps、dump、loads、load，用于字符串 和 python数据类型间进行转换。

把Json格式字符串解码转换成Python对象 从json到python的类型转化对照如下：

1．json．loads（）

import json

strDict ＝ ＇｛＂city＂： ＂广州＂， ＂name＂： ＂小黑＂｝＇

r ＝ json．loads（strDict） ＃ json数据自动按Unicode存储

rint（r）

结果如下：

｛＇city＇： ＇广州＇， ＇name＇： ＇小黑＇｝

2． json．load（）

读取文件中json形式的字符串元素 转化成python类型

import json

s ＝ json．load（open（＇test．json＇，＇r＇，encoding＝＇utf－8＇））

print（s，type（s））

结果如下：

｛＇city＇： ＇广州＇， ＇name＇： ＇小黑＇｝ ＜class ＇dict＇＞

3． json．dumps（）

实现python类型转化为json字符串，返回一个str对象 把一个Python对象编码转换成Json字符串

import json

listStr ＝ ［1， 2， 3， 4］

dictStr ＝ ｛＂city＂： ＂北京＂， ＂name＂： ＂大猫＂｝

s1 ＝ json．dumps（listStr）

s2 ＝ json．dumps（dictStr，ensure＿ascii＝False）

print（s1，type（s1））

print（s2）

结果如下：

［1， 2， 3， 4］ ＜class ＇str＇＞｛＂city＂： ＂北京＂， ＂name＂： ＂大猫＂｝ ＜class ＇str＇＞

注意：

json．dumps（） 序列化时默认使用的ascii编码

添加参数 ensure＿ascii＝False 禁用ascii编码，按utf－8编码

4． json．dump（）

将Python内置类型序列化为json对象后写入文件

import json

json＿info ＝ ＂｛＇age＇： ＇12＇｝＂

file ＝ open（＇ceshi．json＇，＇w＇，encoding＝＇utf－8＇）

json．dump（json＿info，file）

结果如下：

ceshii，json（目录文件产生）

三、JsonPath

JsonPath 是一种信息抽取类库，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括：Javascript， Python， PHP 和 Java。

JsonPath 对于 JSON 来说，相当于 XPATH 对于 XML。

安装方法：点击Download URL链接下载jsonpath，解压之后执行python setup．py install

JsonPath与XPath语法对比

Json结构清晰，可读性高，复杂度低，非常容易匹配，下表中对应了XPath的用法。

四、案例测试

我们爬取淘票票官网的城市信息，保存为json文件，进行jsonpath语法测试，获取所有城市名称。

请求

import requests

import time

url ＝ ＇https：／／dianying．taobao．com／cityAction．json？activityId＆＿ksTS＝1632211792156＿137＆jsoncallback＝jsonp138＆action＝cityAction＆n＿s＝new＆event＿submit＿doGetAllRegion＝true＇

headers ＝ ｛

＇user－agent＇： ＇Mozilla／5．0 （Windows NT 10．0； Win64； x64） AppleWebKit／537．36 （KHTML， like Gecko） Chrome／91．0．4472．106 Safari／537．36＇，

｝

res ＝ requests．get（url，headers＝headers）

result ＝ res．content．decode（＇utf－8＇）

print（result） ＃ xxx省略

注意：

headers里面的键值对最好都加上，还是有反爬的，该网站，这里为了简便省去了；

保存数据

content ＝ result．split（＇（＇）［1］．split（＇）＇）［0］ ＃ 由于文件首尾的字符不需要需要剔除掉做字符串切割

with open（＇tpp．json＇，＇w＇，encoding＝＇utf－8＇）as fp：

fp．write（content）

打开json文件如下所示：

解析数据

这里我们获取全部城市名称

import json

import jsonpath

obj ＝ json．load（open（＇tpp．json＇，＇r＇，encoding＝＇utf－8＇）） ＃ 注意，这里是文件的形式，不能直接放一个文件名的字符串

city＿list ＝ jsonpath．jsonpath（obj，＇＄．．regionName＇） ＃ 文件对象 jsonpath语法

print（city＿list）

结果如下：

五、总结

我们知道json是一种常见的数据传输形式，所以对于爬取数据的数据解析，json的相关操作是比较重要的，能够加快我们的数据提取效率，本文简单介绍了json和jsonpath的相关操作，对于测试网站（淘票票）的json做了简单的数据解析，感兴趣的小伙伴可以把其他数据解析一下。