Python网络爬虫(中国空气质量在线监测平台爬取(JS加密与混淆处理))Wollf

该网站所有的空气质量数据都是基于图表进行显示的，并且都是出发鼠标滑动或者点动后才会显示某点的数据，所以如果基于selenium进行数据爬取也是挺吃力的，因此我们采用requests模块进行数据爬取。

基于抓包工具展开分析：

然后点击捕获到的数据包后，发现当前ajax请求为post类型的请求，携带一个请求参数d，且该请求参数为加密之后的数据，并且响应中的响应数据也是经过加密后的密文数据。

加密的请求参数：

加密的响应数据：

问题：那么如果我们想要将空气质量数据进行爬取，则需要对上述捕获到的ajax数据包中的post请求对应的url携带请求参数进行请求发送，然后获取对应的响应数据。但是请求参数是加密后的密文，响应数据也是加密后的密文。并且post请求参数对应的密文每次请求都是动态变化的，我们如何设置？就算能够破解动态且加密的请求参数，那么我们请求到的密文形式的响应数据我们也无法使用啊，我们只能使用可视化的明文数据，也就是解密后的数据。所以，我们换个思路，撸起袖子，把数据加密给干了！

解决：

-进入到点击事件对应的页面源码中，发现果真是对搜索按钮添加了一个点击事件。

-接下来，我们需要分析getData函数的内部实现，在当前源文件中，搜索该方法进行定位，定位到了之后，通过简短的分析，发现其内部是调用下图选中的两个方法进行数据的请求。

-接着分析这两个方法内部的实现，该两个方法就在getData实现的下方。再进一步分析发现这两个方法都调用了getServerData()这个方法，并传递了method、param等参数，然后还有一个回调函数很明显是对返回数据进行处理的，这说明Ajax请求就是由这个getServerData()方法发起

-JavaScript混淆：我们会惊讶的发现getServerData后面跟的是什么鬼啊？不符合js函数定义的写法呀！！！其实这里是经过JavaScript混淆加密了，混淆加密之后，代码将变为不可读的形式，但是功能是完全一致的，这是一种常见的JavaScript加密手段。我们想要查看到该方法的原始实现则必须对其进行反混淆。

-分析：在反混淆后，我们很清晰的看到了ajax请求发送的实现。然后还看到了ajax对应post请求的动态加密请求参数的加密方法getParam(),并且将method和object作为了函数的参数。method和object是从getServerData函数的参数中获取的，那么getServerData函数中的method和object表示的是什么呢？我们需要回过头去查看getServerData函数的调用：

至此getParam（）函数中的两个参数的表示含义我们已经清楚了。getParam函数的返回值就是ajax对应post请求的动态加密请求参数了，我们需要定位到其函数内部的实现，看看是如何对请求参数进行加密的。在getServerData中我们发现了ajax请求对应的操作代码，其中还有一个非常重要的一步，就是ajax请求成功后的回调函数实现内部，接受到了响应数据data，data我们知道是一组密文数据，然后调用了decodeData对data进行了解密操作：

在反混淆网站的代码中我们可以搜索到getPrame和decodeData这两个函数的实现：

发现getParam函数中使用了Base64和AES对param进行加密。加密之后的字符串便作为ajax对应post的请求参数传送给服务器了。

服务器相应回来的密文数据是被decodeData进行解密的。观察解密函数发现是通过base64+AES+DES进行的解密！

-总结：点击查询按钮后，最终是触发了getServerData函数发起了ajax请求，请求参数是通过getParam进行的加密，响应回来的密文数据是通过decodeData函数进行解密处理的。

接下来，我们需要借助于PyExecJS库来实现模拟JavaScript代码执行获取动态加密的请求参数，然后再将加密的响应数据带入decodeData进行解密即可！

-PyExecJS介绍：PyExecJS是一个可以使用Python来模拟运行JavaScript的库。我们需要pipinstallPyExecJS对其进行环境安装。

注意：PyExecJS的调用eval方法需要基于nodejs服务器语言环境，需要安装nodejs环境，否则执行会报错

-开始执行js：

-1.创建一个jsCode.js文件，将反混淆网站中的代码粘贴到jsCode.js文件中

-2.在该js文件中添加一个自定义函数getPostParamCode，该函数是为了获取且返回post请求的动态加密参数：

//返回加密后的参数结果functiongetPostParamCode(method,city,type,startTime,endTime){varparam={};param.city=city;param.type=type;param.startTime=startTime;param.endTime=endTime;returngetParam(method,param);}-3.在py源文件中可以基于PyExecJS模拟执行步骤2中定义好的自定义函数，获取动态加密参数：

importexecjs#导入执行js代码的模块node=execjs.get()#Paramsmethod='GETCITYWEATHER'city='北京'type='HOUR'start_time='2018-01-2500:00:00'end_time='2018-01-2523:00:00'#Compilejavascriptfile='jsCode.js'ctx=node.compile(open(file，encoding="utf-8").read())#Getparamsjs='getPostParamCode("{0}","{1}","{2}","{3}","{4}")'.format(method,city,type,start_time,end_time)params=ctx.eval(js)print(params)