项目场景:
需要从电脑端爬取手机APP的数据
一、电脑端安装fiddler环境
参考这篇博客
注意:
第二步允许手机远程连接中,不勾选“Act as system proxy on startup”
二、下载夜神模拟器
选择你想要的版本进行下载夜神
三、在python环境下安装mitmproxy
先去安装python环境,自行百度
参考这篇博客mitmproxy安装,只需要执行安装这一步就行,后面的网络代理配置不用管。
四、进行抓包
上述环境都安装好后,在夜神模拟器中选择安卓版本为5.0的作为手机环境,然后把你要爬取的APP的安装包(.apk)拖至模拟器中完成安装,我的APP还需要安装两个文件
安装好之后就可以进行爬取了,我是通过执行Python文件进行数据处理,对应的文件为bjypXZ.py。首先cmd打开命令行,然后在命令行执行语句进入到Python文件的文件目录路径,然后执行语句
mitmproxy -s bjypXZ.py -p 8998 –set block_global = false
其中的“8998”为你安装fiddler的端口号。之后你就可以爬取到你需要的数据了。