今天給大伙分享一下 Python 爬蟲的教程,這次主要涉及到的是關于某 APP 的逆向分析并抓取數據,關于 APP 的反爬會麻煩一些,比如 Android 端的代碼寫完一般會進行打包并混淆加密加固,所以除了抓包之外,還需要對 APP 進行查殼脫殼反編譯等操作。
所需設備和環境:
設備:安卓手機
抓包:
fiddler+xposed+JustTrustme
查殼:ApkScan-PKID
脫殼:frida-DEXDump
反編譯:jadx-gui
hook:frida
抓包
手機安裝app,設置好代理,打開 fiddler 先來抓個包,發現這個 app 做了證書驗證,fiddler 開啟之后 app提示連接不到服務器:

那就是 app 做了 SSL pinning 證書驗證,解決這種問題一般都是安裝 xposed 框架,里面有一個 JustTrustme 模塊,它的原理就是hook,直接繞過證書驗證類,安裝方法大家百度吧。
之后再打開app,可以看到成功抓到了包:

先簡單分析一下,可以看到請求體中 formdata 是密文,響應內容也是密文,這個請求和響應中有用信息非常少,甚至都不知道在 jadx-gui 里怎么搜索,請求體中 formdata 是以兩個等號結尾的,應該是個 base64 編碼,其他一概不知。。。
脫殼反編譯
那先來反編譯,在這之前,通常是先用查殼工具檢查一下 app 是否加固,打開 ApkScan-PKID ,把 app
可以看到這個 app 使用了 360 加固,真是層層設限啊!!這里使用frida-DEXDump來脫殼,可以到 github 上下載 frida-DEXDump 的源代碼,完成之后打開項目所在文件夾,在當前位置打開命令行運行以下命令:
python main.py
等待脫殼完成,可以看到當前項目中生成了一個對應文件夾,里面有很多dex文

下面用 jadx-gui 打開 dex 文件,一般先從最大的文件開始依次搜索關鍵字,我們知道 java 中使用 base64 是有 BASE64Encoder 關鍵字的,因為抓包得到的信息非常少,在這里就只能搜索這個關鍵字了,搜到第四個dex中,得到了疑似加密處:

可以看到是使用了一個 aes 加密,密鑰是固定的字符串。
Frida Hoo
Java不太熟,分析不來,直接使用 frida 來寫一段 hook 代碼看一看 encrypt 函數入參和出參的內容:

同時來抓包對比:


就得到了這里的請求 data 入參數據:
pageIndex:當前頁碼
pageSize:當前頁對應的數據條數
typeId 和 source 是固定的, 接下來再來 hook decrypt 函數,對比抓包和 hook 結果:


結果是一樣的,至此,我們逆向分析就完成了。
總結一下請求和響應過程,就是請求體中的 data 經過 encrypt 函數加密傳參,改變 pageIndex 就可以得到每頁數據,響應是經過 decrypt 函數加密顯示,那我們只需要在 python 中實現這個 aes 加密解密過程就行了,從反編譯的 java 代碼中可以看出密鑰是固定的:wxtdefgabcdawn12,沒有 iv 偏移。
請求
直接上代碼:

運行代碼,成功拿到數據:

到此這篇關于如何使用Python逆向抓取APP數據的文章就介紹到這了,更多相關Python逆向抓取APP數據內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家!