日常 Web 端爬蟲(chóng)過(guò)程中,經(jīng)常會(huì )遇到參數被加密的場(chǎng)景,因此,我們需要分析網(wǎng)頁(yè)源代碼
通過(guò)調式,一層層剝離出關(guān)鍵的 JS 代碼,使用 Python 去執行這段代碼,得出參數加密前后的 Python 實(shí)現
本文將聊聊利用 Python 調用 JS 的4種方式
以一段簡(jiǎn)單的 JS 腳本為例,將代碼寫(xiě)入到文件中
//norm.js
//計算兩個(gè)數的和
function add(num1, num2) {
return num1 + num2;
}其中,定義了一個(gè)方法,計算兩個(gè)數的和
//py_exec_js_demo.py
//安裝依賴(lài)
pip3 install PyExecJS
def js_from_file(file_name):
"""
讀取js文件
:return:
"""
with open(file_name, 'r', encoding='UTF-8') as file:
result = file.read()
return resultimport execjs
from js_code import *
# 編譯加載js字符串
context1 = execjs.compile(js_from_file('./norm.js'))# 調用js代碼中的add()方法,參數為2和3
# 方法名:add
# 參數:2和3
result1 = context1.call("add", 2, 3)
print(result1)# 安裝依賴(lài)庫
pip3 install js2py
# 使用獲取上下js2py生成一個(gè)上下文環(huán)境
context = js2py.EvalJs()
# 執行整段JS代碼
context.execute(js_content)
最后,利用上下文調用 JS 中的方法,并制定輸入參數即可
# 使用上下文context調用具體的函數
# 函數名:add
# 參數:1,2
result = context.add(1, 2)
print(result)需要注意是,如果 JS 是很長(cháng)的混淆代碼,轉換為 Python 的過(guò)程可能會(huì )報錯
更多功能可以參考:
https://github.com/PiotrDabkowski/Js2Py
實(shí)際上是使用 Python 的os.popen執行 node 命令,執行 JS 腳本
首先,確保本地已經(jīng)安裝了 Node.js 環(huán)境
修改 JS 腳本,新增一個(gè)導出函數 init ,方便內部函數被調用
//計算兩個(gè)數的和
function add(num1, num2) {
return num1 + num2;
}
//新增一個(gè)導出函數(node方式)
module.exports.init = function (arg1, arg2) {
//調用函數,并返回
console.log(add(arg1, arg2));
};
然后,將調用 JS 方法的命令組成一個(gè)字符串
# 組成調用js的命令
# node命令:node -e
cmd = 'node -e "require(\\"%s\\").init(%s,%s)"' % ('./norm', 3, 5)最后,通過(guò) os.popen 執行命令即可
pipeline = os.popen(cmd)
# 讀取結果
result = pipeline.read()
print('結果是:', result)PyV8 是 Google 將 Chrome V8 引擎用 Python 封裝的依賴(lài)庫
它不依賴(lài)本地 JS 環(huán)境,運行速度很快
import PyV8
from js_code import js_from_file
with PyV8.JSContext() as ctx:
ctx.eval(js_from_file('./norm.js'))
# 調用js函數,指定參數
ctx.locals.add(1, 2)但是經(jīng)過(guò)反復測試發(fā)現,MAC 和 PC 在 Python3 環(huán)境下,使用 PyV8 會(huì )報各種奇怪的問(wèn)題,所以不推薦使用!
更多功能可以參考:
https://github.com/emmetio/pyv8-binaries
上面總結了 Python 調用 JS 的 4 種方式
實(shí)際爬蟲(chóng)項目中,一般會(huì )先使用 node 命令進(jìn)行一次測試,確保沒(méi)問(wèn)題后,再使用前 3 種方式的任意一種進(jìn)行 Python 改寫(xiě)
聯(lián)系客服