Python爬蟲能夠實現的功能有很多,就看你如何去使用它了,今天小千就來教大家如何去利用Python爬蟲自制一個有道翻譯詞典。
首先打開有道翻譯頁面,嘗試輸入hello,就出現翻譯了,可以自動翻譯。有同學寫了爬蟲去請求上面的 的鏈接,宋姐姐要說錯啦。因為這個是通過ajax實現的。如何實現的呢?谷歌瀏覽器F12或者右鍵選擇->檢查.
大家點開請求可以看到下圖 :
接下來重點來了,難點來了!!!salt,sign,ts,bv表示什么?如果不攜帶可不可以?
其實這個是js中創建出來的并在每次請求的時候加載到這里的?怎么知道這個值是什么?這時我們就要查看源代碼了,右鍵--->查看源代碼:
這個文件的js就是我們要找的,點開js文件看看是啥?
哇塞這個是什么鬼?直接嚇跑大家。此時考驗到家耐心和信心的地方到啦 ,我們有工具可以直接格式化這些的,站長工具點開就可了,切記將所有的代碼復制粘貼到里面直接格式化就可以。將格式化好的拷貝到你的pycharm中,然后strl+f查找‘sign’。(切記按照步驟)
可以分析出:
ts:就是時間戳,而js的時間戳是13位如:1583934479084,python的time.time()是浮點型的如:1583934450.832445 ,要想得到js的時間戳就要是: r= str(int(time.time() * 1000))
bv:n.md5(navigator.appVersion) 表示瀏覽器版本進行md5加密
salt:r + parseInt(10 * Math.random(), 10); 表示的是時間戳拼接一個0-9的隨機數
python實現就是:f = r + str(random.randint(0, 9))
sign:n.md5("fanyideskweb" + e + i + "Nw(nmmbP%A-r6U3EUn]Aj")
其中e表示要查詢的內容,此時如果我們要查詢長城則e=‘長城’
i就是你的salt值,與前面的常量值 “fanyideskweb” 和后面的常量值“Nw(nmmbP%A-r6U3EUn]Aj” 進行拼接后使用md5加密
補充python的md5加密:
此時我們需要的內容全部準備完畢!
通過請求獲取的返回結果response是json格式的,此時可以使用bejson.com 進行格式化
所以我們通過json就方便提取數據了,其中‘tgt’就是翻譯后的內容。
不說那么多了上代碼:
大家將代碼運行一下看到:{“errorCode”:50} 的結果沒有翻譯成功!這是為啥呢?
就是大家在爬取的時候將鏈接:url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
中的‘_o’務必切記去除掉,這個也是有道反扒的一種機制。(這個可能就是困擾很多同學的地方)
學習Python,可以參考千鋒Python培訓班推出的Python開發學習路線,結合千鋒Python培訓機構名師精心錄制的全套Python視頻教程,可以讓你對學習Python需要掌握的知識有個清晰的了解,并快速入門Python開發。千鋒Python培訓機構視頻教程分為三個大塊:Python基礎視頻教程、Python高級視頻教程、Python高手晉級視頻教程。視頻講解通俗易懂,入門Python開發僅用此套視頻足矣。想要獲取免費Python學習路線和學習資料可以添加我們的Python技術交流qq群:790693323 加群找群管理領取即可,Python相關技術問題也可以加群解決,等你來哦~~~~