當你學會了Python爬蟲技術之后看到什么都想去爬一下,今天小千就來教大家如何去獲取虎牙直播中的美女主播照片,帶好小本本記好重點!
Python爬蟲獲取直播封面圖
首先我們需要知道整體的流程:
1.獲取請求鏈接,并判斷響應結果的類型。2.使用requests發出請求,獲取響應結果。3.解析響應結果。4.將響應的結果做持久化保存。
按照上面的步驟,第一步我們打開虎牙直播的網站,找到想要獲取數據的專區,然后按下F11開發者工具,選擇Network進行網絡請求和響應的查看。我們的目的是獲取海量的美女圖片將頁面拉到底部,進行翻頁。發現地址欄沒有變化。
如果大家遇到這種情況,就要考慮是不是使用ajax進行異步請求了。在Network中選擇XHR,進行異步請求的篩選。
點開上圖中圈起來的鏈接,發現在response處是一個json返回結果
鏈接其他的沒有發生變化,唯獨在最后位置page發生了改變。分別跟頁碼數對應上了。于是我們就有了下面的代碼:
現在我們就來到了步驟二,使用requests發出請求了。
我們發現成功獲取了3條json結果,接下來就是分析和解析數據了。因為json內容很長,我們不便分析它們,所以我們使用json的格式化工具完成
通過分析我們發現所有的數據都在data-->datas中,而圖片在screenshot對應的值上。所以我們開始解析,先將json字符串使用json.loads()進行轉換,得到的是一個字典,然后層層的獲取數據。
我們雖然提取出來了圖片的url,但是還沒有保存到本地。所以接下來要做第四步持久化保存了。因為我們下載的僅僅是圖片,所以直接使用request.urlretrieve實現就可以
因此最后的完整代碼是:
以上就是利用Python獲取美女直播圖片的教程了,其他直播網站的圖片也可以同樣方式操作,如果你對Python爬蟲感興趣的話不妨來千鋒Python培訓班了解一下我們的Python培訓課程,包含全套Python爬蟲教程,權威名師全程面授學不會繼續學直到學會為止,現在咨詢還有免費的學習資料可以領取,趕緊來了解一下吧。