爬蟲在互聯網世界中有很多的作用,比如:
1.數據采集,比如:
• 抓取微博評論(機器學習輿情監控)
• 抓取招聘網站的招聘信息(數據分析、挖掘)
• 新浪滾動新聞
• 百度新聞網站
2.軟件測試
• 爬蟲之自動化測試
自動化測試所必需的selenium . selenium是一個用于Web應用程序測試的工具,selenium 測試直接運行在瀏覽器中,就像真正的用戶在操作一樣。 支持的瀏覽器包括IE,chrome和Firefox等。其實就是借助于selenium做爬蟲的事情。
3.搶票和投票
• 12306搶票
• 投票網
4.網絡安全
• 短信轟炸
• web漏洞掃描