作為一名合格的操作員,往往需要掌握數據分析技能。例如,加入去新公司負責編輯新媒體內容,需要盤點公司現有的內容資產,以避免重復內容制作。這時候就需要把網頁上的數據刮下來,放在一起,一目了然。從網頁爬取數據最好的方法當然是爬蟲工具啦~本文將介紹Web Scraper爬蟲工具使用教程,幫助小白快速上手爬蟲工具!
第 1 步:下載網頁抓取工具
Web Scraper 是 Chrome 瀏覽器上的一個插件。您需要進入 Chrome App Store 并下載 Web Scraper 插件。
第 2 步:打開 Web Scraper
首先打開一個您要抓取數據的網頁。比如今天我要抓取今日頭條賬號“吳曉波頻道”的文章標題、時間、評論數,那我就先打開,再操作。然后使用快捷鍵 Ctrl + Shift + I / F12 打開 Web Scraper。
第 3 步:創建新站點地圖
點擊Create New Sitemap,有兩個選項,import sitemap是引導進入一個現成的sitemap,操作小白一般不是現成的,所以一般不選這個,選create sitemap就好了。然后做這兩個操作:
Sitemap Name:表示你的Sitemap適用于哪個網頁,所以你可以根據網頁來命名,但是需要用英文字母,比如我抓到今天頭條的數據,那我就命名它與頭條; Sitemap URL:將網頁鏈接復制到Star URL欄,如圖,我把“吳曉波頻道”的首頁鏈接復制到了這個欄。
第 4 步:設置站點地圖
整個Web Scraper的抓取邏輯如下:設置一級Selector,選擇選中的抓取范圍;在一級Selector下設置二級Selector,選擇抓取字段,然后抓取。
再舉個例子,如果要獲取福建人的姓名、性別、年齡這三個元素,那么你必須這樣做:首先定位福建省,然后定位福建省的人名。 、性別、年齡。這里,一級Selector表示要圈出中國大國中的福建省,二級Selector表示要圈出福建省人口中的姓名、性別、年齡三個要素對于文章,一級Selector表示需要圈出本文的元素。這個元素可能包括標題、作者、發表時間、評論數等,然后我們會在二級Selector中挑選出來。我們想要的元素,例如標題、作者、閱讀次數。
(1)點擊添加新選擇器創建一級選擇器,步驟如下:
a.輸入id:id代表你抓取的整個范圍,比如這里有一篇文章,我們可以命名為126 wuxiaobo-articles;
b. Select Type:type代表你抓取的部分的類型,比如element/text/link,因為這是整個文章元素范圍的選擇,我們需要使用Element整體選擇(如果這個網絡頁面需要滑動加載更多,然后選擇Element Scroll Down);
c. Check Multiple:勾選Multiple前面的小框,因為要選擇多個元素而不是單個元素,當我們勾選時,爬蟲插件會幫助我們識別多篇相似文章;
d. 保留設置:其余未提及的部分保留默認設置。
(2)點擊選擇范圍,按以下步驟操作:
a.選擇范圍:用鼠標選擇要爬取數據的范圍,綠色為要選中的區域,鼠標點擊后變為紅色即為選中;
b.多選:不要只選一個,下面的也不能選,否則只會爬出一行數據;
c.完成選擇:記得點擊完成選擇;
d.保存:點擊保存選擇器。
(3)設置一級Selector后,點擊設置二級Selector,按以下步驟操作:
a.新選擇器:點擊添加新選擇器;
b.輸入id:id代表你在抓取哪個字段,所以可以取字段的英文,比如我要選擇“作者”,就寫“作者”;
c. Select Type:選擇Text,因為你要抓取的是文本;
d.不要勾選Multiple:不要勾選Multiple前面的小方框,因為我們這里是抓取單個元素;保留設置:將其余未提及的部分保留為默認設置。
(4)點擊選擇,然后點擊要爬取的字段,按照以下步驟操作:
a.選擇字段:這里要爬取的字段是一個。用鼠標單擊該字段以將其選中。比如你想爬取標題,用鼠標點擊一篇文章的標題。當字段區域變為紅色時,即被選中;
c.完成選擇:記得點擊完成選擇;
d.保存:點擊保存選擇器。
(5)重復以上操作,引導你選擇你要爬的場地。
第 5 步:抓取數據
之所以說Web Scraper是任何新手必備的爬蟲工具,是因為你只需要設置好所有的Selector,然后就可以開始爬取數據了。怎么這么簡單?那么如何開始爬取數據呢? 只需一個簡單的操作:點擊Scrape,然后點擊Start Scraping,會彈出一個小窗口,然后勤奮的小爬蟲就開始工作了。您將獲得一個列表,其中包含您想要的所有數據。
以上是小白必知的Web Scraper爬蟲工具使用教程。怎么樣,Web Scraper 的所有操作你都快開始了嗎?相信即使是不懂編程語言的小白也能掌握5分鐘爬取數據的爬蟲工具!更多關于全媒體培訓的問題,歡迎咨詢千鋒教育在線名師。千鋒教育擁有多年IT培訓服務經驗,采用全程面授高品質、高體驗培養模式,擁有國內一體化教學管理及學員服務,助力更多學員實現高薪夢想。