寫(xiě)在最前面

有位粉絲希望學(xué)習(xí)網(wǎng)絡(luò)爬蟲(chóng)的實(shí)戰(zhàn)技巧，想嘗試搭建自己的爬蟲(chóng)環(huán)境，從網(wǎng)上抓取數(shù)據(jù)。

前面有寫(xiě)一篇博客分享，但是內(nèi)容感覺(jué)太淺顯了
【一個(gè)超簡(jiǎn)單的爬蟲(chóng)demo】探索新浪網(wǎng)：使用 Python 爬蟲(chóng)獲取動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)

本期邀請(qǐng)了擅長(zhǎng)爬蟲(chóng)的朋友@PoloWitty，來(lái)撰寫(xiě)這篇博客。通過(guò)他的專業(yè)視角和實(shí)戰(zhàn)經(jīng)驗(yàn)，一步步引導(dǎo)我們?nèi)腴T，成為一名數(shù)據(jù)探索的“Spider Man”。

【Python網(wǎng)絡(luò)爬蟲(chóng)入門教程1】成為“Spider Man”的第一課：HTML、Request庫(kù)、Beautiful Soup庫(kù)
【Python網(wǎng)絡(luò)爬蟲(chóng)入門教程2】成為“Spider Man”的第二課：觀察目標(biāo)網(wǎng)站、代碼編寫(xiě)
【Python網(wǎng)絡(luò)爬蟲(chóng)入門教程3】成為“Spider Man”的第三課：從requests到scrapy、爬取目標(biāo)網(wǎng)站

---

隨著互聯(lián)網(wǎng)數(shù)據(jù)的指數(shù)級(jí)增長(zhǎng)，了解如何有效地提取這些信息變得越來(lái)越重要。無(wú)論是文本模型如ChatGPT，還是視覺(jué)模型如Stable Diffusion，它們的訓(xùn)練數(shù)據(jù)大多來(lái)源于互聯(lián)網(wǎng)的海量數(shù)據(jù)。在這個(gè)日新月異的大數(shù)據(jù)時(shí)代，爬蟲(chóng)也算是其中不得不點(diǎn)的一項(xiàng)基礎(chǔ)技能樹(shù)了。

本系列文章將深入淺出地介紹Python網(wǎng)絡(luò)爬蟲(chóng)的基礎(chǔ)知識(shí)和技術(shù)，從 Requests 庫(kù)到 Scrapy 框架的 入門級(jí) 使用，為你開(kāi)啟python網(wǎng)絡(luò)爬蟲(chóng)的大門，成為spider man的一員，并最終以ScrapeMe網(wǎng)站作為目標(biāo)示例，爬取下網(wǎng)站上的可愛(ài)又有趣的寶可夢(mèng)照片。

在開(kāi)始之前，還要啰嗦幾句疊個(gè)甲，網(wǎng)絡(luò)爬蟲(chóng)雖然強(qiáng)大，但在使用時(shí)必須遵守法律法規(guī)和網(wǎng)站的爬蟲(chóng)協(xié)議。不違法爬取數(shù)據(jù)，遵守相關(guān)法律法規(guī)哦~

這是本系列的第二篇文章，將會(huì)以ScrapeMe網(wǎng)站作為示例，展示如何使用第一課中學(xué)到的基礎(chǔ)知識(shí)來(lái)對(duì)網(wǎng)站上的寶可夢(mèng)圖片進(jìn)行爬取。

觀察目標(biāo)網(wǎng)站

首先，我們需要先對(duì)我們需要爬取的目標(biāo)網(wǎng)站及目標(biāo)內(nèi)容進(jìn)行一番觀察。

直接點(diǎn)進(jìn)目標(biāo)網(wǎng)站，我們可以看到如下內(nèi)容：

我們想要爬取的目標(biāo)圖像就處于中間位置。

再觀察一下如何獲取到不同page上的所有圖片，點(diǎn)擊不同page并觀察對(duì)應(yīng)的鏈接地址可以發(fā)現(xiàn)，通過(guò)在請(qǐng)求的地址鏈接中加入page參數(shù)，便可以訪問(wèn)不同的鏈接了。比如https://scrapeme.live/shop/page/2/?orderby=popularity，就是第二個(gè)page對(duì)應(yīng)的鏈接地址，通過(guò)不斷更換page后面的參數(shù)，便可以訪問(wèn)到不同的page了。

代碼編寫(xiě)

通過(guò)上面的觀察分析，我們的爬蟲(chóng)代碼思路便很清晰了：

1. 通過(guò)改變url=f'https://scrapeme.live/shop/page/{pageNum}/?orderby=popularity'中的pageNum參數(shù)，獲取到不同的page
   1. 獲取當(dāng)前page下所有圖片的鏈接
   2. 利用requests去請(qǐng)求相應(yīng)的鏈接并保存至本地文件夾中

通過(guò)上面的偽代碼，我們便可以寫(xiě)出相應(yīng)的爬蟲(chóng)程序了：

import requests
from bs4 import BeautifulSoupdef download_from_url(url:str):'''利用requests庫(kù)，從相應(yīng)的圖片鏈接中下載對(duì)應(yīng)的圖片結(jié)果會(huì)保存到results文件夾中'''filename = url.split('/')[-1]with open(f'./results/{filename}','wb') as fp:fig_response = requests.get(url)fp.write(fig_response.content)if __name__=='__main__':for pageNum in range(1,49):url=f'https://scrapeme.live/shop/page/{pageNum}/?orderby=popularity'response = requests.get(url)soup = BeautifulSoup(response.text, 'html.parser')# 找到所有的圖片元素links = soup.find_all('img')for link in links:# 找到圖片對(duì)應(yīng)的鏈接fig_link = link.get('src')# 根據(jù)鏈接下載相應(yīng)的圖片download_from_url(fig_link)

然后我們可以看看我們爬取下來(lái)的寶可夢(mèng)圖片：

怎么樣，是不是又優(yōu)雅又簡(jiǎn)單hhh，輕輕松松拿捏住了🤏

第二課總結(jié)

通過(guò)本節(jié)課程，你應(yīng)該已經(jīng)對(duì)如何使用requests庫(kù)和Beautiful Soup庫(kù)編寫(xiě)爬蟲(chóng)程序有了更加深入的認(rèn)識(shí)。恭喜你，你已經(jīng)能夠應(yīng)付大多數(shù)的爬蟲(chóng)場(chǎng)景了，已經(jīng)基本入門了python 網(wǎng)絡(luò)爬蟲(chóng)的世界φ(゜▽゜*)?

接下來(lái)，本系列課程的第三課，將講述本系列課程的提高內(nèi)容：利用scrapy庫(kù)以應(yīng)對(duì)更多更復(fù)雜的爬蟲(chóng)場(chǎng)景。