視頻版教程：一天掌握python爬蟲(chóng)【基礎(chǔ)篇】 涵蓋 requests、beautifulsoup、selenium

有些網(wǎng)站的數(shù)據(jù)是js動(dòng)態(tài)渲染的，我們無(wú)法通過(guò)網(wǎng)頁(yè)源碼直接找到數(shù)據(jù)，只能通過(guò)找接口方式來(lái)獲取數(shù)據(jù)，但是很多時(shí)候，數(shù)據(jù)又是json格式的，給我們爬數(shù)據(jù)增加成本。

比如 CSDN - 專(zhuān)業(yè)開(kāi)發(fā)者社區(qū) 這個(gè)網(wǎng)站 就是js動(dòng)態(tài)渲染的首頁(yè)數(shù)據(jù)。

這時(shí)候，使用selenium，我們可以通過(guò)模擬真實(shí)瀏覽器的用戶操作行為，來(lái)獲取js動(dòng)態(tài)渲染后的網(wǎng)頁(yè)數(shù)據(jù)，在進(jìn)行解析網(wǎng)頁(yè)，獲取我們需要的數(shù)據(jù)。能大大提高我們的抓取效率。

Selenium是一個(gè)用于Web應(yīng)用程序測(cè)試的工具。Selenium測(cè)試直接運(yùn)行在瀏覽器中，就像真正的用戶在操作一樣。支持的瀏覽器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera，Edge等。

我們使用Selenium，模擬瀏覽器功能，自動(dòng)執(zhí)行網(wǎng)頁(yè)中的js代碼，實(shí)現(xiàn)動(dòng)態(tài)加載，然后再進(jìn)行數(shù)據(jù)抓取。

測(cè)試代碼：

import requestsurl = "https://www.csdn.net/"headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36'
}r = requests.get(url=url, headers=headers)# 設(shè)置返回對(duì)象的編碼
r.encoding = "utf-8"print(r.text)

運(yùn)行發(fā)現(xiàn)，返回結(jié)果里面找不到我們需要的資訊數(shù)據(jù)。