Selenium 使用指南：從入門到精通

Selenium 是一個(gè)用于自動(dòng)化 Web 瀏覽器操作的強(qiáng)大工具，廣泛應(yīng)用于自動(dòng)化測試和 Web 數(shù)據(jù)爬取中。本文將帶你從入門到精通地掌握 Selenium，涵蓋其基本操作、常用用法以及一個(gè)完整的圖片爬取示例。

1. 環(huán)境配置

1.1 安裝 Selenium

在 Python 環(huán)境中，可以通過 pip 安裝 Selenium：

pip install selenium

1.2 下載 WebDriver

Selenium 需要與特定瀏覽器的 WebDriver 一起使用。例如，若使用 Chrome 瀏覽器，需要下載 ChromeDriver 并確保路徑已配置好。

1.3 設(shè)置 WebDriver 路徑

將下載的 WebDriver 解壓后，路徑可以設(shè)置到系統(tǒng)環(huán)境變量中，或在代碼中指定其位置。

2. Selenium 基本用法

2.1 啟動(dòng)瀏覽器并打開頁面

from selenium import webdriver# 創(chuàng)建 Chrome 瀏覽器實(shí)例并指定 WebDriver 路徑
driver = webdriver.Chrome(executable_path=r'C:\Program Files\Google\Chrome\Application\chromedriver.exe')# 打開網(wǎng)頁
driver.get('https://www.example.com')# 關(guān)閉瀏覽器
driver.quit()

2.2 查找元素

可以通過多種方式查找頁面中的元素：

# 通過 ID
element_by_id = driver.find_element_by_id('element-id')# 通過 name
element_by_name = driver.find_element_by_name('element-name')# 通過 class
element_by_class = driver.find_element_by_class_name('element-class')# 通過 tag
element_by_tag = driver.find_element_by_tag_name('tag-name')# 通過 CSS selector
element_by_css = driver.find_element_by_css_selector('css.selector')# 通過 XPath
element_by_xpath = driver.find_element_by_xpath('//tag[@attribute="value"]')

2.3 交互操作

2.3.1 點(diǎn)擊事件

# 查找并點(diǎn)擊按鈕
button = driver.find_element_by_id('button-id')
button.click()

2.3.2 輸入文本

# 查找輸入框并輸入文本
input_box = driver.find_element_by_name('input-name')
input_box.send_keys('Hello, World!')

2.4 獲取元素屬性和文本

# 獲取屬性值
attribute_value = element_by_id.get_attribute('attribute-name')# 獲取文本內(nèi)容
text_content = element_by_id.text

2.5 等待元素加載

在某些情況下，需要等待元素加載完成：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ECelement = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, 'element-id'))
)

2.6 處理彈窗和多窗口

2.6.1 處理 JavaScript 彈窗

# 切換并接受彈窗
alert = driver.switch_to.alert
alert.accept()

2.6.2 切換窗口

# 獲取所有窗口句柄
handles = driver.window_handles# 切換到新窗口
driver.switch_to.window(handles[1])

2.7 執(zhí)行 JavaScript

# 滾動(dòng)頁面到元素
driver.execute_script("arguments[0].scrollIntoView();", element_by_id)

2.8 截圖

# 保存當(dāng)前頁面截圖
driver.save_screenshot('screenshot.png')

2.9 管理 Cookies

# 獲取所有 Cookies
cookies = driver.get_cookies()# 添加新 Cookie
driver.add_cookie({'name': 'key', 'value': 'value'})# 刪除一個(gè) Cookie
driver.delete_cookie('key')# 刪除所有 Cookies
driver.delete_all_cookies()

3. 高級用法：爬取網(wǎng)頁圖片

3.1 爬取示例代碼

以下是一個(gè)使用 Selenium 爬取網(wǎng)頁圖片的完整示例：

from selenium import webdriver
import os
import urllib.request# 設(shè)置 ChromeDriver 路徑并打開瀏覽器
driver = webdriver.Chrome(executable_path='path/to/chromedriver')# 打開目標(biāo)網(wǎng)頁
driver.get('https://www.example.com')# 查找所有圖片元素
images = driver.find_elements_by_tag_name('img')# 創(chuàng)建保存圖片的文件夾
os.makedirs('downloaded_images', exist_ok=True)# 下載所有圖片
for i, img in enumerate(images):src = img.get_attribute('src')if src:print(f"Downloading image {i+1}: {src}")# 下載并保存圖片urllib.request.urlretrieve(src, f'downloaded_images/image_{i+1}.jpg')# 關(guān)閉瀏覽器
driver.quit()import urllib.request
from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://netflav.com/trending")
element_by_id = driver.find_element(By.ID, 'kw')
element_by_id.send_keys("hello")
driver.find_element(By.ID, 'su').click()
plants = driver.find_elements(By.TAG_NAME, "img")
for idx, img_element in enumerate(plants):img_url = img_element.get_attribute('src')urllib.request.urlretrieve(src, f'image_{idx+1}.jpg')
driver.quit()

3.2 代碼解釋

• 導(dǎo)入庫并設(shè)置 WebDriver：導(dǎo)入 Selenium 和 Python 標(biāo)準(zhǔn)庫用于文件操作和 HTTP 請求。
• 打開網(wǎng)頁并獲取圖片元素：使用 find_elements_by_tag_name('img') 獲取所有圖片元素。
• 下載圖片：遍歷圖片元素，獲取 src 屬性并下載圖片到本地。

4. 總結(jié)

通過本文的介紹，相信你已經(jīng)對 Selenium 的基本操作和高級應(yīng)用有了全面的了解。Selenium 是一個(gè)強(qiáng)大且靈活的工具，在自動(dòng)化測試和數(shù)據(jù)爬取中都能提供極大便利。通過學(xué)習(xí)和實(shí)踐這些功能，可以極大地提升自動(dòng)化流程的效率。希望這篇文章能幫助你更好地掌握 Selenium。