以下是一個Python網絡爬蟲的實踐案例，該案例將演示如何使用Python爬取貓眼電影Top100的電影名稱、主演和上映時間等信息，并將這些信息保存到TXT文件中。此案例使用了requests庫來發(fā)送HTTP請求，使用re庫進行正則表達式匹配，并包含詳細的代碼解釋，以確保代碼可以直接運行。

1. 準備工作

在開始之前，我們需要確保已經安裝了requests庫。我們可以使用以下命令進行安裝：

bash復制代碼pip install requests

2.貓眼電影Top100的信息是從哪些頁面爬取的呢

貓眼電影Top100的信息是從貓眼電影的官方網站（如 https://maoyan.com/board/4 ）爬取的。具體來說，這個頁面展示了貓眼電影Top100的榜單，包含了電影的排名、名稱、主演、上映時間、評分等詳細信息。

在爬取過程中，爬蟲程序會模擬瀏覽器行為發(fā)送HTTP請求到該頁面的URL，并接收服務器返回的HTML內容。然后，程序會使用正則表達式或解析庫（如BeautifulSoup、lxml等）來解析HTML內容，提取出所需的信息（如電影名稱、主演、上映時間等）。

由于貓眼電影的頁面結構和反爬蟲機制可能會發(fā)生變化，因此在實際應用中，爬蟲程序可能需要根據(jù)實際情況進行調整和優(yōu)化。此外，爬取網站數(shù)據(jù)時應遵守相關法律法規(guī)和網站的使用協(xié)議，不得用于非法用途。

需要注意的是，由于貓眼電影Top100的榜單是動態(tài)變化的，因此爬取到的信息可能只是某一時刻的快照。如果需要獲取最新或實時的榜單信息，爬蟲程序需要定期運行并更新數(shù)據(jù)。

3. 代碼實現(xiàn)

以下是完整的代碼示例：

import requests
import re# 請求URL
url = 'https://maoyan.com/board/4'# 請求頭部，模擬瀏覽器請求
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}# 解析頁面函數(shù)
def parse_html(html):# 使用正則表達式匹配電影信息pattern = re.compile(r'<p class="name"><a href=".*?" title="(.*?)" data-act="boarditem-click" data-val="{movieId:\\\d+}">(.*?)</a></p>.*?<p class="star">(.*?)</p>.*?<p class="releasetime">(.*?)</p>', re.S)items = re.findall(pattern, html)# 將匹配到的信息轉換為字典格式for item in items:yield {'電影名稱': item[1],'主演': item[2].strip(),'上映時間': item[3]}# 保存數(shù)據(jù)函數(shù)
def save_data():# 打開文件準備寫入f = open('maoyan_top100.txt', 'w', encoding='utf-8')# 分頁爬取數(shù)據(jù)，每頁10條for i in range(10):# 構建分頁URLpage_url = f'https://maoyan.com/board/4?offset={i*10}'# 發(fā)送HTTP請求獲取頁面內容response = requests.get(page_url, headers=headers)# 解析頁面內容for item in parse_html(response.text):# 將信息寫入文件f.write(str(item) + '\n')# 關閉文件f.close()# 主函數(shù)
if __name__ == '__main__':save_data()

4. 代碼解釋

• 請求URL和頭部：定義了要爬取的貓眼電影Top100的URL和請求頭部，模擬瀏覽器請求以避免被反爬蟲機制攔截。
• 解析頁面函數(shù)：parse_html函數(shù)使用正則表達式匹配頁面中的電影信息，包括電影名稱、主演和上映時間。正則表達式中的re.S標志表示讓.匹配包括換行符在內的所有字符。
• 保存數(shù)據(jù)函數(shù)：save_data函數(shù)負責分頁爬取數(shù)據(jù)，并將解析到的信息寫入TXT文件中。通過循環(huán)10次，每次構建分頁URL并發(fā)送請求，然后解析頁面內容并寫入文件。
• 主函數(shù)：在__main__塊中調用save_data函數(shù)開始爬取數(shù)據(jù)。

5.代碼中包含了其他的功能模塊

在提供的代碼中，雖然主要功能是爬取貓眼電影Top100的信息，但代碼結構本身也體現(xiàn)了幾個關鍵的功能模塊。這些模塊使得代碼更加清晰、易于維護和擴展。以下是代碼中包含的其他功能模塊：

（1）請求發(fā)送模塊：

• 使用requests.get函數(shù)發(fā)送HTTP GET請求到指定的URL。
• 通過headers參數(shù)設置請求頭部，以模擬瀏覽器行為。

（2）頁面解析模塊（parse_html函數(shù)）：

• 使用正則表達式（re.compile和re.findall）解析HTML內容，提取所需信息。
• 正則表達式定義了要匹配的內容結構，包括電影名稱、主演和上映時間等。
• 將匹配到的信息以字典形式返回（通過生成器yield逐個返回，節(jié)省內存）。

（3）數(shù)據(jù)保存模塊（save_data函數(shù)）：

• 負責將解析到的數(shù)據(jù)保存到文件中。
• 實現(xiàn)了分頁爬取，通過循環(huán)構建不同頁面的URL并發(fā)送請求。
• 將每條電影信息轉換為字符串并寫入文件，每條信息占一行。

（4）主程序模塊（if name== main:部分）：

• 作為程序的入口點，調用save_data函數(shù)開始執(zhí)行爬取任務。
• 確保當該腳本作為主程序運行時才執(zhí)行爬取操作，而當它被其他腳本導入時不會執(zhí)行。

（5）錯誤處理模塊（隱含）：

• 雖然代碼中沒有顯式的try-except塊來處理可能出現(xiàn)的異常（如網絡請求失敗、解析錯誤等），但在實際應用中，添加錯誤處理是非常重要的。
• 可以通過添加異常處理來增強代碼的健壯性和用戶友好性。

（6）可擴展性模塊（隱含）：

• 代碼結構清晰，使得添加新功能（如爬取更多信息、支持其他網站等）變得相對容易。
• 可以通過修改正則表達式、添加新的解析函數(shù)或數(shù)據(jù)保存邏輯來擴展代碼的功能。

需要注意的是，雖然代碼在結構上包含了這些模塊，但在實際應用中可能還需要進一步完善，比如添加日志記錄、優(yōu)化正則表達式以提高解析效率、處理動態(tài)加載的內容（可能需要使用Selenium等工具）等。此外，由于網站結構和反爬蟲機制的變化，代碼可能需要根據(jù)實際情況進行調整。

6. 運行代碼

將上述代碼保存為一個Python文件（例如maoyan_spider.py），然后在命令行中運行該文件：

bash復制代碼python maoyan_spider.py

運行完成后，我們會在當前目錄下找到一個名為maoyan_top100.txt的文件，里面包含了貓眼電影Top100的電影名稱、主演和上映時間等信息。

7.注意事項

• 由于網站結構和反爬蟲機制可能會發(fā)生變化，因此在實際應用中可能需要對代碼進行相應的調整。
• 爬取網站數(shù)據(jù)時應遵守相關法律法規(guī)和網站的使用協(xié)議，不得用于非法用途。

通過此案例，我們可以學習到如何使用Python進行網絡爬蟲的基本步驟和方法，包括發(fā)送HTTP請求、解析頁面內容和保存數(shù)據(jù)等。希望這個案例對你有所幫助！