一、前言

當重復性的工作頻繁發(fā)生時，各種奇奇怪怪提高效率的想法就開始萌芽了。當重復代碼的模塊化封裝已經(jīng)不能滿足要求的時候，更高效的方式就被揭開了神秘的面紗。本文基于這樣的想法，來和大家探討如何 10 秒鐘編寫一個 requests 爬蟲程序。

二、curl 概念介紹

curl（Client URL）是一個開源的命令行工具和庫，用于在計算機之間傳輸數(shù)據(jù)。它支持多種網(wǎng)絡協(xié)議（如HTTP、HTTPS、FTP、SFTP等），廣泛用于測試API、下載文件、調試網(wǎng)絡請求等場景。curl 幾乎每天都被全球的每個上網(wǎng)人士使用。

三、curl 與 requests 的關聯(lián)

1. curl 和 requests 均基于 HTTP 標準協(xié)議（如 GET/POST 方法、Header 設置、Cookie傳遞等），只是實現(xiàn)方式不同。
2. curl 的命令行參數(shù)（如 -H、-d、-X）與 requests 庫提供的參數(shù)幾乎一一對應。
3. requests 庫將 curl 的復雜命令封裝成更易讀的 Python 對象和方法（例如requests.get()、requests.json()）。

四、curl 轉 requests

有這樣一個網(wǎng)站，可以把 curl 轉為 requests，當然，這個代碼也可以自己來寫。暫時我們使用網(wǎng)站進行轉換：

https://curlconverter.com

如下圖所示，這個網(wǎng)站可以將 curl 命令轉成很多語言的版本。

五、10 秒寫一個爬蟲程序

我們用可獄可囚的爬蟲系列課程 08：新聞數(shù)據(jù)爬取實戰(zhàn)中爬過的中國新聞網(wǎng)來舉例：需要先復制此網(wǎng)站的 curl 命令，參考下圖：

curl 命令復制完成以后，放入到 curl 轉換網(wǎng)站中，復制結果即可，如圖：

就這樣，一個快速的針對特定網(wǎng)站的 requests 請求就編寫完成了！