---

我聽見有人猜
你是敵人潛伏的內(nèi)線
和你相知多年
我確信對(duì)你的了解
你舍命救我畫面
一一在眼前浮現(xiàn)
司空見慣了鮮血
你忘記你本是嬌嬈的紅顏
感覺你我彼此都那么依戀
?????????????????????🎵 許嵩《內(nèi)線》

---

在網(wǎng)絡(luò)爬蟲項(xiàng)目中，Scrapy 是 Python 中最流行和強(qiáng)大的爬蟲框架之一。然而，當(dāng)你需要將 Scrapy 項(xiàng)目部署到服務(wù)器上，并自動(dòng)調(diào)度、監(jiān)控和管理多個(gè)爬蟲時(shí)，僅僅依賴 Scrapy 本身可能還不夠。此時(shí)，Scrapyd 是一個(gè)非常實(shí)用的解決方案。

Scrapyd 是一個(gè)專為 Scrapy 設(shè)計(jì)的分布式爬蟲調(diào)度系統(tǒng)，它允許你輕松地將 Scrapy 項(xiàng)目部署到服務(wù)器上，提供 API 來管理和調(diào)度多個(gè)爬蟲任務(wù)。通過 Scrapyd，開發(fā)者可以實(shí)現(xiàn)爬蟲的持續(xù)運(yùn)行、分布式調(diào)度、任務(wù)管理和日志查看等功能，大大提高了爬蟲項(xiàng)目的可管理性和可維護(hù)性。

1. 什么是 Scrapyd？

Scrapyd 是 Scrapy 項(xiàng)目的守護(hù)進(jìn)程，它提供了一個(gè)基于 HTTP 的 API，允許你通過 API 來管理爬蟲任務(wù)。使用 Scrapyd 你可以：

• 將 Scrapy 爬蟲部署到服務(wù)器上。
• 啟動(dòng)、停止、調(diào)度爬蟲任務(wù)。
• 查看爬蟲任務(wù)的狀態(tài)和日志。
• 支持多項(xiàng)目管理，便于多個(gè)爬蟲項(xiàng)目的部署和管理。
• 提供 Web API，用于遠(yuǎn)程控制和監(jiān)控爬蟲。

Scrapyd 可以在服務(wù)器上長(zhǎng)時(shí)間運(yùn)行，開發(fā)者通過 HTTP 請(qǐng)求就能控制服務(wù)器上的 Scrapy 爬蟲，適合用于生產(chǎn)環(huán)境中的爬蟲任務(wù)管理。

2. 安裝 Scrapyd

Scrapyd 的安裝非常簡(jiǎn)單。你可以使用 pip 來進(jìn)行安裝：

pip install scrapyd

安裝完成后，你可以通過命令行直接啟動(dòng) Scrapyd：

scrapyd

啟動(dòng)后，Scrapyd 會(huì)在本地的 http://localhost:6800/ 提供一個(gè) API 服務(wù)，默認(rèn)端口為 6800。通過這個(gè) API，你可以與 Scrapyd 交互，控制和管理爬蟲。

3. 部署 Scrapy 項(xiàng)目到 Scrapyd

要將 Scrapy 項(xiàng)目部署到 Scrapyd 上，你需要使用 scrapyd-client 工具。scrapyd-client 是一個(gè)專門用于將 Scrapy 項(xiàng)目打包并上傳到 Scrapyd 的命令行工具。

3.1 安裝 scrapyd-client

首先，安裝 scrapyd-client：

pip install scrapyd-client

3.2 配置 Scrapy 項(xiàng)目

在你的 Scrapy 項(xiàng)目中，確保存在 scrapy.cfg 配置文件，它會(huì)指定項(xiàng)目的基本信息。然后，你可以通過在 scrapy.cfg 文件中添加 Scrapyd 服務(wù)器的配置來連接 Scrapyd：

[settings]
default = myproject.settings[deploy]
url = http://localhost:6800/
project = myproject

在這里，url 指向 Scrapyd 服務(wù)器的地址，project 指定項(xiàng)目名稱。

3.3 部署項(xiàng)目

當(dāng)配置完成后，你可以使用以下命令將 Scrapy 項(xiàng)目打包并上傳到 Scrapyd：

scrapyd-deploy

這個(gè)命令會(huì)將當(dāng)前 Scrapy 項(xiàng)目打包為一個(gè) .egg 文件，并將其部署到 Scrapyd 服務(wù)器上。部署完成后，你的項(xiàng)目就可以通過 Scrapyd 的 API 進(jìn)行管理和調(diào)度了。

4. 使用 Scrapyd API

Scrapyd 提供了一個(gè)基于 HTTP 的 RESTful API，允許你通過發(fā)送 HTTP 請(qǐng)求來管理爬蟲任務(wù)。下面介紹一些常用的 API 操作：

4.1 啟動(dòng)爬蟲

通過向 Scrapyd 的 /schedule.json 端點(diǎn)發(fā)送 POST 請(qǐng)求，你可以啟動(dòng)一個(gè)爬蟲任務(wù)：

curl http://localhost:6800/schedule.json -d project=myproject -d spider=myspider

其中 project 是項(xiàng)目名稱，spider 是你要啟動(dòng)的爬蟲名稱。成功啟動(dòng)后，Scrapyd 會(huì)返回任務(wù) ID，你可以使用這個(gè) ID 來監(jiān)控任務(wù)的狀態(tài)。

4.2 停止爬蟲

如果你需要停止正在運(yùn)行的爬蟲，可以使用 /cancel.json 端點(diǎn)，并傳入任務(wù) ID 來取消任務(wù)：

curl http://localhost:6800/cancel.json -d project=myproject -d job=<job_id>

4.3 查看爬蟲狀態(tài)

通過 /listjobs.json 端點(diǎn)，你可以查看指定項(xiàng)目的爬蟲任務(wù)狀態(tài)：

curl http://localhost:6800/listjobs.json?project=myproject

這會(huì)返回正在運(yùn)行（running）、等待（pending）和已完成（finished）的任務(wù)列表，幫助你實(shí)時(shí)監(jiān)控爬蟲的執(zhí)行情況。

4.4 查看爬蟲日志

Scrapyd 還允許你查看爬蟲任務(wù)的日志。每個(gè)爬蟲任務(wù)運(yùn)行時(shí)都會(huì)生成日志，日志可以通過 /logs 端點(diǎn)訪問：

http://localhost:6800/logs/myproject/myspider/<job_id>.log

在這里，myproject 是項(xiàng)目名稱，myspider 是爬蟲名稱，<job_id> 是任務(wù)的 ID。

5. Scrapyd 的進(jìn)階使用

除了基本的任務(wù)管理功能，Scrapyd 還提供了一些高級(jí)功能，適合需要更復(fù)雜調(diào)度或分布式爬蟲的場(chǎng)景。

5.1 定時(shí)任務(wù)調(diào)度

Scrapyd 本身不支持直接的定時(shí)調(diào)度功能，但是可以通過結(jié)合系統(tǒng)的任務(wù)調(diào)度工具（如 Linux 的 cron）或其他第三方工具（如 APScheduler）來實(shí)現(xiàn)定時(shí)啟動(dòng)爬蟲任務(wù)。

例如，使用 cron 設(shè)置每天凌晨 3 點(diǎn)啟動(dòng)一次爬蟲：

0 3 * * * curl http://localhost:6800/schedule.json -d project=myproject -d spider=myspider

5.2 分布式爬蟲

Scrapyd 允許你將爬蟲部署到多臺(tái)服務(wù)器上，并通過分布式的方式運(yùn)行多個(gè)爬蟲實(shí)例。你只需要在不同的服務(wù)器上啟動(dòng) Scrapyd 實(shí)例，并通過 API 在各個(gè)服務(wù)器上調(diào)度爬蟲任務(wù)。這樣可以提升爬取速度，適應(yīng)大規(guī)模爬蟲的需求。

5.3 使用 Docker 部署 Scrapyd

Scrapyd 也可以通過 Docker 來輕松部署。在服務(wù)器上運(yùn)行 Scrapyd 的 Docker 容器，可以簡(jiǎn)化安裝和配置。以下是使用 Docker 啟動(dòng) Scrapyd 的基本命令：

docker run -d -p 6800:6800 --name scrapyd vimagick/scrapyd

這樣你就可以在 http://localhost:6800/ 訪問 Scrapyd，并通過 API 控制和管理爬蟲任務(wù)。

6. Scrapyd 的優(yōu)缺點(diǎn)

優(yōu)點(diǎn)：
簡(jiǎn)潔易用：Scrapyd 提供了簡(jiǎn)單的 API 來控制和管理爬蟲任務(wù)，易于使用。
支持多項(xiàng)目管理：你可以在同一個(gè) Scrapyd 實(shí)例上管理多個(gè) Scrapy 項(xiàng)目。
靈活的調(diào)度方式：結(jié)合系統(tǒng)工具或第三方調(diào)度器，可以靈活實(shí)現(xiàn)定時(shí)和分布式調(diào)度。
日志管理：Scrapyd 自動(dòng)記錄爬蟲運(yùn)行日志，便于調(diào)試和監(jiān)控爬蟲狀態(tài)。
缺點(diǎn)：
無(wú)內(nèi)置定時(shí)調(diào)度：Scrapyd 本身不支持定時(shí)任務(wù)調(diào)度，需要結(jié)合其他工具。
分布式管理依賴外部工具：雖然支持分布式爬蟲，但需要手動(dòng)在多個(gè)服務(wù)器上部署 Scrapyd 實(shí)例，并通過外部工具實(shí)現(xiàn)任務(wù)的協(xié)調(diào)。

7. 總結(jié)

Scrapyd 是一個(gè)強(qiáng)大且易于使用的 Scrapy 項(xiàng)目部署和管理工具。它為開發(fā)者提供了靈活的 API 來控制和調(diào)度爬蟲任務(wù)，使得管理多個(gè)爬蟲項(xiàng)目和任務(wù)變得更加簡(jiǎn)單和高效。通過結(jié)合系統(tǒng)級(jí)的調(diào)度工具（如 cron）或其他第三方調(diào)度工具，Scrapyd 可以在生產(chǎn)環(huán)境中有效地管理和自動(dòng)化你的爬蟲任務(wù)。
對(duì)于那些需要部署和管理大規(guī)模爬蟲任務(wù)的開發(fā)者，Scrapyd 提供了一個(gè)強(qiáng)大的工具鏈，使得你可以將 Scrapy 爬蟲項(xiàng)目輕松擴(kuò)展到服務(wù)器上，并實(shí)現(xiàn)分布式爬蟲、日志管理、任務(wù)調(diào)度等功能。如果你正在使用 Scrapy 進(jìn)行 Web 爬取，并且需要管理多個(gè)爬蟲實(shí)例或任務(wù)，Scrapyd 將是一個(gè)非常值得使用的解決方案。