目錄

爬蟲(chóng)引發(fā)的問(wèn)題

網(wǎng)絡(luò)爬蟲(chóng)的尺寸

網(wǎng)絡(luò)爬蟲(chóng)引發(fā)的問(wèn)題

網(wǎng)絡(luò)爬蟲(chóng)的限制

Robots協(xié)議

Robots協(xié)議的遵守方式

Robots的使用

對(duì)Robots協(xié)議的理解

---

爬蟲(chóng)引發(fā)的問(wèn)題

網(wǎng)絡(luò)爬蟲(chóng)的尺寸

• 爬取網(wǎng)頁(yè)，玩轉(zhuǎn)網(wǎng)頁(yè)：

小規(guī)模，數(shù)據(jù)量小，爬取速度不敏感。Requests庫(kù)

• 爬取網(wǎng)站，爬取系列網(wǎng)站：

中規(guī)模，數(shù)據(jù)規(guī)模較大，爬取速度敏感。Scrapy庫(kù)

• 爬取全網(wǎng)：

大規(guī)模，搜索引擎，爬取速度關(guān)鍵。定制開(kāi)發(fā)

網(wǎng)絡(luò)爬蟲(chóng)引發(fā)的問(wèn)題

騷擾問(wèn)題、法律風(fēng)險(xiǎn)、隱私泄露

網(wǎng)絡(luò)爬蟲(chóng)的限制

• 來(lái)源審查：判斷User-Agent進(jìn)行限制
  • 檢查來(lái)訪HTTP協(xié)議頭的User-Agent域，之相應(yīng)瀏覽器或友好爬蟲(chóng)的訪問(wèn)。
• 發(fā)布公告：Robots協(xié)議
  • 告知所有爬蟲(chóng)網(wǎng)站的爬取策略，要求爬蟲(chóng)遵守。

---

Robots協(xié)議

Robots Exclusion Standard 網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)

作用：網(wǎng)站告知網(wǎng)絡(luò)爬蟲(chóng)哪些頁(yè)面可以抓取，哪些不行。

形式：在網(wǎng)站根目錄下的robots.txt文件。

案例：京東的Robots協(xié)議

http://www.jd.com/robots.txt

# 對(duì)于任何的網(wǎng)絡(luò)爬蟲(chóng)來(lái)源，遵守如下協(xié)議
User-agent: * 
# Disallow 表示不允許訪問(wèn)
Disallow: /?* 			
Disallow: /pop/*.html 
Disallow: /pinpai/*.html?* 
# 以下四個(gè)網(wǎng)絡(luò)爬蟲(chóng)不允許爬取任何資源
User-agent: EtaoSpider 		
Disallow: / 
User-agent: HuihuiSpider 
Disallow: / 
User-agent: GwdangSpider 
Disallow: / 
User-agent: WochachaSpider 
Disallow: /

基本協(xié)議語(yǔ)法：

# 注釋
* 代表所有
./代表根目錄
User-agent: *		# 代表的是那些爬蟲(chóng)
Disallow: /			# 代表不允許爬蟲(chóng)訪問(wèn)的目錄

其他網(wǎng)站的一些Robots協(xié)議（但并不是所有網(wǎng)站都有robots協(xié)議）：

• 百度：http://www.baidu.com/robots.txt
• 新浪新聞：http://news.sina.com.cn/robots.txt
• 騰訊：http://www.qq.com/robots.txt
• 騰訊新聞：http://news.qq.com/robots.txt
• 國(guó)家教育部：http://www.meo.edu.cn/robots.txt （注：無(wú)robots協(xié)議）

---

Robots協(xié)議的遵守方式

Robots的使用

網(wǎng)絡(luò)爬蟲(chóng)：自動(dòng)或人工識(shí)別robots.txt，再進(jìn)行內(nèi)容爬取。

約束性：Robots協(xié)議是建議但非約束性，網(wǎng)絡(luò)爬蟲(chóng)可以不遵守，但存在法律風(fēng)險(xiǎn)。

對(duì)Robots協(xié)議的理解

• 爬取網(wǎng)頁(yè)，玩轉(zhuǎn)網(wǎng)頁(yè)：

訪問(wèn)量很小：可以遵守

訪問(wèn)量較大：建議遵守

• 爬取網(wǎng)站，爬取系列網(wǎng)站：

非商業(yè)且偶爾：建議遵守

商業(yè)利益：必須遵守

• 爬取全網(wǎng)：

必須遵守