目錄

1.什么是互聯(lián)網(wǎng)爬蟲？

2.爬蟲核心?

3.爬蟲的用途?

4.爬蟲分類？

5.反爬手段？

---

1.什么是互聯(lián)網(wǎng)爬蟲？

如果我們把互聯(lián)網(wǎng)比作一張大的蜘蛛網(wǎng)，那一臺計算機上的數(shù)據(jù)便是蜘蛛網(wǎng)上的一個獵物，而爬蟲程序就是一只小蜘蛛，沿著蜘蛛網(wǎng)抓取自己想要的數(shù)據(jù).

解釋1:通過一個程序,根據(jù)Url(http://www.taobao.com)進行爬取網(wǎng)頁,獲取有用信息

解釋2:使用程序模擬瀏覽器,去向服務(wù)區(qū)請求,獲取響應(yīng)信息

2.爬蟲核心?

1.爬取網(wǎng)頁:爬取整個網(wǎng)頁 包含了網(wǎng)頁中所有得內(nèi)容

2.解析數(shù)據(jù):將網(wǎng)頁中你得到的數(shù)據(jù)進行解析

3.難點:爬蟲和反爬蟲之間的博弈

3.爬蟲的用途?

• 數(shù)據(jù)分析/人工數(shù)據(jù)集
• 社交軟件冷啟動
• 輿情監(jiān)控
• 競爭對手監(jiān)控

出行:票都只有在12306平臺售賣 但是你會發(fā)現(xiàn)飛豬等平臺也有這是為什么?因為這些其他平臺利用爬蟲高頻次地訪問12306網(wǎng)站.

社交:陌陌這款軟件很久以前如果你有在上面進行一定的社交你會發(fā)現(xiàn)大部分人都不會理你,因為他們都從微博上爬下來的假人.

4.爬蟲分類？

通用爬蟲：
實例 ???
百度、360、google、sougou等搜索引擎‐‐‐伯樂在線 ???????
功能 ???
訪問網(wǎng)頁‐>抓取數(shù)據(jù)‐>數(shù)據(jù)存儲‐>數(shù)據(jù)處理‐>提供檢索服務(wù) ???????
robots協(xié)議 ???
一個約定俗成的協(xié)議，添加robots.txt文件，來說明本網(wǎng)站哪些內(nèi)容不可以被抓取，起不到限制作用 ???????
自己寫的爬蟲無需遵守 ???????
網(wǎng)站排名(SEO) ???
1.?根據(jù)pagerank算法值進行排名（參考個網(wǎng)站流量、點擊率等指標） ???????
2.?百度競價排名 ???????
缺點 ???
1.?抓取的數(shù)據(jù)大多是無用的 ???????
2.不能根據(jù)用戶的需求來精準獲取數(shù)據(jù)?

聚焦爬蟲
功能 ???
根據(jù)需求，實現(xiàn)爬蟲程序，抓取需要的數(shù)據(jù) ???????
設(shè)計思路 ???
1.確定要爬取的url ???????
如何獲取Url ???????????
2.模擬瀏覽器通過http協(xié)議訪問url，獲取服務(wù)器返回的html代碼 ???????
如何訪問 ???????????
3.解析html字符串（根據(jù)一定規(guī)則提取需要的數(shù)據(jù)） ???????
如何解析?

5.反爬手段？

1.User‐Agent：
User?Agent中文名為用戶代理，簡稱?UA，它是一個特殊字符串頭，使得服務(wù)器能夠識別客戶使用的操作系統(tǒng)及版
本、CPU?類型、瀏覽器及版本、瀏覽器渲染引擎、瀏覽器語言、瀏覽器插件等。
???
2.代理IP
西次代理 ???
快代理 ???
什么是高匿名、匿名和透明代理？它們有什么區(qū)別？ ???
1.使用透明代理，對方服務(wù)器可以知道你使用了代理，并且也知道你的真實IP。 ???????
2.使用匿名代理，對方服務(wù)器可以知道你使用了代理，但不知道你的真實IP。 ???????
3.使用高匿名代理，對方服務(wù)器不知道你使用了代理，更不知道你的真實IP。 ???????
3.驗證碼訪問
打碼平臺 ???
??????云打碼平臺
??????超級🦅
4.動態(tài)加載網(wǎng)頁??網(wǎng)站返回的是js數(shù)據(jù)?并不是網(wǎng)頁的真實數(shù)據(jù)
selenium驅(qū)動真實的瀏覽器發(fā)送請求 ???
5.數(shù)據(jù)加密?
分析js代碼?