昨天帶伙伴學(xué)習(xí)python爬蟲，準(zhǔn)備了幾個(gè)簡單的入門實(shí)例，涉及主要知識(shí)點(diǎn)：

web是如何交互的

requests庫的get、post函數(shù)的應(yīng)用

response對象的相關(guān)函數(shù)，屬性

python文件的打開，保存

代碼中給出了注釋，并且可以直接運(yùn)行哦

如何安裝requests庫(安裝好python的朋友可以直接參考，沒有的，建議先裝一哈python環(huán)境)

windows用戶：打開cmd輸入以下命令即可，如果python的環(huán)境在C盤的目錄，會(huì)提示權(quán)限不夠，只需以管理員方式運(yùn)行cmd窗口；

Linux用戶：權(quán)限不夠的話在命令前加入sudo即可。

1、爬取強(qiáng)大的BD頁面，打印頁面信息

第一個(gè)爬蟲示例,爬取百度頁面

import requests #導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

response = requests.get(“http://www.baidu.com”) #

生成一個(gè)response對象

response.encoding = response.apparent_encoding #設(shè)置編碼格式

print(“狀態(tài)碼:”+ str( response.status_code ) ) #打印狀態(tài)碼

print(response.text)#輸出爬取的信息

2、常用方法之get方法實(shí)例，下面還有傳參實(shí)例

第二個(gè)get方法實(shí)例

import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

response = requests.get(“http://httpbin.org/get”) #get方法

print( response.status_code ) #狀態(tài)碼

print( response.text )

3、常用方法之post方法實(shí)例，下面還有傳參實(shí)例

第三個(gè) post方法實(shí)例

import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

response = requests.post(“http://httpbin.org/post”) #post方法訪問

print( response.status_code ) #狀態(tài)碼

print( response.text )

4、put方法實(shí)例

第四個(gè) put方法實(shí)例

import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

response = requests.put(“http://httpbin.org/put”) # put方法訪問

print( response.status_code ) #狀態(tài)碼

print( response.text )

5、常用方法之get方法傳參實(shí)例(1)

如果需要傳多個(gè)參數(shù)只需要用&符號(hào)連接即可如下

第五個(gè) get傳參方法實(shí)例

import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

response = requests.get(“http://httpbin.org/get?name=hezhi&age=20”) # get傳參

print( response.status_code ) #狀態(tài)碼

print( response.text )

6、常用方法之get方法傳參實(shí)例(2)

params用字典可以傳多個(gè)

第六個(gè) get傳參方法實(shí)例

import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

data = {

“name”:“hezhi”,

“age”:20

}

response = requests.get( “http://httpbin.org/get” , params=data ) # get傳參

print( response.status_code ) #狀態(tài)碼

print( response.text )

7、常用方法之post方法傳參實(shí)例(2)（PS:和上一個(gè)有沒有很像？）

第七個(gè) post傳參方法實(shí)例

import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

data = {

“name”:“hezhi”,

“age”:20

}

response = requests.post( “http://httpbin.org/post” , params=data ) # post傳參

print( response.status_code ) #狀態(tài)碼

print( response.text )

8、關(guān)于繞過反爬機(jī)制，以zh爸爸為例

第好幾個(gè)方法實(shí)例

import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

response = requests.get( “http://www.zhihu.com”) #第一次訪問知乎，不設(shè)置頭部信息

print( “第一次,不設(shè)頭部信息,狀態(tài)碼:”+response.status_code )# 沒寫headers，不能正常爬取，狀態(tài)碼不是 200

#下面是可以正常爬取的區(qū)別，更改了User-Agent字段

headers = {

“User-Agent”:“Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36”

}#設(shè)置頭部信息,偽裝瀏覽器

response = requests.get( “http://www.zhihu.com” , headers=headers ) #get方法訪問,傳入headers參數(shù)，

print( response.status_code ) # 200！訪問成功的狀態(tài)碼

print( response.text )

9、爬取信息并保存到本地

因?yàn)槟夸涥P(guān)系，在D盤建立了一個(gè)叫做爬蟲的文件夾，然后保存信息

注意文件保存時(shí)的encoding設(shè)置

爬取一個(gè)html并保存

import requests

url = “http://www.baidu.com”

response = requests.get( url )

response.encoding = “utf-8” #設(shè)置接收編碼格式

print(" r的類型" + str( type(response) ) )

print(" 狀態(tài)碼是:" + str( response.status_code ) )

print(" 頭部信息:" + str( response.headers ) )

print( " 響應(yīng)內(nèi)容:" )

print( response.text )

#保存文件

file = open(“D:\爬蟲\baidu.html”,“w”,encoding=“utf”) #打開一個(gè)文件，w是文件不存在則新建一個(gè)文件，這里不用wb是因?yàn)椴挥帽４娉啥M(jìn)制

file.write( response.text )

file.close()

10、爬取圖片，保存到本地

#保存百度圖片到本地

import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)

response = requests.get(“https://www.baidu.com/img/baidu_jgylogo3.gif”) #get方法的到圖片響應(yīng)

file = open(“D:\爬蟲\baidu_logo.gif”,“wb”) #打開一個(gè)文件,wb表示以二進(jìn)制格式打開一個(gè)文件只用于寫入

file.write(response.content) #寫入文件

file.close()#關(guān)閉操作，運(yùn)行完畢后去你的目錄看一眼有沒有保存成功

文章來源：網(wǎng)絡(luò) 版權(quán)歸原作者所有

上文內(nèi)容不用于商業(yè)目的，如涉及知識(shí)產(chǎn)權(quán)問題，請權(quán)利人聯(lián)系小編，我們將立即處理