自己做網(wǎng)站空間百度搜索廣告
許久未見,甚是想念,今日好運(yùn),為你帶好運(yùn)。ok,廢話不多說,希望這門案例能帶你直接快速了解并運(yùn)用。🎁💖
基礎(chǔ)流程
第一步:安裝需要用到的requests庫,命令如下
pip install requests
第二步:隨意找個目標(biāo)網(wǎng)址
url = '目標(biāo)網(wǎng)址'
第三步:發(fā)送請求get響應(yīng)
req = requests.get(url)
第四步:打印響應(yīng)信息
print(req_text)
完整代碼如下
import requests #導(dǎo)入庫
url = 'http://gitbook.cn/' #目標(biāo)網(wǎng)址
req = requests.get(url) #發(fā)送請求
print(req.text) #打印信息
輸出結(jié)果
ok,這四步流程就是走完了,接下來就是怎么把爬取的數(shù)據(jù)保存下來,那么繼續(xù)往下看。
存儲數(shù)據(jù)
存儲數(shù)據(jù)的格式有很多種,例如csv、html、spl、xls等,全看個人意愿選擇?;敬a如下
with open('./文件名稱路徑', '文件操作模式', encoding = '編碼格式') as fp:fp.write(page_text) #括號內(nèi)容為變量,包含要寫入的文本內(nèi)容
最終代碼如下
import requests # 導(dǎo)入requests模塊
url = 'https://www.sogou.com' # 要爬取的網(wǎng)址
req = requests.get(url) # 發(fā)起請求
page_text = req.text # 獲取網(wǎng)頁內(nèi)容
print(page_text) # 此行代碼可以不加,看個人喜好,不影響程序運(yùn)行
with open('./sogou.html', 'w', encoding = 'utf-8') as fp: # 保存網(wǎng)頁內(nèi)容到本地fp.write(page_text) # 寫入文件
輸出結(jié)果:
這些簡單的爬蟲流程我們從爬取數(shù)據(jù)到存儲數(shù)據(jù)就是做完了,是不是很簡單啊,當(dāng)然,對任何事物還是要保持敬畏之心和上進(jìn)之心。
我是好運(yùn),想要好運(yùn),今日分享,到此一游