易居房產(chǎn)網(wǎng)下載路由優(yōu)化大師
前言
嗨嘍,大家好呀~這里是愛看美女的茜茜吶
傳說中,有人因為只是遠(yuǎn)遠(yuǎn)的看了一眼法外狂徒張三就進(jìn)去了😂
我現(xiàn)在是獲取他視頻,豈不是直接終生了🤩
網(wǎng)友:趕緊跑路吧 😏
好了話不多說,我們直接開始今天的內(nèi)容吧!
你需要準(zhǔn)備
環(huán)境使用
-
Python 3.8
-
Pycharm
模塊使用
-
import requests —> 數(shù)據(jù)請求模塊
-
import csv
-
import datetime
-
import hashlib
-
import time —> 時間模塊
第三方模塊安裝方法:
win + R 輸入cmd 輸入安裝命令 pip install 模塊名
(如果你覺得安裝速度比較慢, 你可以切換國內(nèi)鏡像源)
👇 👇 👇 更多精彩機(jī)密、教程,盡在下方,趕緊點擊了解吧~
素材、視頻教程、完整代碼、插件安裝教程我都準(zhǔn)備好了,直接在文末名片自取就可
代碼實現(xiàn)步驟 <固定四個大步驟>
-
發(fā)送請求, 模擬瀏覽器對于url地址發(fā)送請求
請求鏈接: 數(shù)據(jù)包鏈接
-
獲取數(shù)據(jù), 獲取服務(wù)器返回響應(yīng)數(shù)據(jù)
開發(fā)者工具: response
-
解析數(shù)據(jù), 提取我們需要的數(shù)據(jù)內(nèi)容
視頻基本信息
-
保存數(shù)據(jù), 把信息數(shù)據(jù)保存表格文件
代碼展示
導(dǎo)入模塊
import time
# 導(dǎo)入數(shù)據(jù)請求模塊
import requests
# 導(dǎo)入格式化輸出模塊
from pprint import pprint
import datetime
# 導(dǎo)入csv模塊
import csv
import hashlib
f = open('信息.csv', mode='w', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['標(biāo)題','描述','BV號','播放量','彈幕','評論','時長','上傳時間',
])
csv_writer.writeheader()
模擬瀏覽器 -> 基本反反爬蟲措施
headers = {# 用戶代理 表示瀏覽器基本身份信息'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
}
多頁采集
for page in range(1, 11):string = f'keyword=&mid=517327498&order=pubdate&order_avoided=true&platform=web&pn={page}&ps=30&tid=0&web_location=1550101&wts={int(time.time())}6eff17696695c344b67618ac7b114f92'
實例化對象
md5_hash = hashlib.md5()md5_hash.update(string.encode('utf-8'))
請求鏈接
url = 'https://api.小破站.com/x/space/wbi/arc/search'
請求參數(shù)
data = {'mid': '517327498','ps': '30','tid': '0','pn': page,'keyword': '','order': 'pubdate','platform': 'web','web_location': '1550101','order_avoided': 'true','w_rid': md5_hash.hexdigest(),'wts': int(time.time()),}
發(fā)送請求 <Response [200]> 響應(yīng)對象 表示請求成功
response = requests.get(url=url, params=data, headers=headers)for index in response.json()['data']['list']['vlist']:# 時間戳 時間節(jié)點 --> 上傳視頻時間點源碼、解答、教程、資料加V:qian97378免費領(lǐng)date = index['created']dt = datetime.datetime.fromtimestamp(date)dt_time = dt.strftime('%Y-%m-%d')dit = {'標(biāo)題': index['title'],'描述': index['description'],'BV號': index['bvid'],'播放量': index['play'],'彈幕': index['video_review'],'評論': index['comment'],'時長': index['length'],'上傳時間': dt_time,}
寫入數(shù)據(jù)
csv_writer.writerow(dit)print(dit)
尾語
感謝你觀看我的文章吶~本次航班到這里就結(jié)束啦 🛬
希望本篇文章有對你帶來幫助 🎉,有學(xué)習(xí)到一點知識~
躲起來的星星🍥也在努力發(fā)光,你也要努力加油(讓我們一起努力叭)。