尋找數(shù)據(jù)真實接口

打開京東商品網(wǎng)址查看商品評價。我們點擊評論翻頁，發(fā)現(xiàn)網(wǎng)址未發(fā)生變化，說明該網(wǎng)頁是動態(tài)網(wǎng)頁。

?

API名稱：item_review-獲得JD商品評論

公共參數(shù)

獲取API測試key&secret

名稱	類型	必須	描述
key	String	是	調用key（必須以GET方式拼接在URL中）
secret	String	是	調用密鑰
api_name	String	是	API接口名稱（包括在請求地址中）[item_search,item_get,item_search_shop等]
cache	String	否	[yes,no]默認yes，將調用緩存的數(shù)據(jù)，速度比較快
result_type	String	否	[json,jsonu,xml,serialize,var_export]返回數(shù)據(jù)格式，默認為json，jsonu輸出的內容中文可以直接閱讀
lang	String	否	[cn,en,ru]翻譯語言，默認cn簡體中文
version	String	否	API版本

請求參數(shù)

請求參數(shù)：num_iid=71619129750&page=1

參數(shù)說明：item_id:商品ID
page:頁數(shù)

響應參數(shù)

Version: Date:

名稱	類型	必須	示例值	描述
items	items[]	0		獲得JD商品評論
rate_content	String	0	這個帆布鞋的款式挺不錯的，穿著也很百搭，做工很精細。！	評論內容
rate_date	Date	0	2020-07-16 17:04:45	評論日期
pics	MIX	0	["//img30.360buyimg.com/n0/s128x96_jfs/t1/143538/26/2997/98915/5f10182dE075cf6f4/3893a6ebd54bf20b.jpg"]	評論圖片
display_user_nick	String	0	j***X	買家昵稱
auction_sku	String	0	顏色:白色(加絨);尺碼:2XL	評論商品屬性
add_feedback	String	0	衣服面料很好 穿起來很舒服 衣服挺合適的！	追評內容

通過循環(huán)，爬取所有頁面的評論數(shù)據(jù)

翻頁爬取的關鍵是找到真實地址的“翻頁”規(guī)律。我們分別點擊第1頁、第2頁、第3頁，發(fā)現(xiàn)不同頁碼的除了page參數(shù)不一致，其余相同。第1頁的“page”是1，第2頁的“page”是2，第2頁的“page”是2，以此類推。 我們嵌套一個For循環(huán)，并通過pandas存儲數(shù)據(jù)。運行代碼讓其自動爬取其他頁面的評論信息，并儲存t.xlsx的文件中。 所有代碼如下：

import?requests
import?pandas?as?pd
items=[]
for?i?in?range(1,20):header?=?{'User-agent':'Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/92.0.4515.131?Safari/537.36?SLBrowser/8.0.1.4031?SLBChan/105'}url=f'https://api.m.jd.com/?appid=item-v3&functionId=pc_club_productPageComments&client=pc&clientVersion=1.0.0&t=1684832645932&loginType=3&uuid=122270672.2081861737.1683857907.1684829964.1684832583.3&productId=100009464799&score=0&sortType=5&page={i}&pageSize=10&isShadowSku=0&rid=0&fold=1&bbtf=1&shield='response=?requests.get(url=url,headers=header)json=response.json()data=json['comments']for?t?in?data:content?=t['content']time????=t['creationTime']item=[content,time]items.append(item)
df?=?pd.DataFrame(items,columns=['評論內容','發(fā)布時間'])
df.to_excel(r'C:\Users\藍胖子\Desktop\t.xlsx',encoding='utf_8_sig')

最后，得到爬取的數(shù)據(jù)結果如下：