尋找數(shù)據(jù)真實(shí)接口

打開(kāi)京東商品網(wǎng)址查看商品評(píng)價(jià)。我們點(diǎn)擊評(píng)論翻頁(yè)，發(fā)現(xiàn)網(wǎng)址未發(fā)生變化，說(shuō)明該網(wǎng)頁(yè)是動(dòng)態(tài)網(wǎng)頁(yè)。

?

API名稱：item_review-獲得JD商品評(píng)論

公共參數(shù)

獲取API測(cè)試key&secret

名稱	類(lèi)型	必須	描述
key	String	是	調(diào)用key（必須以GET方式拼接在URL中）
secret	String	是	調(diào)用密鑰
api_name	String	是	API接口名稱（包括在請(qǐng)求地址中）[item_search,item_get,item_search_shop等]
cache	String	否	[yes,no]默認(rèn)yes，將調(diào)用緩存的數(shù)據(jù)，速度比較快
result_type	String	否	[json,jsonu,xml,serialize,var_export]返回?cái)?shù)據(jù)格式，默認(rèn)為json，jsonu輸出的內(nèi)容中文可以直接閱讀
lang	String	否	[cn,en,ru]翻譯語(yǔ)言，默認(rèn)cn簡(jiǎn)體中文
version	String	否	API版本

請(qǐng)求參數(shù)

請(qǐng)求參數(shù)：num_iid=71619129750&page=1

參數(shù)說(shuō)明：item_id:商品ID
page:頁(yè)數(shù)

響應(yīng)參數(shù)

Version: Date:

名稱	類(lèi)型	必須	示例值	描述
items	items[]	0		獲得JD商品評(píng)論
rate_content	String	0	這個(gè)帆布鞋的款式挺不錯(cuò)的，穿著也很百搭，做工很精細(xì)。！	評(píng)論內(nèi)容
rate_date	Date	0	2020-07-16 17:04:45	評(píng)論日期
pics	MIX	0	["//img30.360buyimg.com/n0/s128x96_jfs/t1/143538/26/2997/98915/5f10182dE075cf6f4/3893a6ebd54bf20b.jpg"]	評(píng)論圖片
display_user_nick	String	0	j***X	買(mǎi)家昵稱
auction_sku	String	0	顏色:白色(加絨);尺碼:2XL	評(píng)論商品屬性
add_feedback	String	0	衣服面料很好 穿起來(lái)很舒服 衣服挺合適的！	追評(píng)內(nèi)容

通過(guò)循環(huán)，爬取所有頁(yè)面的評(píng)論數(shù)據(jù)

翻頁(yè)爬取的關(guān)鍵是找到真實(shí)地址的“翻頁(yè)”規(guī)律。我們分別點(diǎn)擊第1頁(yè)、第2頁(yè)、第3頁(yè)，發(fā)現(xiàn)不同頁(yè)碼的除了page參數(shù)不一致，其余相同。第1頁(yè)的“page”是1，第2頁(yè)的“page”是2，第2頁(yè)的“page”是2，以此類(lèi)推。 我們嵌套一個(gè)For循環(huán)，并通過(guò)pandas存儲(chǔ)數(shù)據(jù)。運(yùn)行代碼讓其自動(dòng)爬取其他頁(yè)面的評(píng)論信息，并儲(chǔ)存t.xlsx的文件中。 所有代碼如下：

import?requests
import?pandas?as?pd
items=[]
for?i?in?range(1,20):header?=?{'User-agent':'Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/92.0.4515.131?Safari/537.36?SLBrowser/8.0.1.4031?SLBChan/105'}url=f'https://api.m.jd.com/?appid=item-v3&functionId=pc_club_productPageComments&client=pc&clientVersion=1.0.0&t=1684832645932&loginType=3&uuid=122270672.2081861737.1683857907.1684829964.1684832583.3&productId=100009464799&score=0&sortType=5&page={i}&pageSize=10&isShadowSku=0&rid=0&fold=1&bbtf=1&shield='response=?requests.get(url=url,headers=header)json=response.json()data=json['comments']for?t?in?data:content?=t['content']time????=t['creationTime']item=[content,time]items.append(item)
df?=?pd.DataFrame(items,columns=['評(píng)論內(nèi)容','發(fā)布時(shí)間'])
df.to_excel(r'C:\Users\藍(lán)胖子\Desktop\t.xlsx',encoding='utf_8_sig')

最后，得到爬取的數(shù)據(jù)結(jié)果如下：