一、概述

Requests 是一個(gè)用 Python 語言編寫的、簡潔且功能強(qiáng)大的 HTTP 庫。它允許開發(fā)者方便地發(fā)送各種 HTTP 請求，如 GET、POST、PUT、DELETE 等，并且可以輕松地處理請求的響應(yīng)。這個(gè)庫在 Python 生態(tài)系統(tǒng)中被廣泛使用，無論是簡單的網(wǎng)頁數(shù)據(jù)獲取，還是復(fù)雜的網(wǎng)絡(luò)服務(wù)交互場景都能發(fā)揮作用。

二、在網(wǎng)絡(luò)爬蟲中的作用

1.發(fā)送請求

• 簡單請求發(fā)送：在網(wǎng)絡(luò)爬蟲中，最常見的操作是獲取網(wǎng)頁內(nèi)容。使用requests.get()方法可以輕松地向目標(biāo)網(wǎng)址發(fā)送GET請求。例如，如果想要獲取某個(gè)新聞網(wǎng)站的首頁內(nèi)容，可以這樣寫：

import requests
response = requests.get('https://news.example.com')
print(response.text)

• 帶參數(shù)請求：對于一些需要傳遞參數(shù)的網(wǎng)頁，如搜索結(jié)果頁面，requests庫可以通過params參數(shù)來構(gòu)建帶有查詢參數(shù)的GET請求。假設(shè)要在一個(gè)電商網(wǎng)站上搜索特定商品，代碼可以這樣寫：

import requests
params = {'keyword': 'laptop'}
response = requests.get('https://ecommerce.example.com/search', params = params)
print(response.url)  
print(response.text)

這樣就可以獲取到包含 “l(fā)aptop” 關(guān)鍵詞的搜索結(jié)果頁面內(nèi)容。

2.處理響應(yīng)

• 狀態(tài)碼檢查：在網(wǎng)絡(luò)爬蟲中，需要檢查請求是否成功。requests庫返回的響應(yīng)對象有一個(gè)status_code屬性，可以用來判斷請求的狀態(tài)。例如，200表示請求成功，404表示頁面未找到。

import requests
response = requests.get('https://news.example.com')
if response.status_code == 200:print("請求成功")
else:print("請求出現(xiàn)問題，狀態(tài)碼:", response.status_code)

• 獲取內(nèi)容：可以通過response.text屬性獲取網(wǎng)頁的文本內(nèi)容（例如 HTML 代碼），用于后續(xù)的解析工作。如果網(wǎng)頁返回的是二進(jìn)制數(shù)據(jù)（如圖片、文件等），可以使用response.content屬性獲取字節(jié)流數(shù)據(jù)。

3. 模擬瀏覽器行為

• 很多網(wǎng)站會(huì)根據(jù)請求頭中的User - Agent等信息來判斷請求是否來自合法的瀏覽器。requests庫可以通過設(shè)置headers參數(shù)來模擬瀏覽器發(fā)送請求。

import requests
headers = {'User - Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko)Chrome/91.0.4472.124 Safari/537.36'}
response = requests.get('https://news.example.com', headers = headers)
print(response.text)

這樣就可以讓服務(wù)器認(rèn)為請求是來自瀏覽器，從而避免一些因?yàn)檎埱蟊蛔R(shí)別為非瀏覽器請求而導(dǎo)致的訪問限制。

詳見案例：抓取豆瓣電影數(shù)據(jù)：
https://blog.csdn.net/zi__you/article/details/144144052?fromshare=blogdetail&sharetype=blogdetail&sharerId=144144052&sharerefer=PC&sharesource=zi__you&sharefrom=from_link