前言：

今天為大家?guī)淼膬?nèi)容是4個(gè)詳細(xì)步驟講解Python爬取網(wǎng)頁數(shù)據(jù)操作過程！(含實(shí)例代碼）本文具有不錯(cuò)的參考意義，希望在此能夠幫助到大家！

**提示：**由于涉及代碼較多，大部分代碼用圖片的方式呈現(xiàn)出來！

一、利用webbrowser.open()打開一個(gè)網(wǎng)站：

實(shí)例：使用腳本打開一個(gè)網(wǎng)頁。

所有Python程序的第一行都應(yīng)以#!python開頭，它告訴計(jì)算機(jī)想讓Python來執(zhí)行這個(gè)程序。（我沒帶這行試了試，也可以，可能這是一種規(guī)范吧）

• 1.從sys.argv讀取命令行參數(shù)：打開一個(gè)新的文件編輯器窗口，輸入下面的代碼，將其保存為map.py。
• 2.讀取剪貼板內(nèi)容：
• 3.調(diào)用webbrowser.open()函數(shù)打開外部瀏覽：

注：不清楚sys.argv用法的，請(qǐng)參考這里；不清楚.join()用法的，請(qǐng)參考這里。sys.argv是字符串的列表，所以將它傳遞給join()方法返回一個(gè)字符串。

好了，現(xiàn)在選中’天安門廣場(chǎng)’這幾個(gè)字并復(fù)制，然后到桌面雙擊你的程序。當(dāng)然你也可以在命令行找到你的程序，然后輸入地點(diǎn)。

二、用requests模塊從Web下載文件：requests模塊不是Python自帶的，通過命令行運(yùn)行pip install request安裝。沒翻墻是很難安裝成功的，手動(dòng)安裝可以參考這里。

requests中查看網(wǎng)上下載的文件內(nèi)容的方法還有很多，如果以后的博客用的到，會(huì)做說明，在此不再一一介紹。在下載文件的過程中，用raise_for_status()方法可以確保下載確實(shí)成功，然后再讓程序繼續(xù)做其他事情。

三、將下載的文件保存到本地：

四、用BeautifulSoup模塊解析HTML：在命令行中用pip install beautifulsoup4安裝它。

1.bs4.BeautifulSoup()函數(shù)可以解析HTML網(wǎng)站鏈接requests.get()，也可以解析本地保存的HTML文件，直接open()一個(gè)本地HTML頁面。

我這里有錯(cuò)誤提示，所以加了第二個(gè)參數(shù)。

2.用select()方法尋找元素：需傳入一個(gè)字符串作為CSS“選擇器”來取得Web頁面相應(yīng)元素，例如：

1. soup.select(‘div’)：所有名為

   的元素；

2. soup.select(‘#author’)：帶有id屬性為author的元素；

3. soup.select(‘.notice’)：所有使用CSS class屬性名為notice的元素；

4. soup.select(‘div span’)：所有在

   元素之內(nèi)的 元素；

5. soup.select(‘input[name]’)：所有名為并有一個(gè)name屬性，其值無所謂的元素；

6. soup.select(‘input[type=“button”]’)：所有名為并有一個(gè)type屬性，其值為button的元素。

想查看更多的解析器，請(qǐng)參看這里。

3.通過元素的屬性獲取數(shù)據(jù)：接著上面的代碼寫。

>>> link[0].get('href') 
'css/mozMainStyle-min.css?v=20170705

以上就是本文的全部?jī)?nèi)容啦，同時(shí)這些代碼實(shí)例也算是對(duì)“網(wǎng)絡(luò)爬蟲”的一些初探。

今天只要你給我的文章點(diǎn)贊，我私藏的網(wǎng)安學(xué)習(xí)資料一樣免費(fèi)共享給你們，來看看有哪些東西。

網(wǎng)絡(luò)安全學(xué)習(xí)資源分享:

最后給大家分享我自己學(xué)習(xí)的一份全套的網(wǎng)絡(luò)安全學(xué)習(xí)資料，希望對(duì)想學(xué)習(xí) 網(wǎng)絡(luò)安全的小伙伴們有幫助！

零基礎(chǔ)入門

對(duì)于從來沒有接觸過網(wǎng)絡(luò)安全的同學(xué)，我們幫你準(zhǔn)備了詳細(xì)的學(xué)習(xí)成長(zhǎng)路線圖。可以說是最科學(xué)最系統(tǒng)的學(xué)習(xí)路線，大家跟著這個(gè)大的方向?qū)W習(xí)準(zhǔn)沒問題。

【點(diǎn)擊領(lǐng)取】網(wǎng)絡(luò)安全重磅福利：入門&進(jìn)階全套282G學(xué)習(xí)資源包免費(fèi)分享！

1.學(xué)習(xí)路線圖

攻擊和防守要學(xué)的東西也不少，具體要學(xué)的東西我都寫在了上面的路線圖，如果你能學(xué)完它們，你去接私活完全沒有問題。

2.視頻教程

網(wǎng)上雖然也有很多的學(xué)習(xí)資源，但基本上都?xì)埲辈蝗?#xff0c;這是我自己錄的網(wǎng)安視頻教程，上面路線圖的每一個(gè)知識(shí)點(diǎn)，我都有配套的視頻講解?！军c(diǎn)擊領(lǐng)取視頻教程】

技術(shù)文檔也是我自己整理的，包括我參加大型網(wǎng)安行動(dòng)、CTF和挖SRC漏洞的經(jīng)驗(yàn)和技術(shù)要點(diǎn)，電子書也有200多本【點(diǎn)擊領(lǐng)取技術(shù)文檔】

（都打包成一塊的了，不能一一展開，總共300多集）

3.技術(shù)文檔和電子書

技術(shù)文檔也是我自己整理的，包括我參加大型網(wǎng)安行動(dòng)、CTF和挖SRC漏洞的經(jīng)驗(yàn)和技術(shù)要點(diǎn)，電子書也有200多本【點(diǎn)擊領(lǐng)取書籍】

4.工具包、面試題和源碼

“工欲善其事必先利其器”我為大家總結(jié)出了最受歡迎的幾十款款黑客工具。涉及范圍主要集中在 信息收集、Android黑客工具、自動(dòng)化工具、網(wǎng)絡(luò)釣魚等，感興趣的同學(xué)不容錯(cuò)過。

最后就是我這幾年整理的網(wǎng)安方面的面試題，如果你是要找網(wǎng)安方面的工作，它們絕對(duì)能幫你大忙。

這些題目都是大家在面試深信服、奇安信、騰訊或者其它大廠面試時(shí)經(jīng)常遇到的，如果大家有好的題目或者好的見解歡迎分享。

參考解析：深信服官網(wǎng)、奇安信官網(wǎng)、Freebuf、csdn等

內(nèi)容特點(diǎn)：條理清晰，含圖像化表示更加易懂。

內(nèi)容概要：包括 內(nèi)網(wǎng)、操作系統(tǒng)、協(xié)議、滲透測(cè)試、安服、漏洞、注入、XSS、CSRF、SSRF、文件上傳、文件下載、文件包含、XXE、邏輯漏洞、工具、SQLmap、NMAP、BP、MSF…

因篇幅有限，僅展示部分資料，需要點(diǎn)擊下方鏈接即可前往獲取
CSDN大禮包：《黑客&網(wǎng)絡(luò)安全入門&進(jìn)階學(xué)習(xí)資源包》免費(fèi)分享