2024 一天掌握python爬蟲【基礎(chǔ)篇】 涵蓋 requests、beautifulsoup、selenium：

https://www.bilibili.com/video/BV1Ju4y1Y7k6/

什么是網(wǎng)絡(luò)爬蟲？

網(wǎng)絡(luò)爬蟲（又稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁追逐者），是一種按照一定的規(guī)則，自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動(dòng)索引、模擬程序或者蠕蟲。

比如百度 www.baidu.com 搜索引擎的所有檢索內(nèi)容，都是百度的很多蜘蛛去萬維網(wǎng)上去抓取，以及進(jìn)行持久化存儲(chǔ)，用戶通過百度搜索框，輸入想要搜索的內(nèi)容，百度服務(wù)器再通過算法檢索出最相關(guān)，最佳的內(nèi)容顯示給搜索結(jié)果頁面給用戶展示。

網(wǎng)絡(luò)爬蟲的核心工作內(nèi)容

網(wǎng)絡(luò)爬核心工作內(nèi)容是去目標(biāo)站點(diǎn)爬取網(wǎng)頁，將網(wǎng)頁中我們需要的內(nèi)容進(jìn)行解析，最后保存，比如保存到Excel，數(shù)據(jù)庫等。

網(wǎng)絡(luò)爬蟲的用途

應(yīng)用場(chǎng)景1：搜索引擎抓取網(wǎng)頁信息。 不知道大家對(duì)于Google、百度這種搜索引擎的工作原理都了解多少，搜索引擎的首要工作流程就是利用網(wǎng)絡(luò)爬蟲去爬取各個(gè)網(wǎng)站的頁面。以百度蜘蛛為例，一旦有網(wǎng)站的頁面更新了，百度蜘蛛就會(huì)出動(dòng)，然后把爬取的頁面信息搬回百度，再進(jìn)行多次的篩選和整理。最終在大家搜索相關(guān)信息的時(shí)候，通過排名呈現(xiàn)給大家。可以說，沒有網(wǎng)絡(luò)爬蟲，我們使用搜索引擎查詢資料的時(shí)候，就不會(huì)那么便捷、全面和高效。

應(yīng)用場(chǎng)景2：爬取需要數(shù)據(jù)進(jìn)行統(tǒng)計(jì)。 冷數(shù)據(jù)啟動(dòng)時(shí)豐富數(shù)據(jù)的主要工具，新業(yè)務(wù)開始時(shí)，由于剛起步，所以沒有多少數(shù)據(jù)，此時(shí)就需要爬取其他平臺(tái)的數(shù)據(jù)來填充我們的業(yè)務(wù)數(shù)據(jù)。比如說，如果我們想做一個(gè)類似大眾點(diǎn)評(píng)這樣的平臺(tái)，一開始沒有商戶等信息，就需要去爬取大眾，美團(tuán)等商家的信息來填充數(shù)據(jù)，比如天眼查，企查查，西瓜數(shù)據(jù)等等。

應(yīng)用場(chǎng)景3：出行類軟件通過爬蟲搶票。 如果問網(wǎng)絡(luò)爬蟲技術(shù)應(yīng)用最多的領(lǐng)域是什么？那一定是出行行業(yè)。相信每逢春運(yùn)或是節(jié)假日，大家都用過一些搶票的軟件，就為了獲得一張機(jī)票或者是一張火車票，而這種出行類軟件正是運(yùn)用網(wǎng)絡(luò)爬蟲技術(shù)來達(dá)到搶票的目的。像搶票軟件這樣的網(wǎng)絡(luò)爬蟲，會(huì)不停地爬取交通出行的售票網(wǎng)站，一旦有票就會(huì)點(diǎn)擊拍下來，放到自己的網(wǎng)站售賣。如果一定時(shí)間內(nèi)沒有人購買，就又會(huì)自動(dòng)退票。然后又通過網(wǎng)站爬蟲把票拍下來，到時(shí)間又繼續(xù)退票，如此反復(fù)循環(huán)。

應(yīng)用場(chǎng)景4：聚合平臺(tái)整合信息進(jìn)行比較。 如今，出現(xiàn)了很多比價(jià)平臺(tái)、聚合電商還有返利平臺(tái)等等給，這類聚合平臺(tái)的本質(zhì)都是提供橫向數(shù)據(jù)比較，聚合服。比如說電商中經(jīng)常需要有一種比價(jià)系統(tǒng)，從各大電商平臺(tái)，如拼多多，淘寶，京東等抓取同一個(gè)商品的價(jià)格信息，以給用戶提供最實(shí)惠的商品價(jià)格，這樣就需要利用網(wǎng)絡(luò)爬蟲從各大電商平臺(tái)爬取信息。

應(yīng)用場(chǎng)景5：爬取個(gè)人信用信息 黑產(chǎn)，灰產(chǎn)，風(fēng)控等，比如我們要向某些資金方申請(qǐng)授信，在資金方這邊首先要部署一道風(fēng)控，來看你的個(gè)人信息是否滿足授信條件，這些個(gè)人信息通常是某些公司利用爬蟲技術(shù)在各個(gè)渠道爬取而來的，當(dāng)然了這類場(chǎng)景還是要慎用，不然正應(yīng)了那句話“爬蟲用的好，監(jiān)牢進(jìn)得早”。

Python的爬蟲技術(shù)

爬蟲的總流程可以理解為：蜘蛛要抓某個(gè)獵物-->沿著蛛絲找到獵物-->吃到獵物；即爬取-->解析-->存儲(chǔ)；

在爬取數(shù)據(jù)過程中所需參考工具如下：

請(qǐng)求庫：urllib、requests、selenium

解析庫：正則、xpath、jsonpath、beautifulsoup、pyquery

存儲(chǔ)庫：文件、MySQL、Mongodb、Redis……

爬蟲框架：Scrapy