一、請求庫

      1. requests 這個庫是爬蟲最常用的一個庫

      2. Selenium Selenium 是一個自動化測試工具，利用它我們可以驅(qū)動瀏覽器執(zhí)行特定的動作，如點擊、下拉等操作 對于一些用JS做誼染的頁面來說，這種抓取方式是非常有效的。

      3.ChomeDrive 安裝了這個庫，才能驅(qū)動Chrome瀏覽器完成相應的操作

      4.GeckoDriver 使用W3C WebDriver兼容客戶端與基于Gecko的瀏覽器進行交互的代理。

      5.PhantomJS PhantomJS 是一個無界面 、可腳本編程的 WebKit 瀏覽器引擎，它原生支持多種Web標準：Dom操作，css選擇器，json，Canvas以及SVG。

      6.aiohttp 之前接收requests庫是一個阻塞式HTTP請求庫，當我們發(fā)送一個請求后。程序會一直等待服務器響應，直到服務器響應后，程序才會最下一步處理。其實，這個過程比較耗時間。如果程序可以在等待的過程中做一些其他的事情，如進行請求的調(diào)度，響應的處理等，那么爬蟲的效率就會比之前的那種方式有很大的提升。 而aiohttp就是這樣一個提供異步web服務的庫。使用說這個庫用起來還是相當方便的。

      二、解析庫

      1.lxml lxml是python的一個解析庫，這個庫支持HTML和xml的解析，支持XPath的解析方式，而且效率也是非常高的，深受廣大程序員的熱愛

      2.Beautiful Soup Beautiful Soup也是python里一個HTML或XMl的解析庫，它可以很方便的懂網(wǎng)頁中提取數(shù)據(jù)，擁有強大的API和多種解析方式。

      3.pyquery 同樣是一個強大的網(wǎng)頁解析工具，它提供了和 jQuery 類似的語法來解析HTML。

      三、數(shù)據(jù)庫

      1.mysql 數(shù)據(jù)庫

      2.MongoDB Mo goDB 是由 ＋＋語言編寫的非關(guān)系型數(shù)據(jù)庫， 是一個基于分布式文件存儲的開源數(shù)據(jù)庫系統(tǒng)內(nèi)容存儲形式類似 JSON 對象，它的字段值可以包含其他文檔、數(shù)組及文檔數(shù)組，非常靈活

      3.Redis 是一個基于 存的高效的非關(guān)系型數(shù)據(jù)庫，

      四、存儲庫

      1.PyMySOL

      2.PyMongo

      3.redis-py

      4.RedisDump

      五、web庫

      1.Flask 是一個輕量級的Web服務程序，它簡單，易用，靈活

      2.Tornado 是一個支持異步的Web框架，通過使用非阻塞I/O流，可以支持成千上萬的開放式連接。

      以上就是常見的Python爬蟲庫的介紹了，大家不需要全部都掌握，了解其中一個或者幾個就可以了。最后歡迎對Python爬蟲開發(fā)感興趣的同學來到千鋒Python培訓班參加我們的Python培訓課程的學習，不僅有為期兩周的免費試聽，更有全套Python學習教程視頻可以領(lǐng)取，趕緊來了解一下吧。

       本文由培訓無憂網(wǎng)千鋒教育專屬課程顧問整理發(fā)布，希望能夠?qū)ο雽W習Python開發(fā)培訓的同學有所幫助。更多Python開發(fā)培訓課程歡迎關(guān)注培訓無憂網(wǎng)Python開發(fā)培訓頻道或添加老師微信：15033336050

以上文章由北京IT培訓課程顧問整理編輯發(fā)布，部分文章來自網(wǎng)絡(luò)內(nèi)容真實性請自行核實或聯(lián)系我們，了解相關(guān)專業(yè)課程信息您可在線咨詢也可免費申請試課。關(guān)注官方微信了解更多：150 3333 6050

免 費 申 請 試 課