什么是python爬蟲呢?說的簡單一些，爬蟲就是模擬客戶端(瀏覽器)發送網絡請求，獲取網絡響應，并按照一定的規則提取數據保存數據的程序。那么和python爬蟲有相關的框架有哪些呢?今天粵嵌科技的小編就來給大家整理下。

　　1.Scrapy框架是一套比較成熟的Python爬蟲框架，是使用Python開發的快速、高層次的信息爬取框架，可以高效的爬取web頁面并提取出結構化數據。

　　2.Crawley框架也是Python開發出的爬蟲框架，該框架致力于改變人們從互聯網中提取數據的方式。

　　3.Portia框架是一款允許沒有任何編程基礎的用戶可視化地爬取網頁的爬蟲框架。

　　4.newspaper框架是一個用來提取新聞、文章以及內容分析的Python爬蟲框架。

　　5.Python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、元描述、元標簽。在Python中，開源爬蟲框架很多，我們自己也可以寫一些。我們并不需要掌握每一種爬蟲框架，只需要深入掌握一種即可。大部分爬蟲框架實現方式都是大同小異，建議學習的Python 爬蟲框架——Scrapy。

　　Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。其可以應用在數據挖掘，信息處理或存儲歷史數據等一系列的程序中。其初是為了頁面抓取 (更確切來說, 網絡抓取 ) 所設計的， 也可以應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。Scrapy用途廣泛，可以用于數據挖掘、監測和自動化測試。

　　Scrapy主要包括了以下組件：

　　1.引擎(Scrapy)

　　2.調度器(Scheduler)

　　3.下載器(Downloader)

　　4.爬蟲(Spiders)

　　5.項目管道(Pipeline)

　　6.下載器中間件(Downloader Middlewares)

　　7.爬蟲中間件(Spider Middlewares)

　　8.調度中間件(Scheduler Middewares)

　　Scrapy運行流程大概如下：

　　1.引擎從調度器中取出一個鏈接(URL)用于接下來的抓取

　　2. 引擎把URL封裝成一個請求(Request)傳給下載器

　　3. 下載器把資源下載下來，并封裝成應答包(Response)

　　4. 爬蟲解析Response

　　5. 解析出實體(Item),則交給實體管道進行進一步的處理

　　6. 解析出的是鏈接(URL),則把URL交給調度器等待抓取

　　以上就是粵嵌科技的小編給大家整理的關于python爬蟲框架的內容了，如果說你對于學習python感興趣的話，那么粵嵌科技的小編建議大家來我們公司的python培訓班進行實地考察，也可以點擊我們文章下面的獲取試聽資格按鈕來獲取我們的python課程免費試聽資格，在試聽中可以更加深入的了解我們粵嵌科技。