當前位置:科普知識站>IT科技>

python爬蟲是啥意思

IT科技 閱讀(3.34W)

python爬蟲是什麼意思?讓我們一起了解一下吧!

Python爬蟲就是使用 Python 程式開發的網路爬蟲(網頁蜘蛛,網路機器人),是一種按照一定的規則自動地抓取全球資訊網資訊的程式或者指令碼。主要用於搜尋引擎,它將一個網站的所有內容與連結進行閱讀,並建立相關的全文索引到資料庫中,然後跳到另一個網站。

python爬蟲是啥意思

拓展:爬蟲分類

從爬取物件來看,爬蟲可以分為通用爬蟲和聚焦爬蟲兩類。

通用網路爬蟲又稱全網爬蟲,爬行物件從一些種子 URL 擴充到整個 Web,主要為搜尋引擎和大型 Web 服務提供商採集資料。

聚焦網路爬蟲(Focused Crawler),是指選擇性地爬取那些與預先定義好的主題相關頁面的網路爬蟲。