当前位置:科普知识站>IT科技>

python爬虫是啥意思

IT科技 阅读(3.34W)

python爬虫是什么意思?让我们一起了解一下吧!

Python爬虫就是使用 Python 程序开发的网络爬虫(网页蜘蛛,网络机器人),是一种按照一定的规则自动地抓取万维网信息的程序或者脚本。主要用于搜索引擎,它将一个网站的所有内容与链接进行阅读,并建立相关的全文索引到数据库中,然后跳到另一个网站。

python爬虫是啥意思

拓展:爬虫分类

从爬取对象来看,爬虫可以分为通用爬虫和聚焦爬虫两类。

通用网络爬虫又称全网爬虫,爬行对象从一些种子 URL 扩充到整个 Web,主要为搜索引擎和大型 Web 服务提供商采集数据。

聚焦网络爬虫(Focused Crawler),是指选择性地爬取那些与预先定义好的主题相关页面的网络爬虫。