下载掌阅APP，畅读海量书库
立即打开
网络爬虫（又被称作网络蜘蛛、网络机器人，在某社区中经常被称为网页追逐者），指可以按照指定的规则（网络爬虫的算法）自动浏览或抓取网络中的信息，通过Python可以轻松地编写爬虫程序或者脚本。
在生活中，网络爬虫经常出现，搜索引擎就离不开网络爬虫。例如，百度搜索引擎的爬虫名字叫作百度蜘蛛（Baiduspider）。百度蜘蛛，是百度搜索引擎的一个自动程序。它每天都会在海量的互联网信息中进行爬取，收集并整理互联网上的网页、图片、视频等信息。当用户在百度搜索引擎中输入对应的关键词时，百度将从收集的网络信息中找出相关的内容，按照一定的顺序将信息呈现给用户。在百度蜘蛛工作的过程中，搜索引擎会构建一个调度程序，来调度百度蜘蛛的工作，这些调度程序都需要通过一定的算法来实现，采用的算法不同，爬虫的工作效率会有所不同，爬取的结果也会有所差异。所以，在学习爬虫的时候，不仅要了解爬虫的实现过程，还要了解一些常见的爬虫算法。在特定的情况下，还需要开发者自己制定相应的算法。