在Python 2中,有Urllib和Urllib2两种模块,都是用来实现网络请求的发送的。其中Urllib2可以接收一个Request对象,并通过这样的方式来设置一个URL的Headers,而Urllib则只接收一个URL,不能伪装用户代理等字符串操作。而Python 3将Urllib与Urllib2模块的功能组合,并且命名为Urllib。Python 3中的Urllib模块包含多个功能的子模块,具体内容如下:
☑ urllib.request:用于实现基本的HTTP请求。
☑ urllib.error:用于处理异常,如果在发送网络请求时出现错误,则可以捕获异常,进行异常的有效处理。
☑ urllib.parse:用于解析URL。
☑ urllib.robotparser:用于解析robots.txt文件,判断网站是否可以爬取信息。