博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python3网络爬虫:urllib.error异常
阅读量:4316 次
发布时间:2019-06-06

本文共 1770 字,大约阅读时间需要 5 分钟。

转载请注明作者和出处:

一.urllib.error

    urllib.error可以接收有urllib.request产生的异常。urllib.error有两个方法,URLError和HTTPError。如下图所示:

1

2

    URLError是OSError的一个子类,HTTPError是URLError的一个子类,服务器上HTTP的响应会返回一个状态码,根据这个HTTP状态码,我们可以知道我们的访问是否成功。例如第二个笔记中提到的200状态码,表示请求成功,再比如常见的404错误等。

1.URLError

    让我们先看下URLError的异常,创建文件urllib_test06.py,编写如下代码:

# -*- coding: UTF-8 -*-from urllib import requestfrom urllib import error if __name__ == "__main__": #一个不存在的连接 url = "http://www.iloveyou.com/" req = request.Request(url) try: response = request.urlopen(req) html = response.read().decode('utf-8') print(html) except error.URLError as e: print(e.reason)

    我们可以看到如下运行结果:

3

2.HTTPError

    再看下HTTPError异常,创建文件urllib_test07.py,编写如下代码:

# -*- coding: UTF-8 -*-from urllib import requestfrom urllib import error if __name__ == "__main__": #一个不存在的连接 url = "http://www.douyu.com/Jack_Cui.html" req = request.Request(url) try: responese = request.urlopen(req) # html = responese.read() except error.HTTPError as e: print(e.code)

    运行之后,我们可以看到404,这说明请求的资源没有在服务器上找到,www.douyu.com这个服务器是存在的,但是我们要查找的Jack_Cui.html资源是没有的,所以抛出404异常。

4

二.URLError和HTTPError混合使用

    最后值得注意的一点是,如果想用HTTPError和URLError一起捕获异常,那么需要将HTTPError放在URLError的前面,因为HTTPError是URLError的一个子类。如果URLError放在前面,出现HTTP异常会先响应URLError,这样HTTPError就捕获不到错误信息了。

5

    如果不用上面的方法,也可以使用hasattr函数判断URLError含有的属性,如果含有reason属性表明是URLError,如果含有code属性表明是HTTPError。创建文件urllib_test08.py,编写代码如下:

# -*- coding: UTF-8 -*-from urllib import requestfrom urllib import error if __name__ == "__main__": #一个不存在的连接 url = "http://www.douyu.com/Jack_Cui.html" req = request.Request(url) try: responese = request.urlopen(req) except error.URLError as e: if hasattr(e, 'code') print("HTTPError") print(e.code) elif hasattr(e, 'reason') print("URLError") print(e.reason)

    运行结果如下:

6

转载于:https://www.cnblogs.com/mutouyin/p/9482035.html

你可能感兴趣的文章
dell support
查看>>
转:Maven项目编译后classes文件中没有dao的xml文件以及没有resources中的配置文件的问题解决...
查看>>
解决“Eclipse中启动Tomcat后,http://localhost:8080/无法访问”的问题
查看>>
MTK android 设置里 "关于手机" 信息参数修改
查看>>
隐私声明
查看>>
页面插入iframe嵌套
查看>>
019 jquery中的动画
查看>>
hello C#
查看>>
036 互联网的框架演变
查看>>
转载:基于《知网》的词汇语义相似度计算
查看>>
常用C库简介
查看>>
Linux 上的常用文件传输方式介绍与比较
查看>>
[转载]电话销售技巧全面大攻略
查看>>
LZW压缩算法原理及其Java实现
查看>>
VNC-Server installation on CentOS 7
查看>>
Unity中用触摸控制物体旋转和放大
查看>>
hibernate
查看>>
appium环境安装
查看>>
uva 10859
查看>>
ssm整合-动态项目-day13
查看>>