python urllib2 报错

在Python中使用urllib2模块时，你可能会遇到各种各样的错误，这些错误可能源于多种原因，比如网络问题、请求设置错误、服务器错误或Python环境问题，下面我会详细解释一些常见的urllib2报错及其可能的解决方案。

让我们看一个简单的urllib2请求示例：

import urllib2
try:
    response = urllib2.urlopen('http://www.example.com')
    html = response.read()
    print html
except urllib2.URLError as e:
    print('Error when accessing the URL: ', e.reason)
except urllib2.HTTPError as e:
    print('The server couldn't fulfill the request.')
    print('Error code: ', e.code)
except Exception as e:
    print('An unexpected error occurred: ', e)

以下是几种常见的错误及其解决方案：

URLError

URLError通常是由于网络问题或URL本身的问题引起的。

错误示例:

<urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:727)>

原因: 如果你的Python版本较高，默认启用了SSL证书验证，但提供的证书无效或不可信。

解决方案: 可以通过设置ssl._create_unverified_context()来禁用证书验证，但请注意这会降低安全性。

import ssl
try:
    _create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
    # Legacy Python that doesn't verify HTTPS certificates by default
    pass
else:
    # Handle target environment that doesn't support HTTPS verification
    ssl._create_default_https_context = _create_unverified_https_context
response = urllib2.urlopen('https://www.example.com')

HTTPError

HTTPError表示服务器返回了错误响应。

错误示例:

HTTP Error 404: Not Found

原因: 请求的页面不存在。

解决方案: 检查URL是否正确，或尝试其他URL。

IOError

IOError通常是由于网络连接问题引起的。

错误示例:

IOError: [Errno socket error] EOF occurred in violation of protocol (_ssl.c:590)

原因: 连接被服务器重置或中断。

解决方案: 重试请求，或检查网络连接。

import socket
socket.setdefaulttimeout(10)  # 设置超时时间

TimeoutError

当请求超时时，会遇到TimeoutError。

错误示例:

<urlopen error timed out>

原因: 服务器或网络问题导致请求没有在指定的时间内完成。

解决方案: 增加超时时间。

import urllib2
设置超时为5秒
response = urllib2.urlopen('http://www.example.com', timeout=5)

其他异常

还可能遇到编码问题、权限问题等。

错误示例:

UnicodeEncodeError: 'ascii' codec can't encode character u'u2013' in position 23: ordinal not in range(128)

原因: Python默认使用ASCII编码，而网页内容包含非ASCII字符。

解决方案: 使用decode和encode方法进行正确的编码转换。

假设网页是UTF8编码
html = response.read().decode('utf8').encode('ascii', 'ignore')

总结

处理urllib2的报错需要你根据错误类型进行不同的处理，你应该：

确保URL是正确的。

检查网络连接是否稳定。

设置合适的超时时间。

对于HTTPS请求，考虑SSL证书验证的问题。

使用正确的编码处理非ASCII字符。

对于复杂的请求，可能需要添加适当的请求头。

遇到错误时，不要害怕查看源代码或文档，这些通常能提供额外的线索，不要忘了单元测试，确保代码在多种条件下都能正常工作，这样，你就能更有效地使用urllib2，并处理可能出现的各种错误。