在Python 3中使用urllib进行套接字资源警告


问题内容

我正在使用urllib.request.urlopen()从要尝试测试的Web服务中获取。

这将返回一个HTTPResponse对象,然后我将其读取()以获取响应主体。

但是我总是看到关于来自socket.py的未关闭套接字的ResourceWarning

相关功能如下:

from urllib.request import Request, urlopen

def get_from_webservice(url):
    """ GET from the webservice  """
    req = Request(url, method="GET", headers=HEADERS)
    with urlopen(req) as rsp:
        body = rsp.read().decode('utf-8')
        return json.loads(body)

出现在程序输出中的警告如下:

$ ./test/test_webservices.py
/Library/Frameworks/Python.framework/Versions/3.3/lib/python3.3/socket.py:359: ResourceWarning: unclosed <socket.socket object, fd=5, family=30, type=1, proto=6>
self._sock = None
.s
----------------------------------------------------------------------
Ran 2 tests in 0.010s

OK (skipped=1)

如果我可以对HTTPResponse(或Request?)做任何事情以使其完全干净地关闭其套接字,那么我真的很想知道,因为该代码用于我的单元测试。我不喜欢在任何地方都忽略警告,尤其是在那儿。


问题答案:

我不知道这是否 答案,但这是答案的一部分。

如果我将标头“ connection:close”添加到Web服务的响应中,则HTTPResponse对象似乎可以正确清除自身,而不会发出警告。

实际上,HTTP规范(http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html)表示:

不支持持久连接的HTTP / 1.1应用程序必须在每条消息中都包含“关闭”连接选项。

因此问题出在服务器端(即我的错!)。如果您无法控制来自服务器的标头,我将不知所措。