tornado 的 AsyncHTTPClient 和 requests 库为什么不关闭连接？

[aiqier]

之前一段时间，一直在用 tornado 的异步客户端。

http_client = AsyncHTTPClient()
response = yield http_client.fetch(url, method=‘ POST ’, body=data)
response.body …..

但是从来没写过：
http_client.close()这样的代码。

类似的，同步的阻塞请求，我一般使用 python 的 requests 库：

response = requests.post(url, body)
response.content

但是也没有调用过类似 close()的方法，

按理来说，数据库连接，文件句柄，网络连接，这些非托管资源，不是都应该手动去关闭的么？我记得比较“低级”的 http 库确实会调用关闭：
HTTPConnection.close()，

那么我的问题是

1.我在 tornado 的 http 客户端，和 requests 库中，如何关闭它们？
2.是否是因为本质上，这两个客户端在关闭方式上就是不同的。
3.如果不关，我的服务长期这样跑着，总有一天会大量内存泄露吧？

[kinghui]

( https://github.com/tornadoweb/tornado/blob/master/tornado/httpclient.py#L82)[https://github.com/tornadoweb/tornado/blob/master/tornado/httpclient.py#L82]
( https://github.com/tornadoweb/tornado/blob/master/tornado/httpclient.py#L186-L197)[https://github.com/tornadoweb/tornado/blob/master/tornado/httpclient.py#L186-L197]

[zeayes]

tornado 的 AsyncHTTPClient 都是短链接，请求处理完了，自动关闭，具体代码位置： httpclient.py -> simple_httpclient.py -> http1connection.py 。
requests 的请求链接是有连接池的，具体可看源代码，位置:models.py -> sessions.py -> adapters.py 里面的 send 方法。

[dozer47528]

建议用 Apache 的 HttpAsyncClient ，底层有连接池管理，也可以自己实现。

这个性能很好，只要服务端性能够，用 HttpAsyncClient 轻轻松松上万 QPS 。

我在高并发环境下用的就是它。稳定运行一年了。

[dozer47528]

忽略我吧，我还以为说的是 Java …

[tywtyw2002]

tornado 的 AsyncHTTPClient 不是这么用的啊。。。。。

看你的 code 你是用 AsyncHTTPClient 去做一个 post ，然后对结果去处理吧。如果是这个样子你用 HTTPClient ，因为这个会自动 block 。（这 block 的意思是说，不需要 yield 去防止执行到下一条语句。）

如果我没记错的关闭 AsyncHTTPClient 就是把这个对象在 ioloop 中移除，然后设置 close flag 。
这个跟 web.RequestHandler 里面的 self.finish()很类似，防止在 call finish 后在去进行写操作。

对于 AsyncHTTPClient 的应用我比较偏向于 chunk 数据的处理，比如说视频的转码，对于普通的 get/post 操作我个人认为用 AsyncHTTPClient 的意义不大，真不如用 HTTPClient 。
用 requests 的话能会 block 其他 http 请求。因为他无法注册到 ioloop 里面。只要这个 requests 请求结束， tornado 才会处理下一个 http 请求。


查了下文档，文档中提到 AsyncHTTPClient 是可以不关闭的，除非你用了 force_instance=True 。
http://www.tornadoweb.org/en/stable/httpclient.html#tornado.httpclient.AsyncHTTPClient.close

[est]

@dozer47528 有没有试过一个很卡的网站。你同时并发 1w 个请求过去，会卡成什么样？

[aiqier]

@tywtyw2002 用 post 就不能 yield 异步了？我现在的服务从来没 block 过，

[wy315700]

因为会重用连接

[neoblackcap]

@aiqier 用 AsyncHTTPClient 就是 non-block ，其他包括 requests 都是 block

[dozer47528]

@est 我做的是个 proxy ，所以目标 server 会有很多，不是都压在一台上。