lttzzlll 最近的时间轴更新 lttzzlll 最近的时间轴更新 |
lttzzlllV2EX 第 249627 号会员，加入于 2017-08-19 14:58:01 +08:00 |
| uwsgi 到底是个啥东西 Python • lttzzlll • 2020-05-13 14:03:41 PM • 最后回复来自 smallpython | 16 |
| Python 上下文管理器 问与答 • lttzzlll • 2019-04-22 23:53:59 PM • 最后回复来自 Qzier | 2 |
| ruby urldecode 问与答 • lttzzlll • 2019-04-17 11:24:09 AM |
| logstash urldecode 空格 变 + 的问题。 问与答 • lttzzlll • 2019-04-16 20:47:22 PM • 最后回复来自 noe132 | 1 |
lttzzlll 最近回复了
121 天前 回复了 gosky 创建的主题 › Python › Python asyncio 中怎么执行 cpu 密集型任务？ |
@lttzzlll 。。。你面的问题不是“Python asyncio 中怎么执行 cpu 密集型任务？”。 换成其他的 web 框架或语言，就没有这种问题了吗？而是在 web 服务中，如何处理比较耗时/耗资源的任务。这些问题都有很经典很成熟的方案。把这类任务放到 worker 节点上，用队列传递消息，不够就增加 replica 的数量。非常成熟和广泛使用的方案，你的场景也不例外。
121 天前 回复了 gosky 创建的主题 › Python › Python asyncio 中怎么执行 cpu 密集型任务？ |
你提出的问题，限制你的思路。web 服务要简单，轻量，快速响应。推理服务耗时耗资源。正确的方式应该是 同一个项目(git repo)，部署多个进程。经典的做法应该是 一个 web 服务进程，多个 worker 进程，web 服务和 worker 进程之间用队列。以 django/flask 举例:
158 天前 回复了 axin2023 创建的主题 › Python › 求助一些关于 Python 开发的面试题 |
Python 没啥好学的，懂了基本语法，不炫技就很好。真正应该学的是后端。https://bytebytego.com/
173 天前 回复了 drymonfidelia 创建的主题 › 程序员 › 要对单个 6.20TB 的超大 csv 文件保持顺序的情况下进行去除重复行，有什么好思路？显然不可能加载进内存 |
@lttzzlll cat input.csv | sort -u | uniq > out.csv 你试试
173 天前 回复了 drymonfidelia 创建的主题 › 程序员 › 要对单个 6.20TB 的超大 csv 文件保持顺序的情况下进行去除重复行，有什么好思路？显然不可能加载进内存 |
cat input.csv | sort | uniq > out.csv
力大出奇迹。优化阻碍发展。你先试试再说。大不了机器崩了呗。
力大出奇迹。优化阻碍发展。你先试试再说。大不了机器崩了呗。
2020-05-25 18:51:14 +08:00 回复了 liu826250634 创建的主题 › Python › 关于 Python 的 asyncio 协程的问题。 |
如果一定要用 asyncio,需要把耗时的操作放到一个单独的进程中。
```Python
import os
import time
import asyncio
from concurrent.futures.process import ProcessPoolExecutor
pool = ProcessPoolExecutor(max_workers=os.cpu_count())
def add(a, b):
"""
耗时操作
"""
time.sleep(3)
return a + b
async def main():
loop =asyncio.get_running_loop()
r = await loop.run_in_executor(pool, add, 1, 2)
print(r)
asyncio.run(main())
```
```Python
import os
import time
import asyncio
from concurrent.futures.process import ProcessPoolExecutor
pool = ProcessPoolExecutor(max_workers=os.cpu_count())
def add(a, b):
"""
耗时操作
"""
time.sleep(3)
return a + b
async def main():
loop =asyncio.get_running_loop()
r = await loop.run_in_executor(pool, add, 1, 2)
print(r)
asyncio.run(main())
```
2019-01-15 12:39:49 +08:00 回复了 linxiaoziruo 创建的主题 › 问与答 › 为什么说 AVL 树是严格平衡的，而红黑树不是严格平衡的 |
叶节点，非任意。
2019-01-15 12:36:12 +08:00 回复了 linxiaoziruo 创建的主题 › 问与答 › 为什么说 AVL 树是严格平衡的，而红黑树不是严格平衡的 |
严格平衡的定义 任意左右子树高度差不超过 1。其余都是非严格平衡。
Select Language