看看文件句柄数量是不是超过了当前进程的限制数量。

https://www.cyberciti.biz/faq/linux-increase-the-maximum-number-of-open-files/

- - - -

每写一行打开一次文件不是好的 practice。请用 logging 模块。

我觉得，博客是给别人看的…… 给别人看的东西还要让别人敲命令，这对用户不友好。

苦海无边，回头是岸。

if not os.path.exists(os.path.split(dst)[0]): os.makedirs(os.path.split(dst)[0])

@sunthink 对的事情就坚持去做呗。人生没有那么多时间去迷惘。当然，你要问我个人的偏好，我不喜欢前端。

你所厌恶的不是卖卡、打电话还是做前端。

你所厌恶的是机械性的重复劳动。

而造成你只能机械性重复劳动的重要原因，是你从一家不知名的 211 毕业这个履历。

而你的这个客观条件其实是在你人生更早阶段的经历的结果。
- - - -

当然，以上不是在打击楼主积极性，而是在分析你的条件和你的愿望之间的客观矛盾。

所以你现在无论换什么，不管它是前端还是后端，还是别的什么工作，都会有这个壁垒存在。

你要么抓住一个固定的方向去提升你在这个页内的能力和人脉，重新奋斗几年填平你以前的坑，要么你就只能不断地换各种重复的机械性劳动，然后很快产生厌恶，离开。

怎么做，楼主你看着办呗。

大哥，每个人的手感都不一样好哇？别老乱代表

看看基类是不是重载了 __new__ 或者有 metaclass

我怎么觉得维度对不上啊？ index: [?, 10]，但是 result [?, 1000]，怎么对的？

@noqwerty 我记得 asyncio 有方法用多进程，不过现在的 api 都很基础很难用。所以你这需求用 python 其实挺麻烦的。

@Miksztowi GIL 的存在导致文件读取的每个原子操作，线程切换的开销增大。而 shutil.copyfileobj，那是个 Python 循环，所以是不可能高效的。aiofiles 那东西在很多平台上面是多线程实现的，你可以 check 一下它的源代码。

基于这个原因，可以认为楼主的程序上多线程没救，所以 asyncio 就没有救（如果多线程有救，asyncio 还是可以用的）。而因为多线程无法使用，CPU 密集型的 unzip 就没法被 asyncio 搞定。这才导出了我的结论，unzip 是 cpu 密集型，不适合 asyncio。

至于 select、epoll 这类 I/O 复用，我觉得可以认为它们是非阻塞模型，因为它们避免了多线程模式下的 while { read } 县线程等待，和 callback 效果等同。我觉得并不一定 callback 才可以被认为是非阻塞，只要看是否达到同样的效果就可以了。

@noqwerty asyncio 主要针对网络通讯的并行化，用的是非阻塞模型。关键词可以搜索 select, epoll，了解更多非阻塞模型的事情。

@noqwerty 你的问题在于：

with open(f"{id}.ent.gz", 'wb') as f:
....f.write(data["data"].read())
with gzip.open(f"{id}.ent.gz", "rb") as inFile, open(saved_pdb, "wb") as outFile:
....shutil.copyfileobj(inFile, outFile)
os.remove(f"{id}.ent.gz")

这几行是没法被 asyncio 通过 Coroutine 并行化的，只能多线程。但是这就产生了两个问题，第一默认的 asyncio 不是多线程并行化的，第二即使设置 asyncio 多线程并行化，考虑到 GIL，Python 多线程也是不够用的。所以总体来说，asyncio 对你这段程序是不够的。还是得上多进程。

unzip 不要用 async，CPU 密集型。

其实如果你把 K.layers 里面一堆类当做 component 用，可以和别的库一起用的。手工组装 loss 也不是什么难题。

没有，很好用。Keras 只是工具，模型才是重点。什么任务都 MLP 上去做分类，这说出去才丢人。

另外这事儿看上去就像是老板眼中，那个所谓的“高人”是和他对等身份的，但是楼主这个小职员是他的下属。老板想要在“高人”面前装逼，且不说是拉拢还是纯粹想要装逼，结果被楼主破坏了，所以好面子不高兴了。这种人怼他啊，要是老板不高兴了就大不了走人呗。










当然前提是你自己的技术过硬，天下何处不留君。为了达成这样的肆意潇洒，还是尽量先提升自己的本领吧。这就是为什么大家都要读 985 的博士学位的原因。