V2EX › joson1205 的所有回复 › 第 1 页 / 共 2 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2

❮

❯

2019-09-12 08:59:50 +08:00

回复了 dany813 创建的主题 › 程序员 › 预算 5000 买个笔记本，求老哥们推荐

5k ,前两天首发入手了联想 Air14,整体感觉还是不错的

2019-08-14 17:54:20 +08:00

回复了 mamahaha 创建的主题 › 程序员 › 作为程序员，工作之余，你还有没有心情和动力玩电脑(手机\游戏机)游戏?

难道只有我一个在研究游戏外挂吗?[dogo]

2019-08-14 17:00:15 +08:00

回复了 zky001 创建的主题 › Python › pandas 处理数据慢，求好方法

肯定是代码算法逻辑有问题,不可能那么久

2019-08-14 14:12:20 +08:00

回复了 yeyu1989 创建的主题 › Python › 从哪儿可以获取股票、基金行情（用爬虫或者服务）

https://github.com/public-apis/public-apis
这里应该有你要的

2019-08-14 12:27:29 +08:00

回复了 Nicolay 创建的主题 › MySQL › 200 万的表如果没有索引，单表查询的慢查询可能导致数据库崩掉吗，

会崩溃那就不叫数据库了.....

2019-08-13 12:14:51 +08:00

回复了 joson1205 创建的主题 › Python › Python 读取 Excel 超大数据文件问题

@jiang123574 嗯,已经用上了,目前用的就是它

2019-08-13 11:04:02 +08:00

回复了 explorer123 创建的主题 › Python › 分享一个我写的用 Python 批量下载微信公众号文章的开源项目

@qwjhb 卖个鸡腿,尊重一下原创吧

2019-08-13 09:23:15 +08:00

回复了 ixuuux 创建的主题 › Python › 爬虫求助，关于图片上传

抓包分析一下吧,一楼正解

2019-08-13 09:22:06 +08:00

回复了 explorer123 创建的主题 › Python › 分享一个我写的用 Python 批量下载微信公众号文章的开源项目

关键还是获取到后怎么用吧,不然没有意义.获取到的文章多数应该是转载吧,不知道有没有考虑文章排版的问题,超链接,图片,字体样式等等这些

2019-08-09 17:43:41 +08:00

回复了 joson1205 创建的主题 › Python › Python 读取 Excel 超大数据文件问题

@snw 其实刚开始拿到报表的时候就是用的 VBA 实现的,后面经过一系列的调整,运算已经是越来越复杂,而且又涉及到拆分,样式,单元格的合并等等这些,优化过一次,电脑还是都直接卡死,没办法,才考虑用的 Python.
可能是我水平不够....见笑..

2019-08-09 16:42:43 +08:00

回复了 joson1205 创建的主题 › Python › Python 读取 Excel 超大数据文件问题

@youthfire 简单搜索一下关于 pyExcelerate 的资料,这个库好像不支持添加单元格批注的,是我没找到方法吗?资料实在太少了,知道的可以告诉我一下,谢谢

2019-08-09 15:21:56 +08:00

回复了 joson1205 创建的主题 › Python › Python 读取 Excel 超大数据文件问题

@leavic 限制行数太少了,也满足不了日常业务需求

2019-08-09 14:32:07 +08:00

回复了 joson1205 创建的主题 › Python › Python 读取 Excel 超大数据文件问题

@youthfire 写入的代码目前比较完善,暂时不打算做改动,谢谢你的建议

2019-08-09 12:59:40 +08:00

回复了 joson1205 创建的主题 › Python › Python 读取 Excel 超大数据文件问题

@snw vba 在运算方面实在太慢了

2019-08-09 12:36:48 +08:00

回复了 joson1205 创建的主题 › Python › Python 读取 Excel 超大数据文件问题

目前找到最快的办法是 xlwings,预先打开了 xlsx 文件,在几秒钟内就能读取完成!

import xlwings as xw
# 事先打开了 xlsx 文件,会直接返回这个文件对象
wb = xw.Book("demo.xlsx")
sht1 = wb.sheets["sht111"]
sht2 = wb.sheets["sht222"]

sht1_value = sht1.range('A2:AU140000').value
sht2_value = sht2.range('A2:AQ19000').value

2019-08-09 11:49:40 +08:00

回复了 joson1205 创建的主题 › Python › Python 读取 Excel 超大数据文件问题

@alexfu 我拿到数据的时候属于一个核算节点,row 是固定的,基本不会有增删,没办法改成增量式计算,而且数据都是连续性的,skip_row 并不适用...

2019-08-09 11:35:33 +08:00

回复了 joson1205 创建的主题 › Python › Python 读取 Excel 超大数据文件问题

@wqzjk393 纠正一下,刚检查测试代码的时候发现有点异常,重新对比了一下,没到 100 秒,不过也是和 xlrd 速度差不多的,在 85 秒左右

2019-08-09 11:26:20 +08:00

回复了 joson1205 创建的主题 › Python › Python 读取 Excel 超大数据文件问题

@wqzjk393 试过了,比较慢,我正常 xlrd 读取要 85 秒,pandas 将近 100 秒

2019-08-09 10:56:59 +08:00

回复了 joson1205 创建的主题 › Python › Python 读取 Excel 超大数据文件问题

@1462326016 我认为 xlrd 单纯在读取速度上是比 openpyxl 快不少的.
@vest8 pywin32 没有用过,我查查资料,谢谢

2019-08-09 10:30:47 +08:00

回复了 joson1205 创建的主题 › Python › Python 读取 Excel 超大数据文件问题

@sikariba 我转 CSV 过程中数据都要过一遍内存吧

1 2

❮

❯