V2EX › badacook 的所有回复 › 第 1 页 / 共 2 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2

❮

❯

2021-04-08 19:26:52 +08:00

回复了 badacook 创建的主题 › Python › Python schedule task

@clino 看了一下你的解决方法好像比较接近，思路大概就是在主线程里捕获执行脚本的线程句柄 handle，传入类似 GetExitCodeThread()函数，有点儿回调的意思，不知道这种理解对不对

2021-04-05 19:25:56 +08:00

回复了 badacook 创建的主题 › Python › 爬虫过程中 DOM 对象的处理

@demo06 非常感谢大神 xpath 语法真的很赞，这个语法我要好好研究一下，本来还觉得学了解 xpath，自惭形秽啊

2021-04-04 14:38:01 +08:00

回复了 badacook 创建的主题 › Python › 爬虫过程中 DOM 对象的处理

@demo06 http://baostock.com/baostock/index.php/Python_API%E6%96%87%E6%A1%A3
比如这个页面我想取出所有的 caption 为返回数据说明的 table，结合 pandas 处理 DataFrame 的能力
我上面实例里面的 text = requests.post(url, headers=headers) 就是获取 HTML 页面的 text.text
你也可以直接打开这个页面 http://baostock.com/baostock/index.php/Python_API%E6%96%87%E6%A1%A3
使用 F12 查看源码

2021-04-04 08:12:27 +08:00

回复了 badacook 创建的主题 › Python › 动态创建变量名并读取文件

@aijam 非常感谢 globals() 与 vars() 均能实现 setting a string as a variable name，或者说 create variable variables in Python

2021-04-03 20:21:33 +08:00

回复了 badacook 创建的主题 › Python › 爬虫过程中 DOM 对象的处理

发现了自己的一个大错误，caption 作为 table 的标题，并不是 table 的属性，而是最近的子元素，那针对 caption 的 table 筛选，何种方法最便捷呢

2021-04-03 16:48:20 +08:00

回复了 badacook 创建的主题 › Python › 爬虫过程中 DOM 对象的处理

@misaka19000 我感觉我 xpath 没写错，我有参照 W3C xpath 语法来写，就是取到了 DOM 对象，如何还原表单，后续的处理，我看 pandas 的 read_html 其中带 attrs 参数，参数为字典格式，可获取特定属性的 table，我使用 attrs = {"caption":"返回数据说明"} 不带这个参数能获取所有 table，带了反而报错

2021-04-03 16:08:15 +08:00

回复了 badacook 创建的主题 › Python › 爬虫过程中 DOM 对象的处理

@demo06 非常感谢能不能分享一下 python 处理 dom 文档对象的文章，没找到切合的实例

2021-04-03 16:04:08 +08:00

回复了 badacook 创建的主题 › Python › 爬虫过程中 DOM 对象的处理

@milukun 因为有多个 caption="返回数据说明" d table,分别是 id="mw-content-text"元素的子元素，且互为不间断的兄弟元素，我有 F12 查看其中一个元素 xpath 检索 //*[@id="mw-content-text"]/table[26]/caption，我只是在这个基础上改成查找包含 caption 属性，且值为"返回数据说明" 的 table 元素

2021-04-03 10:06:14 +08:00

回复了 badacook 创建的主题 › Python › 动态创建变量名并读取文件

@pursuer 你如果有空能不能试一试，就是一个目录下有几个 csv 文件，还可能有其他类型文件，要做的就是使用 pandas 库，将这些 csv 文件以文件名变量的形式读进去，变量作用域在整个脚本范围，其中 globals()不是返回的全局字典嘛，作为 python 新手的我实在有些不理解，其中 exec 函数提供字符串命令的执行，感觉跟这个需求也有点儿接近，能不能试一试也是个简单的小实验我也想通过这个小实验理解这个过程，谢谢了

2021-04-03 09:02:56 +08:00

回复了 badacook 创建的主题 › Python › 动态创建变量名并读取文件

@pursuer 那个赋值加载 csv 在 for 的 if 分支下，而且想做到变量名与加载的 csv 文件同名，其实作用域是想做到 for 的外层使用，只是想着看看在 for 的 if 分支赋值加载时可以动态，不知道能否实现

2021-04-02 12:09:18 +08:00

回复了 badacook 创建的主题 › Python › 动态创建变量名并读取文件

@minami
exstr = "'{0}'[:-4] = pd.read_csv({0},encoding='gbk')".format(item)
exec exstr
按照你说的生成每个条目的命令字符串，使用 exec 函数，无法执行是否 exec 不支持变量字符串

2021-04-02 11:55:15 +08:00

回复了 badacook 创建的主题 › Python › 动态创建变量名并读取文件

@minami exec 函数执行赋值语句，exec "item[:-4]=pd.read_csv(item,encoding='gbk')" ，其中 item 如何解析为变量啊

2021-04-02 11:08:11 +08:00

回复了 badacook 创建的主题 › Python › 动态创建变量名并读取文件

@typetraits 为啥还要转一步，能不能就在这个 for 内部 if 语句中完成啊，还要创建字典再历遍字典啊

2021-03-30 07:07:15 +08:00

回复了 badacook 创建的主题 › Python › pandas 行筛选

@wanv1171 非常感谢，Series.str.contains(),与 apply lambda 这种方式这几天都一直在用，就是这几种结合 any 函数没组合使用过，真香啊，感谢感谢，致敬

2021-03-29 22:36:26 +08:00

回复了 badacook 创建的主题 › Python › pandas 行筛选

@wuwukai007 试过了完全不对啊

2021-03-29 22:22:30 +08:00

回复了 badacook 创建的主题 › Python › pandas 行筛选

@imn1
谢谢大神的提点那篇文章有搜到过看过一部分
结合这个问题我想起来了 apply()相关函数包含多列处理，返回的是 DataFrame，
可以将 DataFrame.T 对所有行变换成列，返回相关列也就是本身的行，只是需要自定义判断函数
之前看到了 DataFrame.query 函数也是返回 DataFrame 列，就是其中的 boolean expression 感觉到不到效果
再次感谢大神的 astype 指点。

2021-03-29 19:18:25 +08:00

回复了 badacook 创建的主题 › Python › DataFrame 内容处理

@HelloViper
@reself
@Gatsbywl
imn1 大神用一行正则直接实现了，df = df.replace(r'[^()]*\(([^()]+)\)[^()]*', value=r'\1', regex=True)
包含括号，就将内容替换为括号里面的内容，太厉害了

2021-03-29 19:12:25 +08:00

回复了 badacook 创建的主题 › Python › DataFrame 内容处理

@imn1 猛男啊虽然我也学过正则，那仅仅是知道，难怪我开始都怀疑正则能不能实现，非常感谢，致敬

2021-03-29 17:19:56 +08:00

回复了 badacook 创建的主题 › Python › DataFrame 内容处理

@imn1 这不是写不出这个正则嘛字符串，含有()就保留()里面的内容，要是写得出这个正则，我也提前看过了那个 replace 函数了也不会在这里请教大家了

2021-03-29 16:45:55 +08:00

回复了 badacook 创建的主题 › Python › DataFrame 内容处理

@HelloViper 还有一点使用最后的 df.applymap() 条件处理时，需要先将 DataFrame 中非字符数据列全部转换成字符处理，df = df.applymap(str)，这个好像也只能是这样了，有点儿失真

1 2

❮

❯