请问大佬说的完全不用 re 来完成指的是什么方法完成，我也在做类似的事情。

问题已解决。无法 append，写在回复里。
https://mp.weixin.qq.com/s?__biz=MzAwNDY1ODY2OQ==&mid=2649286449&idx=1&sn=aa2877e8506762253f291eb6d3e80a51&chksm=8334c3b3b4434aa569c5e4033227a4a2dc8ef543a354fb0860997915dd2563802b248d3268a1&scene=0&key=9ed31d4918c154c89165c30d3861975fbcdeedd7112628c1b2de17168f6f93cf9b721fcfc594200042cda099ee4a129df95a4fdbc2aa39e31d80b848cd0351e26ce584fb7ec3744aaad0ced116d0d90b&ascene=0&uin=NTQ5ODA4NTgw&devicetype=iMac+MacBookPro12%2C1+OSX+OSX+10.12.1+build(16B2555)&version=12010010&nettype=WIFI&fontScale=100&pass_ticket=C4dOKQliXOMYN4Cu5E%2FW0QIUEqh6dnAj2x1%2BdxyMbYKZdST41ORmd5h%2BNc%2Fpap66

@opengps 好的 我试试

擦，我还真用过，前女友送的。。我就用来听 fm

@leoliu168 beijing~

@yangzhaofeng 当然招~这里有很多中科大校友哦，欢迎来简历！

@binux 大多数爬虫种子都是几个入口站点嘛但是我这情况是百万千万级别的搜索词提交给翻译接口，所以才会有这个需求～

@binux 嗷。。那分布式的 pyspider 读取种子任务是不是最好从分布式机器都能访问的数据库里读啊，然后 scheduler 会自动去重。

@binux 嗨老哥，再问一个 pyspider 的问题哈～我在不同机器上搭建了分布式（只启动了 fetcher 和 processor 组件），然后在 webui 的机器上启动了 project，这个 project 的 on_start 是通过按行读取本服务器的一个文件获取任务的。问题在于可能会概率性报错说找不到该文件（ no such file ）。我推测出现这种报错只能解释为分布式的机器不是简单的 fetcher 而是也参与了 on_start 方法？

@binux 老哥，问个 pyspider 的问题哈，project 过多的时候加载任务是有上限的吗，为什么 on_start 方法里一个 150 万行的文件就读了 30 万行进去

@binux 测试成功啦，（访问 httpbin 发现返回的是两个服务器的 IP 地址）
特别感谢。

@binux 那请问如何验证 slave 的机器确实在抓 master 的任务呢～，slave 的 processor 的日志确实监听到了队列，master 的任务会收到返回一个字段说哪个任务是 slave 抓取的嘛。什么情况下才会触发 slave 呢，高并发？

@binux 那请问如何验证 slave

@binux 老哥，问一句 pyspider 的分布式部署的问题，是否是在内网主机上搭建同样的 pyspider 环境然后 slave 监听 master 的任务队列就可以？ slave 只启动 fetcher 和 processor 就行。谢谢🙏

@binux 老哥，问句 pyspider 的问题，默认的登录地址 localhost:5000 能改成 localhost:5000/index/ 这种形式吗？

这是都放假了吗。。所以没有人回复吗。。

@5200 老铁，脚本类的你们每天能爬多大量级

@AslanFong 我们是根据关键词搜索