V2EX › lasuar 的所有回复 › 第 106 页 / 共 109 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 98 99 100 101 102 103 104 105 106 107 ... 109

❮

❯

2019 年 6 月 19 日

回复了 lasuar 创建的主题 › 求职 › [广州求职] Python /Go 后端/爬虫

@gouwudang 暂不考虑哈

2019 年 6 月 13 日

回复了 d0m2o08 创建的主题 › Go 编程语言 › 大佬们帮我看看这个 defer 的问题呗

@SuperMild OK，差点误导楼主。原来是 defer 操作对匿名返回值和命名返回值两种情况的处理不同导致的。

2019 年 6 月 13 日

回复了 d0m2o08 创建的主题 › Go 编程语言 › 大佬们帮我看看这个 defer 的问题呗

defer 是会执行，但是你 return 后面加了 ret，此时的 ret 是 0, 那你函数的返回值就已经定死，参考 2 楼

2019 年 5 月 28 日

回复了 fank99 创建的主题 › Python › 请教各位 Python 爬虫工程师有什么好的转职方向吗？

@fank99 https://baike.baidu.com/item/大型分布式网站架构设计与实践 /15841699

2019 年 5 月 28 日

回复了 leegoo 创建的主题 › Python › Python scrapy yield 无法获取到返回内容

start_request 里面的请求那步卡住了？抓包看下，写法没问题

2019 年 5 月 28 日

回复了 fank99 创建的主题 › Python › 请教各位 Python 爬虫工程师有什么好的转职方向吗？

既然你喜欢 Python，那何不做个高级 Pyer 呢；
如果你所在的城市有不少的 python 岗，那就把 django 玩透，再熟悉一下 mysql/redis/mongo，再看点架构设计文档找后端岗不是轻松吗。

2019 年 5 月 28 日

回复了 zinfinb 创建的主题 › Go 编程语言 › 继续付费找爬虫牛人啊

既然是找别人做，就不要想着投机套方案，之前 V 站也有这种人，最后在这里不敢发言了。

2019 年 5 月 27 日

回复了 lasuar 创建的主题 › 编程 › 一个 selenium 的问题

@YuxiangLuo 老哥，你说的这个在这里还是不行；不过我找到办法了，可以看下我的 append。

2019 年 5 月 27 日

回复了 lasuar 创建的主题 › 编程 › 一个 selenium 的问题

@lasuar 老哥，你说的这个在这里还是不行；不过我找到办法了，可以看下我的 append。

2019 年 5 月 27 日

回复了 lasuar 创建的主题 › 编程 › 一个 selenium 的问题

@loryyang 嗯，xpath 确实很强大，我主要是喜欢 css 的语法简洁性

2019 年 5 月 27 日

回复了 lasuar 创建的主题 › 编程 › 一个 selenium 的问题

@andylsr 我说的就是通过 id/class/name 属性无法定位具体元素的情况。

2019 年 5 月 27 日

回复了 lasuar 创建的主题 › 编程 › 一个 selenium 的问题

@YuxiangLuo 老哥，如何根据 text 筛选呢？看了很多文档貌似都不行。

2019 年 5 月 27 日

回复了 lasuar 创建的主题 › 编程 › 一个 selenium 的问题

@YuxiangLuo 谢谢，我先试下！

2019 年 4 月 21 日

回复了 kristpan 创建的主题 › 程序员 › 如何从 Nginx 日志中识别爬虫的访问？

@kristpan 用户通过网页加载完页面后，进行翻页浏览数据时还需要请求 js 文件吗？如果只是判断有没有请求过 js 文件这根本不可行的，写爬虫之前都会使用浏览器对页面进行分析，之后再通过代码爬取。所以你还得通过其他方式来判断，如果你只想筛出爬虫的请求，这其实很难（对于高级爬虫），也没必要。

2019 年 4 月 21 日

回复了 kristpan 创建的主题 › 程序员 › 如何从 Nginx 日志中识别爬虫的访问？

* useragent 是否合法
* 请求频率是否稳定
* 请求路径是否有规律，楼上说的 /book/1,/book/2 这种
* 是否某一段时间有大量 IP 短时高频请求服务器(反常行为)
如果以上都正常，即使是爬虫也不妨碍服务器运行。

2019 年 3 月 27 日

回复了 lasuar 创建的主题 › Django › django 内使用 threading 模块导致程序启动即崩溃

@Vegetable 这句话说没有设置“ enable-threads ”项就不会执行启动的 thread，然后我测试环境是执行了的，同样的 uwsgi 配置。我的 uwsgi 配置有“ thread = 2 ”,没有配置 “ enable-threads ”。

2019 年 3 月 27 日

回复了 lasuar 创建的主题 › Django › django 内使用 threading 模块导致程序启动即崩溃

@est 大佬你好，请问有相关参考文档或博客吗？

2019 年 3 月 27 日

回复了 lasuar 创建的主题 › Django › django 内使用 threading 模块导致程序启动即崩溃

@gulu
@nicevar
当时的做法是全局启动的这个任务，且测试环境代码稳定运行几天，上线后不行，两个环境的唯一不同就是线上环境处理的请求量要多一些。

2019 年 3 月 27 日

回复了 lasuar 创建的主题 › Django › django 内使用 threading 模块导致程序启动即崩溃

手动 Append：4 个 worker，表示启动时有 12 个线程在单核并发，算上极端情况，uwsgi 定时并发向外发起 12 个 http 请求（请求的 url 没有问题不会导致超时，这个确认过），然后，这就导致崩溃吗？

1 ... 98 99 100 101 102 103 104 105 106 107 ... 109

❮

❯