V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  neoblackcap  ›  全部回复第 28 页 / 共 99 页
回复总数  1961
1 ... 24  25  26  27  28  29  30  31  32  33 ... 99  
@ClericPy 我理解你的说法。说 selenium 限制多的,还有就是无法对特定资源进行封堵。
ua 跟代理我看谷歌内部的确不想搞,因为别人没这个需求。IP 有 A 段,UA 公信性好。所以我真的建议改源代码还快点。不过的确需要功力
@nullboy 你先看看别人官方说的集群跟你讲的这些。跑久一点看看情况,当然没有问题的话,你可以继续用。

至于 ua 跟代理,你可以看看题主是怎么问的,然后你再回答。我只能说不是每个人都会觉得杀掉浏览器重启这样一个方式叫动态切换。
@xjlnjut730 selenium 是 webdriver,那是另外一套协议。你不安装对应浏览器的 webdriver 驱动根本没法控制。cdp 跟 webdriver 不是一套协议。
现在主要是谷歌更新了了 chrome 的 headless 模式,加上 cdp,能控制爬虫的精度更高了。

@ClericPy 至于代理你还是在网关之类的地方搞吧。代理价 UA 什么的都是爬虫大忌,谷歌作为一个搜索引擎,他们都是认为爬虫不应该动态改 UA 跟代理去爬不让你爬的东西。怎么可能有接口。
当然你加一个接口应该也不难,自己动手去改一个 chromium,加一个接口呗,如果你能改得动的话,加 Java Applet 检测欺骗都可以。
还在用 selenium 的肯定是很水的教程,万能不更新而已。selenium 各种功能限制,部署困难。最关键的是,占用资源太多,很多个版本都有内存泄露问题。
2019-09-19 16:40:41 +08:00
回复了 Jeeao 创建的主题 Python Python type 和 object 的关系
type 是 metaclass,在以前的版本之前不是所有类都是新式类,所以会出现非 object 派生的类。type 跟 object 的确是不存在先后顺序的,类似的问题在 Java 界也出现,都是靠底层 VM 初始化的时候产生。
你可以简单的理解成,神说要有光,于是便有了光
2019-09-11 17:06:51 +08:00
回复了 ppzbreeze 创建的主题 硬件 macbook 和 9900k+2080 选哪个,大佬们给点建议
@YenvY 一般人是感觉不出 Ryzen 跟酷睿的差别的,要知道现在各类云内部都有上 AMD 的 CPU。不过具体一些特性,比如 avx512,那的确是 Intel 强,还有就是 mkl 之类 Intel 自己有投入的库。
一般都是没什么区别的,用 Ryzen 作为开发机的 CPU 完全可行。
2019-09-09 20:12:18 +08:00
回复了 sadfQED2 创建的主题 Linux 有人能解释一下 Linux 几种内核的区别吗?
@alfredsun realtime 的延迟应该是跟 rt 差不多的。一个是稳定版一个是最新版的区别吧。新的 rt 可能采取更加激进的调度算法,所以可能有设备不支持
2019-09-08 12:53:43 +08:00
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@hanssx 现在我想起来了,我建议你还用 nmap 的 Python 封装库,而不是直接用 subprocess,这样就比较少一些问题,好像叫 Python-nmap,搜一下就可以了。钱就不需要了
2019-09-02 18:25:30 +08:00
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@hanssx 不可以,可以的前提是你改得动网络请求的部分
2019-09-02 16:30:44 +08:00
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@hanssx cpu 密集型是相对的,关键是你的任务类型不能堵塞整个处理逻辑,凡是耗时长的,不需要 IO 的任务都是 IO 密集型

看了一下你用 subprocess.Popen 去调用 nmap,你如果要改的话,请使用 gevent 的网络接口实现你 nmap 的功能,如果不会的话,此方法无解,你还是另寻他法吧。
2019-09-02 13:03:31 +08:00
回复了 EulerChen 创建的主题 Go 编程语言 Golang 如何写出同时包含字母和数字的正则?
\w*
有的,名校博士毕业证书就可以了。否则的话,看你所在公司以及岗位。当然你靠吹牛也不是不可能。考试认证是不可能考试的。本身该领域就属于前沿领域。方向对不对都不知道,怎么给你出题认证啊。大家都是靠刷论文跟学历
2019-09-02 12:38:10 +08:00
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
没记错的话,celery 自身实现是对 fork 之类有限制的,所以你不应该在任务里面进行类似 fork 之类的操作,线程 pthread_create 同理了。
而且线程的支持我记得已经被 celery 自身抛弃的,所以应该是有缺陷的,建议不使用线程。

根据我以前的做法,我一般都是将网络 IO 与逻辑处理分离。celery 对 gevent 跟进程支持都相当好,因此我会选用个 gevent 处理所有网络 IO (网络 IO,通过 IO 复用,几百万个任务都可以轻松搞定,前提是不能有任何 CPU 密集型处理)。然后通过跟进程型任务结合,组成流水线,在 celery 对应 chain 操作。那么就可以稳定地运行。

因为 gevent 是处理网络是不堵塞的,所以你还是可以继续发任务给该 worker

可以参考一下
2019-08-19 00:58:31 +08:00
回复了 TangMonk 创建的主题 PHP 大家开发 PHP 的时候有没有一会儿开 Xdebug, 一会儿又关掉
@TangMonk pdb 是标准库的,不用额外安装
2019-07-29 11:18:00 +08:00
回复了 abcbuzhiming 创建的主题 Go 编程语言 请教, Go 是如何实现如此夸张的低的内存占用的?
jit 需要内存。至于相同的功能这个说法我表示怀疑。
GC 其实跟内存用多少关系不大。
2019-07-29 10:43:01 +08:00
回复了 dbskcnc 创建的主题 Go 编程语言 go 泛型出炉,看起来还是不错的
@dbskcnc golang 作者原先就吐槽 C++的编译速度,因此他们坚持不能降低编译速度这个逻辑是自洽的。当然大家觉得好不好就另外一说。

不是说 go team 的经验足就代表他们比提案者厉害,有压倒性优势。大家都是受现代编译语言影响的人,提案者可不单单代表自己的知识储备,他还受这个业界最新的 PL 研究,多年来的 PL 实践影响。因此片面说其他人水平不够高是让人难以理解的。

其实不要说那么多,就是他们的追求跟大众的追求不协调而已。他们追求编译快速,自己觉得简单使用的语言,逻辑自洽。但是这说出来大家能接受吗?语言动了根本追求,哪怕是能做啊,那不就打了自己的脸?这才是根本问题。
2019-07-27 22:09:43 +08:00
回复了 linlance 创建的主题 Python Flask 只好放弃了, Django 拿起。。。其实我很喜欢 Flask。。。
@linlance 如果我没记错的话,16 进制权限值这个说法不是很对。根据经验来看,这个应该是 bitmap,应该转化为二进制来看,一个位代表一个权限。
一般我们配权限的时候都是采取位操作的方法,比如 0x01 | 0x02 来实现两个权限的并集。权限应该是写成常量,用的时候用按位取或(bitwise or)
2019-07-26 11:28:49 +08:00
回复了 lastright 创建的主题 程序员 C++真的有那么不堪吗?
C++是不管怎么骂,在抽象与效率方面它都是顶尖的。关键是这个语言需要你了解很多知识才能避开那些坑。
为什么电脑存的是 01 的信息,你却能看到中文?这中间是不是有一个映射的过程?你理解的是中文,跟不理解电脑存的 01 信息,有没有关系?
你可以这样做,不过我觉得这个队列也不是很必要。
因为可以以用户积分排序,然后按照每居人数进行匹配。人数一旦满足,就由世界服务器将用户移交到游戏房间服务器,这时候用户也就不可能再排队了。
我记得拳头好像是这样设计英雄联盟的,你可以搜一下,我记得他们分享过他们的服务器架构。
你可以粗略地用两个 List 来表示这个过程,不过一般都是两个独立的模块,互不影响,中间是通过通讯来进行沟通的。房间可以固定也可以不固定,不过我觉得为了游戏体验,可以通过检测服务器配置进行预分配。
因为我也不是搞游戏服务器开发的,所以我也只能通过之前看到的文章告诉业界是怎么做的。我建议你最好先去读读别人是怎么设计的,GDC 上面有游戏开发的分享,各个游戏公司的技术博客好像一般也有提及。可能老了一些,不过你可以尝试去找找 EVE 他们的分享,还有魔兽世界,还有国内的云风。他们的经验都是很好的。不懂就先读,否则你造的东西真的会玩具。
1 ... 24  25  26  27  28  29  30  31  32  33 ... 99  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2524 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 38ms · UTC 05:50 · PVG 13:50 · LAX 22:50 · JFK 01:50
Developed with CodeLauncher
♥ Do have faith in what you're doing.