这是一个创建于 2194 天前的主题，其中的信息可能已经有所发展或是发生改变。
因为是监控很多个一个网站的很多个不同的目标源，所以我决定用 APS 启动多个异步任务抓取（根据每个任务的特征，判断启动时间与结束时间，请求间隔设成五分钟一次这样）
然后这些抓取的内容先不洗清，按事先搞好分类扔进不同的 KAFKA 频道。
另一边不同的洗清模块从不同的 KAFKA 频道抽取，进行清洗，并存入 SQL 数据库，一般是 MYSQL
这样的话，我很容易就写成，抓取与清洗是两个程序。等于需要启动两个程序。一个启动爬虫抓，另一个启动清洗程序，是否成熟的作法是只有一个入口文件，启动后两个都开始执行？
第 1 条附言 · 2018-11-25 12:34:30 +08:00
谢谢大佬们回复 ，另想问一下，KAFKA 占用资源大不，因为只是个小项目。
 |
1
leonme 2018-11-25 11:41:46 +08:00 via Android
第一个分号之前的内容都没读明白
|
 |
3
Wincer 2018-11-25 11:43:22 +08:00 via Android
抓取和清洗应该是两个模块，但可以不用是两个程序。
|
 |
5
zn 2018-11-25 12:04:20 +08:00 via iPhone
说得挺明白了。
这么说吧，两种方法都可以，并没太大优劣之分。 如果是我，我会分开，会更方便开发和调试。还能一边默默爬，一边调试清洗程序，互不干涉。 |
 |
6
kslr 2018-11-25 14:47:01 +08:00
一个项目随便跑一个 queue 不就行了
我觉得分开比较好，因为可能速度不一致 |
Select Language