scrapy 爬虫采集多个站点，会不断增加站点，如何工程化项目呢 是把全部站点的爬虫写到一个 scrapy 还是每个站点都创建一个 scrapy 工程？
xoxo419 · 48 天前 · 995 次点击这是一个创建于 48 天前的主题，其中的信息可能已经有所发展或是发生改变。
3 条回复 • 2024-10-25 13:41:08 +08:00
 |
1
qfly 48 天前 via Android  1
简单的办法是一个站点一个 然后挂在 scrapyd 下 ，crontab 触发或者外部网站都可以触发，数据进数据库不同表。 由于每个站点内容不一样 很难统一数据库表结构。如果数据类似 那么就将所有数据写入同一批表，用关键词区分不同网站。当然你能将整理出规则，那也是可行的，数据库就设计的复杂点，定义元数据，根据要求写入不同表。但如果没几个网站这样做不值得。
|
 |
2
EndlessMemory 48 天前
每个站一个
|
Select Language