呃 如题。
有哪些开源方案可以组合起来实现，包含爬虫 存储 检索 排名算法。
只定向收录一些网站即可。
有哪些开源方案可以组合起来实现，包含爬虫 存储 检索 排名算法。
只定向收录一些网站即可。
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 3340 days ago, the information mentioned may be changed or developed.
 |
1
ss098 Mar 31, 2017
爬虫得自己写，搜索可以用 ElasticSearch 。
|
 |
2
dreampuf Mar 31, 2017
自定义爬虫 + ES
规模几十 T 不是问题 |
 |
3
murmur Mar 31, 2017
垂直搜索的问题不是你底层抗不扛得住 是你抓别人数据能抓多少
你能想到的可以聚合的内容基本都有反爬虫设计 |
 |
4
gwind Mar 31, 2017
你需要的是:
1. scrapy 抓 2. elasticsearch 搜 |
 |
5
jackroyal Apr 1, 2017 via Android
最简单的， google 自定义搜索，直接限定域名，哈哈
|
Select Language