V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
nyfwan123
V2EX  ›  问与答

需求征集 这样的产品有没有人用?

  •  
  •   nyfwan123 · 2022-04-14 09:58:01 +08:00 · 829 次点击
    这是一个创建于 714 天前的主题,其中的信息可能已经有所发展或是发生改变。
    一个爬虫综合管理框架
    整合了常见如 github 、Twitter 、rss 等等等等采集源数据接口
    使用者只需要按照定义好的配置文件规范编写配置文件就可以零代码管理众多爬虫
    同时输出 api 、log 、task 信息等(无 GUI )

    如果有 我就做一个(免费但不开源)
    提示:我只是提供了一个框架 并不是提供爬虫 最终某用户因为写了某目标的配置文件导致爬虫运行 与我无关
    986244073
        1
    986244073  
       2022-04-14 10:11:46 +08:00   ❤️ 1
    可以做一个
    freeup
        2
    freeup  
       2022-04-14 11:12:49 +08:00
    和八爪鱼挺像的功能 目的都是减少爬虫开发工作量
    nyfwan123
        3
    nyfwan123  
    OP
       2022-04-14 11:45:01 +08:00
    @freeup 八爪鱼是 win 下的那个软件吧 我目的是想做长任务 服务端下的 长久自运行 定时任务
    freeup
        4
    freeup  
       2022-04-14 11:52:37 +08:00   ❤️ 1
    @nyfwan123 嗯 就是 win 下面的那个软件 很久之前见过的东西 但是一直没有用过 刚才特意看了下现在支持挺多功能了 比如 云采集 自然语言处理 预制模板等等 不过楼主定位于他些许不一样 适用人群也有差别 不能算完全同质产品
    Pythoner666666
        5
    Pythoner666666  
       2022-04-14 13:52:38 +08:00
    我见过这种 一个用 go 写的
    nyfwan123
        6
    nyfwan123  
    OP
       2022-04-14 14:31:28 +08:00
    @Pythoner666666 crawlab 是吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   998 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 22:01 · PVG 06:01 · LAX 15:01 · JFK 18:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.