V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Phishion
V2EX  ›  Python

请问有没有什么规范的中小型 Python 爬虫项目可供参考?

  •  1
     
  •   Phishion · 2021-03-30 13:52:53 +08:00 · 2285 次点击
    这是一个创建于 1094 天前的主题,其中的信息可能已经有所发展或是发生改变。

    之前一个爬虫 1000 多行全写在一个文件里,这个东西已经毫无维护性了,所以,我想重构一下

    爬的是 API,但是有蛮多定制功能的

    重构的话,我想这个项目应该包含单元测试,有完整的日志记录,解析模块,下载模块,调度器什么的都分开

    我看了几个例子,有面向对象做的,也有全部都是函数的,我问问大伙儿有没有比较规范的样本,但是也不要是什么庞然大物,毕竟本身也不是什么大的项目,我也学习学习,谢谢大家了!

    11 条回复    2021-04-05 19:30:41 +08:00
    b29107b
        1
    b29107b  
       2021-03-30 13:55:00 +08:00 via Android
    github
    learningman
        2
    learningman  
       2021-03-30 14:11:16 +08:00 via Android
    scrpy 的文档
    learningman
        3
    learningman  
       2021-03-30 14:12:00 +08:00 via Android
    调 API 不叫爬虫吧,你可以用 metaclass 弄个 wrapper 出来
    triangle111
        4
    triangle111  
       2021-03-30 14:18:31 +08:00
    mark,做完后看看有没有得白嫖的
    CoCoMcRee
        5
    CoCoMcRee  
       2021-03-30 14:24:10 +08:00
    找个 scrpy 教程看下, 基本就是当下主流爬虫的做法了.
    hunk
        6
    hunk  
       2021-03-30 14:47:36 +08:00
    还是自己写吧,现成的框架或多或少都有限制,走了一圈发现,还是自己写。
    另外,前一段,单独把抓取这块改成 go 了,用协程爽歪歪。
    ClericPy
        7
    ClericPy  
       2021-03-30 20:47:35 +08:00
    这么多人说 scrpy, 看来真不是 scrcpy 和 Scrapy...
    hanssx
        8
    hanssx  
       2021-03-31 10:03:33 +08:00
    @ClericPy 整得我以为真有 scrpy,还去搜了下。。
    ClericPy
        9
    ClericPy  
       2021-03-31 20:56:12 +08:00
    @hanssx a ... 我当时搜 Github scrpy 还真搜到个以为就是它, 好吧我错了. 这单词用拼音打出来正好是四川人朋友...
    HankLu
        10
    HankLu  
       2021-04-01 21:25:22 +08:00
    爬虫写得好,牢饭吃到饱
    ErwinCheung
        11
    ErwinCheung  
       2021-04-05 19:30:41 +08:00
    爬虫写得好,牢饭吃到饱
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5294 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 09:24 · PVG 17:24 · LAX 02:24 · JFK 05:24
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.