V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
lhuiwu6
V2EX  ›  Python

你们都用 python 做什么开发?除了 web 开发外.

  •  
  •   lhuiwu6 · 2015-04-15 09:17:46 +08:00 · 11428 次点击
    这是一个创建于 3514 天前的主题,其中的信息可能已经有所发展或是发生改变。
    69 条回复    2015-04-24 02:30:22 +08:00
    seerhut
        1
    seerhut  
       2015-04-15 09:21:52 +08:00
    我估计用的最多的就是自动化运维方面了吧。
    kchum
        2
    kchum  
       2015-04-15 09:23:41 +08:00 via iPhone
    爬虫。
    shakoon
        3
    shakoon  
       2015-04-15 09:25:36 +08:00
    某银行交易系统大量将其用于接口数据转换。另外这货在自动化测试方面也很常见的。
    Battle
        4
    Battle  
       2015-04-15 09:33:49 +08:00
    机器学习
    xxer
        5
    xxer  
       2015-04-15 09:34:42 +08:00
    写一些小工具方便工作,算是运维的范畴吧
    powtop
        6
    powtop  
       2015-04-15 09:43:38 +08:00
    爬虫 应该也是web开发范畴吧
    Loop680
        7
    Loop680  
       2015-04-15 09:48:23 +08:00
    作为解放重复性劳动的工具
    gulucn
        8
    gulucn  
       2015-04-15 09:52:42 +08:00
    用来处理及统计日志的小工具
    ShiehShieh
        9
    ShiehShieh  
       2015-04-15 09:55:54 +08:00
    @Battle 问一下,你主要是用python做机器学习的算法实现还是应用?
    xxer
        10
    xxer  
       2015-04-15 09:59:42 +08:00
    @ShiehShieh 估计是处理数据以及建模画图
    yueyoum
        11
    yueyoum  
       2015-04-15 10:05:27 +08:00
    游戏服务器
    initialdp
        12
    initialdp  
       2015-04-15 10:05:33 +08:00
    企业业务流程
    imn1
        13
    imn1  
       2015-04-15 10:07:34 +08:00
    爬虫,主要是parse,一次分析以万为单位的网页
    大批量文件处理,主要针对windows含有非本地字符的路径,jpg等
    算股票
    文字分析
    一个http socket长连接模块,写爬虫时顺手写的,但不稳定,爬虫收取部分最终改用wget了,所以目前不确定这咚咚有什么用
    其它杂七杂八
    Battle
        14
    Battle  
       2015-04-15 10:07:58 +08:00
    @ShiehShieh 主要是应用,算法的不多
    bertram
        15
    bertram  
       2015-04-15 10:10:07 +08:00
    除了web 真的还有很多方面,科学计算、数据分析、服务器脚本、运维自动化、安全(攻击脚本、嗅探脚本)等等
    ShiehShieh
        16
    ShiehShieh  
       2015-04-15 10:22:50 +08:00
    @Battle 哦哦,好的,好像大家都是应用做的多,那什么模块用的多?scikit-learn?
    Battle
        17
    Battle  
       2015-04-15 10:41:38 +08:00
    @ShiehShieh 其实很多都是数据挖掘和机器学习混合一起做的,模块什么的交叉使用的一堆。scikit-learn算是使用频率很高的了。
    zkwolf
        18
    zkwolf  
       2015-04-15 10:52:30 +08:00 via iPhone
    爬虫吧。。。虽然和web开发有点关系
    cloudycliff
        19
    cloudycliff  
       2015-04-15 10:53:07 +08:00
    图片资源处理...
    clino
        20
    clino  
       2015-04-15 10:55:41 +08:00
    Septembers
        21
    Septembers  
       2015-04-15 10:58:45 +08:00 via Android
    ETL,数据整理,数据分类
    mengzhuo
        22
    mengzhuo  
       2015-04-15 11:40:23 +08:00
    爬虫
    代码生成器
    统计
    自动化管理
    游戏服务器
    xylophone21
        23
    xylophone21  
       2015-04-15 11:50:37 +08:00
    代码生成
    自动发布打包等(非Web)
    jookr
        24
    jookr  
       2015-04-15 11:53:12 +08:00   ❤️ 1
    爬世纪佳缘 或者其他交友网站
    让其他MM以为我老在看她们 然后对我有意思的就会给我发信

    SEO发外链
    写你网站的url到referer 然后去header搜索引擎能爬到访问记录的网站 这样就等于在他们网站留下链接了
    shuson
        25
    shuson  
       2015-04-15 11:56:47 +08:00   ❤️ 1
    python -m SimpleHTTPServer 8000
    tec
        26
    tec  
       2015-04-15 12:10:56 +08:00   ❤️ 1
    朋友用python些的客户端
    最高一月收入XX万刀

    惊动过paypal
    jarlyyn
        27
    jarlyyn  
       2015-04-15 12:19:05 +08:00
    现在最多的一般是web,爬虫,运维吧?
    cheerzeng
        28
    cheerzeng  
       2015-04-15 12:59:21 +08:00
    web, 运维,测试工具
    clino
        29
    clino  
       2015-04-15 13:06:13 +08:00 via Android
    @tec 是做什么的客户端?
    tec
        30
    tec  
       2015-04-15 13:09:03 +08:00
    baidu那个写爬虫的低逼格东西也在v2ex
    还威胁偶

    所以刀可以切菜也是凶器

    低逼格公司呆着 用好东西也是坏蛋
    justjavac
        31
    justjavac  
       2015-04-15 13:38:55 +08:00
    lalalakakaka
        32
    lalalakakaka  
       2015-04-15 13:39:17 +08:00
    gnuradio
    软件无线电~
    empilot
        33
    empilot  
       2015-04-15 13:58:18 +08:00
    @lalalakakaka 赞!
    xiaowangge
        34
    xiaowangge  
       2015-04-15 14:09:13 +08:00
    游戏服务器 :-)
    why
        35
    why  
       2015-04-15 14:37:05 +08:00
    @lalalakakaka 厉害
    dslwind
        36
    dslwind  
       2015-04-15 14:40:33 +08:00 via Android
    我会告诉你我用Python就是拿来当计算器的么
    iosx
        37
    iosx  
       2015-04-15 15:28:11 +08:00
    自动化测试脚本
    loveuqian
        38
    loveuqian  
       2015-04-15 15:33:53 +08:00
    @shakoon @cheerzeng @losx
    敢问几位都是测试人员?
    cheerzeng
        39
    cheerzeng  
       2015-04-15 15:48:10 +08:00
    @loveuqian 被你猜中了,哈哈
    iam36
        40
    iam36  
       2015-04-15 18:18:39 +08:00
    @tec 愿闻其详
    shakoon
        41
    shakoon  
       2015-04-15 18:28:37 +08:00
    @loveuqian 我不是哦。我是做项目的,因为会跟测试打交道,所以知道一些他们的工作
    laike9m
        42
    laike9m  
       2015-04-15 18:53:24 +08:00 via Smartisan T1   ❤️ 1
    这个看个人能力了,如果能力强可以自己去做框架,比如binux的pyspider

    大部分人一般就根据自己的需要写写小工具吧。

    继续安利自己造的一个小轮子:
    https://github.com/laike9m/ezcf
    RIcter
        43
    RIcter  
       2015-04-15 18:55:16 +08:00 via iPhone
    exploit
    mozartgho
        44
    mozartgho  
       2015-04-15 20:17:44 +08:00
    用来做代码生成器,根据xml的一些配置生成C++代码
    shanks
        45
    shanks  
       2015-04-15 21:00:07 +08:00
    自动化装机脚本来一发
    lemayi
        46
    lemayi  
       2015-04-15 21:09:52 +08:00 via Android
    @jookr seo这个是啥原理啊
    求指教
    lemayi
        47
    lemayi  
       2015-04-15 21:10:56 +08:00 via Android
    @tec 同问:啥客户端哦
    ilotuo
        48
    ilotuo  
       2015-04-15 21:40:24 +08:00
    编解码呀
    wind3110991
        49
    wind3110991  
       2015-04-15 23:12:43 +08:00
    国内是不是主流python都是运维啊?php还是占据了绝大部分LAMP/LNMP中P的部分
    kevinzhow
        50
    kevinzhow  
       2015-04-16 05:35:27 +08:00
    科学计算挺好用
    lingo233
        51
    lingo233  
       2015-04-16 06:00:55 +08:00 via Android
    做过一个转换txt为epub的小工具,现在不开发当计算器使了
    walkingway
        52
    walkingway  
       2015-04-16 08:49:19 +08:00
    可以做量化交易啊,写策略什么的,见 https://www.quantopian.com
    tsingyi
        53
    tsingyi  
       2015-04-16 09:14:24 +08:00
    @seerhut 你用的Plan 9?
    seerhut
        54
    seerhut  
       2015-04-16 09:21:56 +08:00
    @tsingyi 只是头像而已,一直想摆弄9来着,也没真动手。。。。。。。。。
    laotaitai
        55
    laotaitai  
       2015-04-16 09:50:10 +08:00
    @jookr
    SEO发外链
    写你网站的url到referer 然后去header搜索引擎能爬到访问记录的网站 这样就等于在他们网站留下链接了

    我读了几十遍, 硬是没看懂说的啥, 始终读不通. 换个说法吧.
    Tink
        56
    Tink  
       2015-04-16 10:17:20 +08:00
    啥都弄
    datxiaoy
        57
    datxiaoy  
       2015-04-16 10:19:56 +08:00
    @dslwind 原来还有人和我一样
    RickGray
        58
    RickGray  
       2015-04-16 10:35:38 +08:00
    黑科技
    jookr
        59
    jookr  
       2015-04-16 10:44:54 +08:00   ❤️ 2
    @lemayi
    @laotaitai

    有些网站的访问日志是不检查权限随便浏览的 蜘蛛能爬到
    你伪造个Referer 意思就是从你的A网站上的链接点击打开到目标B网站
    那么B网站的访问日志就会有你A网站的Referer 链接

    最后蜘蛛爬到那些B网站的访问日志就能字段B网站有个链接到你的A网站 不就等于发外链了嘛
    不过这种外链权重很低很低的

    至于怎么找这类的B网站我就不说了


    import urllib2
    file = open("referer_list.txt")
    referer = 'http://yoursite/'

    for line in file:
    visit_link = line.strip()
    request = urllib2.Request(visit_link)
    request.add_header('Referer', referer)
    request.add_header('User-Agent', referer+' Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.2.2000 Chrome/30.0.1599.101 Safari/537.36')
    urllib2.urlopen(request)
    print 'visit : '+visit_link,'referer : ',referer
    whatisnew
        60
    whatisnew  
       2015-04-16 11:14:01 +08:00
    @kchum @imn1
    Python 做爬虫的优势在哪里?
    分析页面的 dom 用正则还是什么?
    图片文件是用 curl 获取还是什么?
    可以模拟 webkit 吗?
    imn1
        61
    imn1  
       2015-04-16 11:34:09 +08:00
    @whatisnew
    优势在于大量parse
    我是尽量用正则,过万html的话,lxml+xpath比正则parse要多1/3甚至一倍时间
    我是parse出一个url list给wget/aria2c下载,后者可以多线程且在windows支持unicode,因为我要下载的同时改名,生成路径可能含有非ascii字符,但aria2c不如wget稳定,所以我又写了一个辅助改名的python调用wget下载。linux没这问题,但linux是工作机,不在linux上玩爬虫
    webkit需要pyqt,虽然看过例子很简单,但未试过这样用,我一般 cli 搞定
    lemayi
        62
    lemayi  
       2015-04-16 12:02:29 +08:00
    @jookr 感谢感谢!长见识了。
    jookr
        63
    jookr  
       2015-04-16 14:30:12 +08:00   ❤️ 1
    @lemayi
    @laotaitai

    我也是被header多了学的
    这家伙天天header我的站
    lemayi
        64
    lemayi  
       2015-04-16 14:57:54 +08:00
    @jookr 这是啥出来的图?看来确实是自己做站才能实际掌握很多东西啊
    deepreader
        65
    deepreader  
       2015-04-16 21:18:42 +08:00
    oamzn
        66
    oamzn  
       2015-04-17 09:36:55 +08:00
    @jookr你这个日志表示什么生成的。
    jookr
        67
    jookr  
       2015-04-17 12:51:49 +08:00
    @oamzn

    """
    function get_visitor()
    {
    $ua = strtolower($_SERVER['HTTP_USER_AGENT']);
    $ref = isset($_SERVER['HTTP_REFERER'])?$_SERVER['HTTP_REFERER']:'';

    if(stristr($ua,'baiduspider')){$visitor='baidu';}
    elseif(stristr($ua,'googlebot')){$visitor='google';}
    elseif(stristr($ua,'yahoo')){$visitor='yahoo';}
    elseif(stristr($ua,'yodaobot')){$visitor='yodao';}
    elseif(stristr($ua,'sosospider')){$visitor='soso';}
    elseif(stristr($ua,'sogou')){$visitor='sogou';}
    elseif(stristr($ua,'msnbot')){$visitor='msn';}
    elseif(stristr($ua,'360spider')){$visitor='qihu';}
    elseif(stristr($ua,'yisouspider')){$visitor='yisou';}
    elseif(stristr($ref,MANAGE_DIR)){$visitor='admin';}
    else{$visitor='user';}

    return $visitor;
    }

    function log_visitor()
    {
    //print_r($_SERVER);exit;
    $insert_data['visitor'] = $this->get_visitor();
    if($insert_data['visitor']!='admin'){

    $insert_data['url'] = !empty($_SERVER['HTTP_X_REWRITE_URL'])?$_SERVER['HTTP_X_REWRITE_URL']:$_SERVER['REQUEST_URI'];

    $ref = isset($_SERVER['HTTP_REFERER'])?$_SERVER['HTTP_REFERER']:'';
    $insert_data['ref'] = str_replace('http://'.$_SERVER['HTTP_HOST'],'',$ref);

    $insert_data['ip'] = filter_var($_SERVER["REMOTE_ADDR"], FILTER_VALIDATE_IP, FILTER_FLAG_NO_PRIV_RANGE)?$_SERVER["REMOTE_ADDR"]:0;

    $insert_data['time'] = time();

    $insert_data['ua'] = $_SERVER['HTTP_USER_AGENT'];

    $this->insert('visitor',$insert_data);
    }
    }
    """
    MeiganFang
        68
    MeiganFang  
       2015-04-17 21:54:20 +08:00
    @tec xx万刀,是不是有点夸张?
    tikazyq
        69
    tikazyq  
       2015-04-24 02:30:22 +08:00
    数据分析,机器学习
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3673 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 04:23 · PVG 12:23 · LAX 20:23 · JFK 23:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.