1
ccdjh 2014-05-22 09:13:33 +08:00
石岐么?我经常过古镇那边。中山程序员不值钱哈。
我给你简单说一下,我爬虫的话,用到rq 和 tornado 。 server 通过get发指令到 clent。clent执行到rq里面,完成后,get发指令到server。 每个任务,我通过建立clent的地址list.然后随机选择。 数据的话,是和clent同内网一台服务器,全部的数据都流向这台服务器。 rq 是: http://python-rq.org/ tornado 是: http://www.tornadoweb.org/en/stable/ |
2
fdsfsdfsdf3334 OP @ccdjh 我是沙溪, 爬虫我用的requests ,这个爬虫 github作者更新的很频繁,很热情, web用的flask,
你说的 发送指令的那个,我觉得很好,因为以后我们的应用也需要这样的功能 不过我接下来找人要弄的应用,暂时还不涉及爬虫,主要是类似erp,其实功能也不复杂,对方提供给我的数据是mysql的,给了我帐号密码,我的数据库是postgresql,我自己写了中间件把数据同步到我的postgresql, 然后这个伪ERP,需要完成,合并订单[买家昵称、收货人姓名、收货人地址三项数据完全相同并且尚未打印过的订单才会自动合并在一起], 合并后的订单 也能拆分还原,还有 就是 控制打印机 打单, 差不多就是一个订单处理 和打单的功能, 虽然看上去有些复杂,但其实很简单,但简单中又夹杂复杂, 目前把我难住的是, 这个软件需要有一个服务端 和客户端, 为了安全,敏感操作全部让服务器来操作,我打算使用RPC技术 [其实我对这个技术还不是很了解,通过google知道这个东西好像不错] ,但我不知道用哪个组件好,搜了下 有很多,比如 ICE ,Protocol Buffer, 等等,其实我打算用Protocol Buffer,但是这个东西居然不支持python3,看了他的python版本的源码,居然只到2.6 虽然2.7 能用, 所以现在我被这个问题挡住了2天了, 痛苦啊 |
3
Sight4 2014-07-10 16:43:12 +08:00 1
中山程序员不值钱 + 1
python程序员 + 1 其实中山的需求都是很现实,一般只要产品,拿什么写都没所谓,因为客户根本不知道python还是c... |
4
Sight4 2014-07-11 12:45:15 +08:00
@fdsfsdfsdf3334 可以使用web封装服务,客户端做一个httpclient调用,返回json数据,比pb来得要方便,当然,效率上相对来说,PB会高一些(毕竟是binary的东西),但安装起来各种蛋疼...而且不会涉及到py3的问题
|
5
fdsfsdfsdf3334 OP @Sight4 哦哦 谢谢
|
6
anhaoh 2015-08-28 11:29:15 +08:00
@fdsfsdfsdf3334 挖坟来了。 python 程序员。坐标:中山古镇。加群: 55381386
|