这是一个创建于 3716 天前的主题，其中的信息可能已经有所发展或是发生改变。
需求很简单：
1. 科学上网
2. 每周或每日定期向一千个以内的特定网站爬取感兴趣的信息，包括文本，图片，pdf等保存在数据库中。
3. 数据库要易于排序、比较等简单快速操作。
4. 其他没想到的小功能。
预算：2w以内
实施语言：python（scrapy）
本人背景：
请大神考虑本人的技术局限，略懂python，但对于数据库、云平台一概不知（简单弄过SAE微信平台不知道算不算）。先谢下！
1. 科学上网
2. 每周或每日定期向一千个以内的特定网站爬取感兴趣的信息，包括文本，图片，pdf等保存在数据库中。
3. 数据库要易于排序、比较等简单快速操作。
4. 其他没想到的小功能。
预算：2w以内
实施语言：python（scrapy）
本人背景：
请大神考虑本人的技术局限，略懂python，但对于数据库、云平台一概不知（简单弄过SAE微信平台不知道算不算）。先谢下！
 |
1
icedx 2014-10-26 11:39:55 +08:00
你想请教啥...
|
 |
5
Phoinikas 2014-10-26 11:54:25 +08:00  1
记得有个pdf叫《自己动手写网络爬虫》，他是用java作例子介绍的，你可以自己用python按照同样的思路写一个。图省事的话可以直接找个开源的爬虫程序
|
 |
6
loading 2014-10-26 12:08:42 +08:00
哇，悬赏 2w !!!!!
应该有人会帮你的，但是大家都不会直接告诉你，谁知道你看了回复赚了百八十亿，不认账，不给那 2w 的咨询费怎么办！ |
 |
7
ccdjh 2014-10-26 12:09:05 +08:00 via Android
爬虫用正则哈，爬取任务放到队列。确认那个爬虫出错再修改。你的2万是什么意思呢！存储成本还是运行成本？
|
 |
10
aheadlead 2014-10-26 12:16:42 +08:00
“其他没想到的小功能。”
可以吐槽吗... |
|
14
loading 2014-10-26 12:22:00 +08:00 1
1.学习购买和使用国外的vps，学习如何配置vpn，在vps安装一个。
2.对于你的第二条，装个dedecms，用采集功能都能搞定。。。。 3.第二条软件带有数据库。 4.去学一下php，很快搞定。 请个大学生，3k解决所有问题！ 用2k来支撑后续的费用。 剩下1.5w，给我。 |
 |
16
greatdk 2014-10-26 12:50:22 +08:00
|
|
17
loading 2014-10-26 12:51:32 +08:00
去学Flask，反正你这些我现在已经能做出了了，自己去学吧！
去了解vps，别管什么云了。 btw:别找我。 |
 |
18
kslr 2014-10-26 12:55:19 +08:00
一个小玩具，还需要什么项目方案。
|
 |
21
chinvo 2014-10-26 14:55:32 +08:00
为什么非要用 python 呢
|
 |
22
yakczh 2014-10-26 15:46:26 +08:00
真有钱
|
Select Language