在考虑利用起闲置VPS的来聊聊

[imcj]

我是觉得闲置的VPS组织起来，VPN、图床、文件什么都挺有意思的。

初步想法是利用Python编写一个HTTP REST的API用来操作对象存储。

根据 @liuxurong 的IDEA，作为p2ps非常合适，加速文件下载、文件存储分享。

[sNullp]

http://www.v2ex.com/t/58443
或者free VPN也行，但是不要公开free。我现在算是有经验了。。

[imcj]

@sNullp 可以把大家的都集合起来，一堆闲置的VPS也是不小的资源。

[sNullp]

@imcj 是啊，但是怎么做才能让大家信任是另一个问题。
毕竟互联网上太容易伪装了。

[imcj]

@sNullp 信任？你碰到了什么问题？

[sNullp]

@imcj 没遇到问题，但是十分担心。
比如，如果有任何形式的组织大家贡献服务器资源free出去，就会有人怀疑你是不是有什么利益目的。烦。
所以我最多写写经验帖鼓励大家自己free，但不想组织这样的活动。

[imcj]

@sNullp 这个嘛，何必在意别人怎么看。

我是觉得闲置的VPS组织起来，翻墙、图床、文件什么都挺有意思的。

[sNullp]

@imcj 反正我是觉得烦，付出劳动力去管理反而还要遭受怀疑。
要不你组织组织？我报名跟进~

[imcj]

@sNullp 这个有什么好组织的，在来几个人，大家一起玩一下。

[sNullp]

@imcj 好啊，只要有plan就好。

[imcj]

@sNullp 贡献什么？VPN？图床？

[imcj]

@sNullp 兼容S3 API的类似对象存储，每台机器可以贡献这种存储。可以做图床，也可以放文件。利用限制的流量和硬盘。这个IDEA怎么样。

[sNullp]

@imcj 好idea！有现有的程序么？我可以提供个日本的机器来做这个事情，起到静态文件加速的作用。

[imcj]

@sNullp 没有，不过我有开发的兴趣，要是有人有兴趣可以推动起来。我用的VPN也是基本闲置的，可以贡献出来。

[sNullp]

@imcj 邮件聊吧。要不你把你的vpn也作为我的vpn的另一个节点好了。

[sNullp]

@imcj [email protected]

[muxi]

VPS的配置一般都很低，很难做对象存储

[imcj]

@muxi 作为分流的话呢？一个上传的对象，被3个以上的限制VPS节点拷贝，并提供分流。

[imcj]

@sNullp 可以啊，要怎么做？

[muxi]

静态文件访问比较耗io，一般来说虚拟磁盘io都不咋的，而VPS本身的内存又太小，不足以做缓存应用，在小流量的时候可以试试，流量大了或许你得找成百上千个VPS才行，这个时候维护成本非常的高，由于VPS比实体机更容易出问题，这么多节点，维护成本会有几何级上升，在这个之上还得有自动运维系统支撑，故障自动转移，故障报告给VPS所有者修理之类的，太多了成本了

[muxi]

BTW：即使在一家公司，所有的机器系统都一样，环境都一样，500台以上的节点，跨数据中心维护都是非常头痛的问题，面对这么多异构的机器，而且还没有对应的操作权限，我觉得还是比较复杂

[imcj]

@muxi 你说到的这个场景确实这些VPS承受不来，多少请求量能达到多少IO，这个你有经验吗？

[for4]

@sNullp
@muxi
@imcj

这样利用怎么样?

用Celery架个集群, 免费执行有需要的人上传的task.
为了各个节点(vps)的安全和防止被滥用 需要一个sandbox, 当然前期可以人工对task的内容进行审核.

[imcj]

@muxi 不过我构想的是提供互助免费的对象存储服务，和你谈到的场景应用相去还甚远。

[for4]

还可以共享发布自己的task.

感觉有点像geek们的ifttt了

[imcj]

@for4 用linux的普通用户权限设置即可，在不对VPS造成破坏的情况下提供可能好用的环境。

[imcj]

@for4 这个IDEA相当不错

[sNullp]

@for4 我觉得这个太geek了。或者说，能适应这样使用的人，往往又觉得这种别人搭的免费服务靠不住了。

[sNullp]

@muxi 嗯，有道理。1G内存一下的VPS做io服务器肯定靠不住。

[imcj]

@sNullp @for4这个主意用来放蜘蛛不错。

[sNullp]

@imcj 这个我觉得有点偏离我的初衷了。放蜘蛛的人不缺这点钱吧。。
我主要想帮助一些 user 级的人更方便地上网/写博客之类的。

[imcj]

@sNullp 只是聊聊他这个IDEA。我到是对对象存储很有兴趣。

[gracece]

学生党有需要！能跑python的虚拟主机很难找又很贵。

[chemhack]

@imcj 这种东西基本上违反了大多数廉价VPS供应商的TOS。。。。

[imcj]

@gracece appfog不是很好用？

[imcj]

@chemhack 控制在一定量没有问题的。

[feiandxs]

无论是做存储，还是计算节点，哪怕仅仅是更简单的流量分配和cache，小规模则无价值，但假如部署起一个大规模的分布式网络后，其中所涉及到的资源调配，计算密度，流量分布，简单说就是楼上 @muxi所讲的那些，对了，还有不同的OS，不同的硬件架构，这些东西处理起来需要的东西难度之大，远非简单的人力可及，以及，这都不仅仅只是技术和人力的问题了。 何况你们还提到在VPS上的利用，假设一套这样可靠的系统起来了，如果是P2P的，现在的主流VPS能不能有足够的资源运行这套系统都是问题，何谈贡献资源。

[imcj]

@feiandxs 为什么一定要大，一定要广。我考虑的仅仅是利用。所以，大和广的问题，我没有考虑过，也没有这方面的经验和技能去考虑。

[imcj]

@feiandxs @muxi 我的初步想法是利用Python编写一个HTTP REST的API用来操作对象。至于流量什么的，设定配额吧。

[tarsier]

感兴趣，可以贡献vps

[imcj]

@tarsier 你对哪块感兴趣？对象存储还是VPN？

[tarsier]

@imcj vpn吧，存储的难度有点大。vpn有点像t!o!r

[imcj]

@tarsier 可以邮件给 @sNullp。

[sNullp]

@imcj @tarsier 我一开始做free vpn的时候从没想到会有人向我free服务器。太感动了。
嗯，邮件联系吧，[email protected]。

[tarsier]

@sNullp 我也受过v2ex上某坛友的恩惠，抱歉他的id我记不得了估计得找找邮件记录，他的原话是，积善人家，必有余庆，很受用

[slgray]

@gracece 你可以试试heroku。

[muxi]

@imcj 多少请求量能是io瓶颈这个不太好说，主要看各个VPS服务商的硬件质量，以及高峰期的资源调度、超卖程度等等，不能一概而论，以linode和yardvps为例，linode我自己的网站中静态资源（主要是图片，50～200K不等）请求大概能到220qps就会收到Linode公司要求优化的邮件，yard高峰期基本上在100QPS就瘫痪了（慢得无法接受，io wait 会好几百）

所以用VPS搭建这种服务真的挺难，不过还是能做不少的事情，比如分布式ping检测 分布式dns生效检查，临时流量调度、临时故障迁移（不过这个貌似得IP漂移或者智能DNS解析了） 等等


tor这种服务我记得理论上已经被破解了，最新的论文实际上显示，VPN SSH 80端口代理的TCP包特征分析等等已经比较成熟，这个网络搞大了估计还是要被封掉

[imcj]

@muxi 我没想过要有多大，大到vps厂商无法接受。我考虑的主要还是，闲置的资源可利用起来。

[muxi]

@imcj 如果搞不大就没有意义，一个几千PV的动态站点，一个VPS就能够满足，何必要搞那么复杂的技术呢，集群从理论上来说遇到的问题比单个VPS更多，而且因为免费，还没有质量保证，真出错了，也只能自己认了

[muxi]

从玩和提升技术角度来说，我个人支持做这样的事情，从商业价值和产品角度来考虑，或许投入产出比不高

[aec4d]

...我对VPN感兴趣.有2台闲置的

[imcj]

@aec2d 联系@sNullp :D

[carbon]

借此热帖，请教各位，怎么才能发新主题啊呀？我怎么都没找到哪里可以发新帖子/主题的链接啊？是不是要达到什么标准才可以发新的呀？还请各位指教！谢谢！@livid 。

[hector]

@carbon 每一个节点下面有~

[jackyz]

vps 的存储空间太小，存不了多少东西，图床什么的还要考虑存储的可靠性，存到某个节点，他不续费了怎么办。

比如，我的 vps 只有 20g 磁盘，但流量每月有 200G 。感觉还是用来“提高翻墙可靠性”比较靠谱，之前在别的帖子里也提过：

1，以交换安全链接的方式实现小范围的相互信任，就算墙来钓鱼一次也只能钓个一两条，他不容易一锅端
2，以动态轮换安全链接的方式实现低特征翻墙，打一枪换一个地方，行为特征就降低了，不容易被墙锁定

我的 pobi 项目有这个远期目标，可以提供动态轮换安全链接的功能，但要实现 whole picture，需要做的工作还有很多。哪位同学有时间，做一个交换安全链接的服务吧。

[sNullp]

@jackyz 我的VPN马上要成云VPN了，一个节点挂了还有别的节点可以用，登陆账号和后台数据无缝迁移。哈哈

[jackyz]

@sNullp 不错 pobi 也正在准备支持 vpn 的安全链路。

[imcj]

@jackyz 多节点的，每个节点都保存冗余，起到备份和分流的作用。

[imcj]

@sNullp https://gist.github.com/4499611 我这个思路用来本地自发现被墙的域名，在VPN的基础上可以自己路由下，避免浪费VPN流量。

[imcj]

@jackyz 我想做个试验看能不能有效利用起来，我正在写这个东西的脚本。

相比@sNullp 的VPN，对象存储这个想法的脚本是纯Python的，没有c或者其他库的依赖，部署极其容易。

[sNullp]

@imcj 这个部署是在客户端上的，只能靠建议大家使用了。

[imcj]

@sNullp 客户端？

[jackyz]

@imcj check this out: http://docs.basho.com/riak/latest/tutorials/fast-track/What-is-Riak/
尽力使用已有的轮子，避免重新发明轮子

[imcj]

@jackyz 嗯，看到了，我去看看。

[sNullp]

@imcj 就是连接vpn的客户使用你这个办法。在服务器端是做不了什么的。

[imcj]

@jackyz 看到erlang我就绝望了。

@sNullp 搞岔了，我知道，我的意思是提供一些脚本，有个叫云梯的卖VPN的提供了一个chnroutes的GUI。

[sNullp]

@imcj 嗯。其实有GUI就能做很多有创意的事了，比如更高安全的vpn链接协商、shadowsocks等等。
但是考虑到移动终端的兼容性我还是不打算做，没这工夫。

[imcj]

@sNullp 也是，手机就麻烦了。

[liuxurong]

能否贡献出来搞个云离线下载？楼主想想办法。

[imcj]

@liuxurong 你的IDEA用到这个场景相当合适。

[liuxurong]

支持BT,P2P,emule就好了，众包的方式打破迅雷垄断

[liuxurong]

我自己有2个闲余VPS，把楼主关注下先

[imcj]

@liuxurong 我对BT不熟，如果只是通过BT下载文件，然后传到这个网络里复杂度应该不会太高。

[imcj]

@liuxurong 要是你能贡献些Python代码更好。

[imcj]

@Livid 附加内容有时间限制的？

[sNullp]

@imcj 最多只能附加3次

[loveminds]

@sNullp 可能以后我们会做~CDN互助

[wywh]

@liuxurong bt之类肯定不行，太容易被封。

[loveminds]

@loveminds 项目最低要求VPS内存512

[imcj]

@loveminds 你自己at自己为那般？求上下文。

[Hyperion]

@imcj 自补充(#74), 应该是这样.

[tedeyang]

云VPN是个好注意

[loveminds]

@imcj 往上看，中间间隔了一个

[bailywen]

我有两台一台HK.一台北京电信通可以贡献。

另代理北京电信通五线BGP的云主机。