V2EX › xingzhi 的所有回复 › 第 24 页 / 共 33 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 16 17 18 19 20 21 22 23 24 25 ... 33

❮

❯

2013-02-27 13:57:22 +08:00

回复了 laskuma 创建的主题 › 问与答 › 爬虫如何处理重复抓取的网页？

@forest520
我觉得这个就没有万能的解决方案了，得视网站而定。
如你举的例子，可以先找出taobao究竟是以什么参数来决定这个页面的。
这里是id，那就在获取url后，抽取出id来进行二次判断。

2013-02-27 13:17:38 +08:00

回复了 laskuma 创建的主题 › 问与答 › 爬虫如何处理重复抓取的网页？

很久前收藏的一篇文章，你可以看看：
http://www.xiuwz.com/site/tech-bloom-filter/

2013-02-27 13:15:37 +08:00

回复了 laskuma 创建的主题 › 问与答 › 爬虫如何处理重复抓取的网页？

hashMap是可以，但相对而言耗内存。
如ls所说，用布隆过滤器较好。吴军的书《数学之美》中有详细的介绍。

2013-02-26 17:32:39 +08:00

回复了 xingzhi 创建的主题 › 问与答 › 豆瓣FM的歌曲的播放地址探究

旧帖子，贴上我的新发现。做个备注。

豆瓣FM pro 推出了新功能，可以下载歌曲。

下载链接如： http://douban.fm/j/pro/download?id=60932&ssid=d7e6

而通过查看localStroage，发现我在帖子上说的 “随机码中间的四位” 恰好和该链接的ssid值是一样的。

证实了我前文所说的一点， “g” 是必然会出现的。
而该ssid，也有可能是类似于数据库中id的性质，有可能是完全随机而不可算的。

因此，结贴。

2013-02-20 15:12:48 +08:00

回复了 xingzhi 创建的主题 › 问与答 › 你们觉得怎么样才能给女朋友惊喜？集思广益啦！

@beingbin @wenbinwu
目前来说，造人不是惊喜，而是惊吓了。。

@frankxu
有理。惊喜的是内容，而不是拘泥于形式。

可目前为止，还是没觉得ls各位说的，会给人一种耳目一新的浪漫。。

2013-01-20 17:23:11 +08:00

回复了 xingzhi 创建的主题 › 问与答 › sae挂了？二级域名无法访问，svn无法连接！

广东电信。

2013-01-20 12:28:36 +08:00

回复了 ljbha007 创建的主题 › 分享发现 › 这次12306抢票事件受益最大的是谷歌

还可以用。早上用订票助手抢了两张票，加上快捷支付，全程用chrome

2013-01-16 13:17:12 +08:00

回复了 leohxj 创建的主题 › 问与答 › 如何从零学习SQL？

我会比较推荐从零开始学习的人看head first系列的书，虽然很啰嗦，但确实适合初学者看。
http://book.douban.com/subject/3069630/