小白写了个 Bloomfilter，求指点

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2709 天前的主题，其中的信息可能已经有所发展或是发生改变。

第一次写了一个完整的小工具，不知道写得怎么样，求各位大大指点一下 Github pybloomfilter

第 1 条附言 · 2017-06-11 19:06:55 +08:00

写了一篇介绍的文章，继续求建议
[用 Python 从零开始实现一个 Bloomfilter]( http://blog.csdn.net/preyta)

指点

小白

完整

工具

11 条回复 • 2017-06-10 17:59:22 +08:00

hwding

2017-06-09 22:10:19 +08:00

提个小建议，README 里面，ops 的 ps 已经有每秒的意思，就不需要 /s 了。

preyta

2017-06-09 22:53:10 +08:00

@hwding 恩，谢谢，我这就去改正回来，想问下 ops 是 operation per sec 吗？

EmdeBoas

2017-06-09 23:01:20 +08:00

挺不错的，建议除了可以 save 和 restore 之外还可以直接在持久化的文件上进行 add 另外 fpp 那个测试还是草率了点，弄点实际的 URL 去测吧...

preyta

2017-06-09 23:06:59 +08:00

@EmdeBoas 恩，这个测试是太草率了点...

Systemd

2017-06-09 23:07:56 +08:00 via Android

>>> filter_ = Bloomfilter(1000, 0.001)

# set size of input 1000, error rate 1%

1% 不应该是 0.01 么？

hwding

2017-06-09 23:23:46 +08:00

@preyta 应该是的吧 :)

preyta

2017-06-09 23:24:38 +08:00 via iPhone

@Systemd 嗯嗯，前面写测试的时候手贱了，看得好仔细

waruqi

2017-06-09 23:48:56 +08:00

我之前也写过一个：blog: http://tboox.org/cn/2016/02/03/bloom-filter/, github: https://github.com/tboox/tbox/blob/master/src/tbox/container/bloom_filter.c

preyta

2017-06-10 09:26:46 +08:00 via iPhone

@waruqi 前面查资料的时候也有看过你这个博客

prasanta

2017-06-10 16:29:05 +08:00

可以贴一下各项速度和 python 内置的 set 对比图么

preyta

2017-06-10 17:59:22 +08:00

@prasanta 刚才粗略的测试了一下，输入在一亿数量级往下的时候 set 还是快不少的，用不着 bloomfilter，但是当 set 的内存开销达到系统瓶颈时，性能会急剧下降，在我的机器上测试了三亿次插入操作，速度已经降到了 355ops，不过我的机器也就 8G 内存。