推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2875 天前的主题，其中的信息可能已经有所发展或是发生改变。
我有一批不同网站的页面需要下载，从数据表里挨个取出来处理，有可能会有错误出现，用 try 也只是挑几个主要的可能出错的地方，网页数据千站千面，肯定会出错，如果要实现断点续传，是不是每处理完一个页面就标记一下？比方说建一个临时表，里面放数据表的记录 ID 号，处理完一条把该表记录 update 下，出错后再回再执行就从这个临时表里取 ID ，从这里开始执行。
 |
1
loveyu 2017-01-15 21:44:38 +08:00 via Android
就是这样的没啥毛病，除了队列就是这样一直循环取未标记的
|
 |
3
k9982874 2017-01-15 21:54:45 +08:00 via iPhone
矫情一下 这不是断点续传 这是批量下载
|
 |
4
crab 2017-01-15 22:59:58 +08:00
你描述的这个和断点没关吧。断点续传同一文件，如 RANGE 协议，分块取回这样。
|
 |
5
LancerXin 2017-01-16 10:49:38 +08:00
你这是在写爬虫吧 和断点续传有啥关系....
|
Select Language