V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Ewig  ›  全部回复第 3 页 / 共 7 页
回复总数  128
1  2  3  4  5  6  7  
2019-01-16 16:49:06 +08:00
回复了 Ewig 创建的主题 Python 关于用 scrapy 翻页问题
@xpresslink 为啥 try
2019-01-16 10:58:41 +08:00
回复了 Ewig 创建的主题 Python 关于用 scrapy 翻页问题
这个不好处理
2019-01-16 10:58:32 +08:00
回复了 Ewig 创建的主题 Python 关于用 scrapy 翻页问题
@layorlayor https://www.zhipin.com/gongsi/_zzz_c101200100_iy100101_t801_s302/

这个网站我先进入每个详情页,然后再翻页 进入详情页抓数据
2019-01-16 09:40:09 +08:00
回复了 Ewig 创建的主题 Python 谁抓过 boss 直聘
@lhx2008 这个验证码是模拟 点击的啊,不是接口
2019-01-09 15:16:11 +08:00
回复了 Ewig 创建的主题 Python json 格式化的时候报错
@Sylv 如何去掉呢
2019-01-09 15:11:45 +08:00
回复了 Ewig 创建的主题 Python json 格式化的时候报错
@fan2006 Traceback (most recent call last):
922 File "/home/shenjianlin/.local/lib/python3.4/site-packages/twisted/internet/defer.py", line 653, in _runCallbacks
923 current.result = callback(current.result, *args, **kw)
924 File "/home/shenjianlin/my_project/Espider/Espider/spiders/xxgkmiit.py", line 30, in parse
925 _origin=json.loads(response.text.split(');\r\n')[0][1:])
926 File "/usr/lib64/python3.4/json/__init__.py", line 318, in loads
927 return _default_decoder.decode(s)
928 File "/usr/lib64/python3.4/json/decoder.py", line 343, in decode
929 obj, end = self.raw_decode(s, idx=_w(s, 0).end())
930 File "/usr/lib64/python3.4/json/decoder.py", line 361, in raw_decode
931 raise ValueError(errmsg("Expecting value", s, err.value)) from None
932 ValueError: Expecting value: line 1 column 1 (char 0)
2019-01-06 16:06:11 +08:00
回复了 Ewig 创建的主题 问与答 scrapy 在爬虫的时候有的网址 偶尔出现 404 如何解决?
@dreasky 我本来自己写了一个中间件把自带的给 over 了,但是现在还是先用原生的,我想问一下这个 retry 的间隔可以设置吗?
2019-01-06 15:57:08 +08:00
回复了 Ewig 创建的主题 问与答 scrapy 在爬虫的时候有的网址 偶尔出现 404 如何解决?
@dreasky 我单独写了一个 py 需要继承吗
2019-01-05 13:29:21 +08:00
回复了 Ewig 创建的主题 Python scrapy 爬网站的时候 加代理报错
@PulpFunction 解决了,谢谢!
2019-01-05 10:54:42 +08:00
回复了 Ewig 创建的主题 Python scrapy 爬网站 用代理的时候 报错如下
@15399905591 为啥这个原因
2019-01-05 10:51:51 +08:00
回复了 Ewig 创建的主题 Python scrapy 爬网站的时候 加代理报错
@PulpFunction 我故意写错的,是一个动态代理
2019-01-05 10:48:05 +08:00
回复了 Ewig 创建的主题 Python scrapy 爬网站的时候 加代理报错
2019-01-05 10:47:21 +08:00
回复了 Ewig 创建的主题 Python scrapy 爬网站的时候 加代理报错
2019-01-04 17:13:58 +08:00
回复了 Ewig 创建的主题 Python scrapy 爬网站 用代理的时候 报错如下
@houzhimeng import base64


class proxy_middleware(object):

def __init__(self):
proxy_host = "w.t.16yn"
proxy_port = "***"
self.username = "***"
self.password = "**"
self.proxies = {"http": "http://{}:{}/".format(proxy_host, proxy_port)}
self.proxy_server = 'https://w5.t.16yun.cn:6469'
self.proxy_authorization = 'Basic ' + base64.urlsafe_b64encode(
bytes((self.username + ':' + self.password), 'ascii')).decode('utf8')

def process_request(self, request, spider):
request.meta['proxy'] = self.proxy_server
request.headers['Proxy-Authorization'] = self.proxy_authorization

我改成这样还是不行
2019-01-04 16:49:54 +08:00
回复了 Ewig 创建的主题 Python 把 html 文件转成 pdf
已经解决,原因是版本太低,在外国论坛找了一个高版本的已经解决,谢谢诸位!
2019-01-03 17:50:45 +08:00
回复了 Ewig 创建的主题 Linux Linux 删除大文件的报错
@zjsxwc 我的文件夹里面有很多重要软件,只能删除当下文件啦。谢谢
2019-01-03 14:16:37 +08:00
回复了 Ewig 创建的主题 Linux Linux 删除大文件的报错
@yulgang 我这有 10 万个,你让我一个个的列举出来,按照上面删?
2019-01-03 10:31:49 +08:00
回复了 Ewig 创建的主题 Linux Linux 删除大文件的报错
@yanaraika find . -type f -max-depth 1 -delete 你这里的-max-depth 写“ 1 ” ?那后面为啥跟一个 1
2019-01-03 10:23:04 +08:00
回复了 Ewig 创建的主题 Linux Linux 删除大文件的报错
@ptyfork find . -type f 1 -delete 我直接用这个即可?
2019-01-03 10:22:03 +08:00
回复了 Ewig 创建的主题 Linux Linux 删除大文件的报错
shenjianlin@newdev:~/pdf_file(spider)$ find . -name "*" | xargs rm -f '*'
xargs: unmatched single quote; by default quotes are special to xargs unless you use the -0 option
rm: invalid option -- '5'
Try 'rm --help' for more information.
1  2  3  4  5  6  7  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2696 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 21ms · UTC 11:03 · PVG 19:03 · LAX 04:03 · JFK 07:03
Developed with CodeLauncher
♥ Do have faith in what you're doing.