response.xpath( '//td[@class="pming_black12 ms-rteTableOddCol-BlueTable_CHI"]/a/@href')

有什么问题???

你的问题没描述清楚，你是需要加锁操作，每次只能有一个对象能够更新 Table ？

应该是加了防盗链限制，只允许来源 mall.icbc.com.cn 域名的地址访问，你把在 header 中添加一个 referer 属性，标识来源的是该域名就可以了

python 的爬虫生态环境成熟，现有库非常多，不用重复造轮子，开发效率更高。 而 python 对数据处理也是非常优势的，最接近人工智能的语言不是浪得虚名的。。

@zhangslob669 你这个是 PC 端的数据，PC 端是没有点赞数量的。

@echo1937 嘿嘿，只是私下学习，并未用作商用。

@silencefent 有这本事，我就去阿里入职了。。。

并不是破解，只是采集一些数据，这个数据接口使用了加密。。

@A555 什么意思？？ 网警还管这个？

你们用的是什么消息组件呢？ 并且既然是队列，为什么会要不间断获取数据，你的任务执行期间是不需要阻塞的嘛?

你可以把 parse 的 response 通过 meta 传递到 parseNext 中进行处理。

楼主这个问题解决了吗?

mark

你用的代理是什么类型的？是高匿名的吗？如果不是高匿的，对方是可以获取到你的本机 IP 的

@sunwei0325 注册了没发激活邮件就没用了。。

@nazor 朋友，有国外的 IP 么~~

@cuebyte 不要在意这么多细节，哈哈

@xgfan 买账号肯定不行的，一个是抓取频率限制，且费用比买 IP 高多了。

@xiaozuo 大部分主流国家都是需要的，具体费用可以去申请。