makeapp's recent timeline updates makeapp's recent timeline updates |
makeappV2EX member #179537, joined on 2016-06-29 14:16:54 +08:00 |
| 搜索引擎类爬虫 crawl frequency 策略的设计 程序员 • makeapp • Jun 14, 2019 • Lastly replied by makeapp | 4 |
| 出台新 MacBook air 二手交易 • makeapp • May 3, 2017 • Lastly replied by JerningChan | 5 |
| 在极路由上安装 python 路由器 • makeapp • Oct 28, 2016 • Lastly replied by rabbit | 5 |
| python 分词的库 Python • makeapp • Sep 21, 2016 • Lastly replied by jixiangqd | 2 |
| 爬取 crunchbase Python • makeapp • Sep 24, 2016 • Lastly replied by googlefans | 6 |
makeapp's recent replies
Jun 14, 2019 Replied to a topic by makeapp › 程序员 › 搜索引擎类爬虫 crawl frequency 策略的设计 |
@locoz 假设给定邮编后能知道 gps 的坐标，100w 个饭店的 gps 坐标也都知道。10 种送餐方式相当于是 seed_url，访问其中一个 url 后输入邮编，可以获取附近 10 公里内的饭店和快递费用。想求的是，给定邮编 xxx，对于附近的饭店，最便宜的送餐方式什么？
Sep 25, 2016 Replied to a topic by makeapp › 路由器 › 在极路由上安装 python |
@ixinshang 什么意思
Sep 18, 2016 Replied to a topic by hippoboy › Python › 请问使用 scrapy 的优势是什么?直接用 requests 不是很简单? |
@est 方便在于，改下 xpath ，改下数据库存储的格式，就可以抓取几百万的数据。
Sep 18, 2016 Replied to a topic by hippoboy › Python › 请问使用 scrapy 的优势是什么?直接用 requests 不是很简单? |
我通常都是用 requests 做测试， scrapy 做生产。不清楚 requests 上的高级用法，但 scrapy 的 pipeline ， middleware 非常好用，比如数据存储，换 UA ，换 proxy ， itemloader 。
Sep 16, 2016 Replied to a topic by makeapp › Python › 爬取 crunchbase |
@caspartse 这是什么抓包软件？
Sep 16, 2016 Replied to a topic by makeapp › Python › 爬取 crunchbase |
谢谢各位指点，我试了很多 headers ，我一直怀疑是 headers 的问题，最后发现是阿里云的 ip 的问题。我换 ip 后就好了。
Sep 16, 2016 Replied to a topic by lytofb › Python › 为什么我看好多 python 的爬虫项目都不用 logging 模块呢，实在不解 |
logging 模块更加完善，有很多功能。我通常是用 logging 做日志记录进行事后分析， print 作为实时监控，可以直接在 terminal 中查看爬虫实时状态。
Select Language