Scrapy 使用 ImagePiple 下载图片时，图片地址需要做一次 301 跳转，这导致下载图片失败，是否可以在下载中间件里修复，网上没有搜到解决办法

[anywalker707]

RT，301 跳转都一个 CDN 的地址，我目前的做法是在 pipeline 中手动加入一个替换，可以完成下载：

def get_media_requests(self, item, info):
    for img_url in item['imageUrlList']:
        referer = item['imageTitleUrl']
        img_url = img_url.replace('oldURL', 'new_CDNURL')

        yield Request(img_url, meta = {'item': item,
                                       'referer': referer})

但总感觉这样做有风险，因为 CDN 的 url 可能是变化的，我这里写死了，求指点合适的解决办法

[anywalker707]

这个问题不难吧。。。

[onlyice]

301 为啥就下载失败？ Scrapy 应该会自动跳转 301 吧。。