lFOqSK 最近的时间轴更新
lFOqSK

lFOqSK

V2EX 第 420701 号会员,加入于 2019-06-11 14:38:25 +08:00
根据 lFOqSK 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
lFOqSK 最近回复了
8 天前
回复了 lFOqSK 创建的主题 程序员 谷歌是怎么爬 React 网站的?
@terranboy 我看它的 Crawled page 记录里显示的 html 是有把我特地给它准备的文章页和翻页隐藏超链接都渲染出来的,而且它确实有跟着这些超链接去爬我的文章页。所以我目前还没做 SSR 。之后研究下考虑弄一下 SSR 。
但是主要是它这个莫名其妙去穷举我没给过的页码的行为,太浪费时间了……
8 天前
回复了 lFOqSK 创建的主题 程序员 谷歌是怎么爬 React 网站的?
@qqjt
@Charrlles
谷歌是判定我的这些页面为软 404 ( Duplicate without user-selected canonical )的。但是我纠结的地方在于,它浪费太多时间在穷举我的这些页码上面了。而我每页的内容,就是那些文章链接什么的,它只爬了很小一部分。而且它这个穷举目前根本没有停下来的意思。
目前,正经内容它只爬了 800 页左右,而这些穷举的 404 页面它爬了 5000 页了。而且我不知道它这样是在干嘛,如果爬完 10000 以内的页面,它是不是还回去爬大于 10000 的页面?因为谷歌对每个网站的爬取是有每日频次限制的,它这样浪费时间穷举,以前一个月就可以索引完整个网站,现在都过去半个月了,正经的内容才 800 页。整个网站爬完估计要花一年时间……
8 天前
回复了 lFOqSK 创建的主题 程序员 谷歌是怎么爬 React 网站的?
@westoy 但是谷歌的 search console 上是显示是它自己爬的。它现在已经穷举了 5000 多页了。爬取结果都是 Duplicate without user-selected canonical 。然后最神奇最离谱的地方在于,理论上来说它应该告诉我它是从哪里知道我这个网址所以才来爬的。但是这些页面的 Referring page 全部都是页面自己。比如 ?page=10000 的 Referring page 就是 ?page=10000 ,一模一样一字不差。
我从来没见过这么离谱的事情……如果不是因为这个 Referring page 全部都是页面自己,我还真不会怀疑到谷歌的爬虫逻辑上……
8 天前
回复了 lFOqSK 创建的主题 程序员 谷歌是怎么爬 React 网站的?
@lichao 做了呀。这个肯定是做了。但是它有自己的想法。
@sphawkcn 谢谢回复。那我还是放点广告上去试试吧 😥
@jenlors 是啊我这个也是 75%流量来自移动端。电脑只有 20%。但是我有做移动端适配,所以其实影响不大吧。
之前 fackbook 火起来的时候他们那个社区功能确实对我这种网站打击还挺大的。但是现在 fackbook 已经凉了。
现在火的那些 ins ,tictok 反而对我这种付费订阅的没有什么影响。
感觉好像就今年突然一瞬间大家都变穷了不愿意付费了?
@sphawkcn 抱歉啊因为是那种抓住细分需求新市场的聚合网站,本身没有技术壁垒,所以暂时不能放出来。我本身也是拿自己之前其他几个网站演进下来的框架套了一下就发布了。所以其实就是属于早期靠信息差后期靠用户累积和社区孵化的那种小众网站。
但从付费用户反馈来看是和前几个网站的效果差不多的。而且付费用户也愿意帮我在他们的社群做推广。但转化率已经大不如三年前的网站那么好看了。所以想问下有没有做付费订阅网站的同行也遇到这个状况。是不是现在不放广告就没有活路了。
关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1718 人在线   最高记录 5497   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 17:38 · PVG 01:38 · LAX 09:38 · JFK 12:38
Developed with CodeLauncher
♥ Do have faith in what you're doing.