V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
timeromantic
V2EX  ›  程序员

上次开源了今日热榜的 API 接口,这次直接开源热榜 GO 后端代码吧

  timeromantic · 2019-08-06 10:46:30 +08:00 · 12260 次点击
这是一个创建于 1696 天前的主题,其中的信息可能已经有所发展或是发生改变。

鱼塘热榜

鱼塘热榜是一个获取各大热门网站热门头条的聚合网站,使用 Go 语言编写,多协程异步快速抓取信息,预览:https://www.printf520.com/hot.html

使用说明

  1. 喜欢的话 star 并 fork 项目

安装教程

地址: https://github.com/timeromantic/hotDataList.git

  1. git clone https://github.com/timeromantic/hotDataList.git
  2. 执行 database.sql 文件
  3. 配置 /Config/Mysql.go 数据库地址
  4. 执行 /App/GetHot.go 程序
  5. 修改 hot.html 并打开
  6. 部署定时任务

参与贡献

  1. Fork 本项目
  2. 新建 Feat_xxx 分支
  3. 提交代码
  4. 新建 Pull Request

目录说明

HotList/
├── App
│   └── GetHot.go  爬虫主程序
├── Common
│   ├── Db.go      数据库组件
│   └── Redis.go   redis 组件
├── Config
│   ├── Config.go 
│   └── Mysql.go   mysql 配置文件
├── Cron
│   └── GetHot.sh  爬虫定时脚本
├── Exe
├── Html
│   ├── css
│   ├── hot.html   热榜展示网页
│   └── js
|
└── database.sql
└── README.md

API 说明

获取所有类型

{
    "Code":0,
    "Message":"获取数据成功",
    "Data":[
        {"id":"1","sort":"63908","title":"知乎"},
        {"id":"2","sort":"21912","title":"虎扑"},
        {"id":"6","sort":"11707","title":"天涯"},
        {"id":"7","sort":"12546","title":"知乎日报"},
       ]}

获取具体类型热榜数据

{
    "Code":0,
    "Message":"获取成功",
    "Data":[
        {
            "title":"
45 个经典面试回答提示,分享给即将工作的大家。zt
",
            "url":"https://bbs.hupu.com//28814429.html"
        },
        {
            "title":"
[名场面]回家的诱惑:洪世贤酒店幽会,抵不住诱惑犯了错! zt
",
            "url":"https://bbs.hupu.com//28818367.html"
        },
        {
            "title":"
张艺兴回应假唱风波。ZT
",
            "url":"https://bbs.hupu.com//28815609.html"
        }
    ]
}

DeepinScrot-4337.png

第 1 条附言  ·  2019-08-06 12:20:04 +08:00
这个帖子只有收藏,没有回复。希望收藏的小伙伴同时回复一下
第 2 条附言  ·  2019-08-06 13:01:50 +08:00
谢谢大家的回复~
74 条回复    2019-08-10 18:24:30 +08:00
dothis
    1
dothis  
   2019-08-06 12:32:58 +08:00
好吧、看来我是第一个
conn4575
    2
conn4575  
   2019-08-06 12:41:46 +08:00 via Android
顶一下,每天都会打开了解热点新闻
swordne
    3
swordne  
   2019-08-06 12:43:58 +08:00
收藏一波,早起看新闻利器。
mu666
    4
mu666  
   2019-08-06 12:47:41 +08:00 via Android
收藏回复,等下午上班摸鱼的时候再 star(斜眼笑)
zsy979
    5
zsy979  
   2019-08-06 13:10:41 +08:00
收藏
impl
    6
impl  
   2019-08-06 13:15:27 +08:00 via Android
为什么文件名都是驼峰式,看上去像 Java 还是 C#
freshgoose
    7
freshgoose  
   2019-08-06 13:19:59 +08:00
佩服楼主
hgjian
    8
hgjian  
   2019-08-06 13:20:26 +08:00 via Android
收藏顶
Flygar
    9
Flygar  
   2019-08-06 13:51:58 +08:00
点赞,收藏,回复
patx
    10
patx  
   2019-08-06 13:55:08 +08:00
感觉楼主。开始接触 go 语言,正好学习下
slogon
    11
slogon  
   2019-08-06 14:04:08 +08:00
感谢分享,学习一下!
JRay
    12
JRay  
   2019-08-06 14:09:30 +08:00
收藏学习一下
lilililili1010
    13
lilililili1010  
   2019-08-06 14:30:21 +08:00
收藏
Gnod0000
    14
Gnod0000  
   2019-08-06 14:31:18 +08:00 via iPhone
学习
lux182
    15
lux182  
   2019-08-06 14:50:34 +08:00
go 利器
shadowtale
    16
shadowtale  
   2019-08-06 14:55:53 +08:00
很溜很溜
hacenv
    17
hacenv  
   2019-08-06 15:03:33 +08:00
学习一下, 感谢楼主。
zhutter
    18
zhutter  
   2019-08-06 15:13:33 +08:00
学习一下, 感谢
yueshang1
    19
yueshang1  
   2019-08-06 15:15:11 +08:00
database.sql 没有这个文件呢?爬虫 好像没有楼主站点全呢
LeeSeoung
    20
LeeSeoung  
   2019-08-06 15:17:06 +08:00
支持
geekc3t
    21
geekc3t  
   2019-08-06 15:24:18 +08:00
感觉楼主。学习下
lostaya
    22
lostaya  
   2019-08-06 15:25:26 +08:00
收藏了
timeromantic
    23
timeromantic  
OP
   2019-08-06 15:27:00 +08:00
@yueshang1 sql 文件是一张表,等会把 sql 文件放进去
HuberyPang
    24
HuberyPang  
   2019-08-06 15:32:11 +08:00
哈哈哈,借楼分享 python 版的,欢迎 star https://github.com/pangxiaobin/CrawlerHot
Y4ssss
    25
Y4ssss  
   2019-08-06 15:34:47 +08:00
感谢楼主
fivestrong
    26
fivestrong  
   2019-08-06 15:37:01 +08:00 via iPhone
感谢 收藏学习一下
IceBay
    27
IceBay  
   2019-08-06 15:41:08 +08:00
感谢楼主
zqguo
    28
zqguo  
   2019-08-06 15:54:49 +08:00
收藏一波
Y4ssss
    29
Y4ssss  
   2019-08-06 16:11:00 +08:00
API 相关的也没有开源?
fengwei23
    30
fengwei23  
   2019-08-06 16:13:54 +08:00
收藏回复
E1n
    31
E1n  
   2019-08-06 16:15:08 +08:00
关注一波 w
xiangchen2011
    32
xiangchen2011  
   2019-08-06 16:26:41 +08:00
好奇,博客那一栏都是哪里来的地址
drafter
    33
drafter  
   2019-08-06 16:28:47 +08:00
感谢,后面学习学习
timeromantic
    34
timeromantic  
OP
   2019-08-06 16:31:40 +08:00
@xiangchen2011 哈哈,是 js 处理返回的。
xiangchen2011
    35
xiangchen2011  
   2019-08-06 16:34:32 +08:00
@timeromantic #34 你的博客不错,可惜么有 rss
timeromantic
    36
timeromantic  
OP
   2019-08-06 16:36:45 +08:00
@xiangchen2011 哈哈,谢谢喜欢,为了不辜负 V 友的喜欢,立马加 rss
aitaii
    37
aitaii  
   2019-08-06 16:50:24 +08:00
挺好
zpm683
    38
zpm683  
   2019-08-06 17:07:46 +08:00
赞美の心
dying4death
    39
dying4death  
   2019-08-06 17:09:26 +08:00
感谢

想用 api 写 app,可以得到楼主授权吗
kylix
    40
kylix  
   2019-08-06 17:16:28 +08:00
🙏,收藏&回复~
mzmzzZ
    41
mzmzzZ  
   2019-08-06 17:29:22 +08:00
收藏 感谢
Geekgogo
    42
Geekgogo  
   2019-08-06 17:32:59 +08:00
感谢感谢,已 star
timeromantic
    43
timeromantic  
OP
   2019-08-06 17:57:42 +08:00
@dying4death 加我微信联系吧.博客里面关于我有联系方式
wanwan
    44
wanwan  
   2019-08-06 18:06:28 +08:00
厉害。。。
1yndonn3u
    45
1yndonn3u  
   2019-08-06 18:08:29 +08:00
能否加入某 404 网站的热门。
crab
    46
crab  
   2019-08-06 18:27:28 +08:00
点进去看到陆金所爆了
timeromantic
    47
timeromantic  
OP
   2019-08-06 18:29:10 +08:00
@crab 什么陆金所?
timeromantic
    48
timeromantic  
OP
   2019-08-06 18:29:27 +08:00
@1yndonn3u 哪个 404 网站?
crab
    49
crab  
   2019-08-06 18:32:06 +08:00
@timeromantic 点了微博热榜看到陆金所出事了。(都提出来了)
yejianmail
    50
yejianmail  
   2019-08-06 18:54:04 +08:00 via Android
上次在网易看到贵公司午休被领导吐槽
nexusone
    51
nexusone  
   2019-08-06 19:12:39 +08:00
感谢楼主
timeromantic
    52
timeromantic  
OP
   2019-08-06 19:30:27 +08:00
@yejianmail 贵公司?哪个公司
wym7223645
    53
wym7223645  
   2019-08-06 19:39:26 +08:00
https://www.printf520.com/hot.html 打不开??????
timeromantic
    54
timeromantic  
OP
   2019-08-06 19:42:14 +08:00
@wym7223645 我这打开没有问题啊
rampagechopper
    55
rampagechopper  
   2019-08-06 19:57:33 +08:00
感兴趣 ing
mritd
    56
mritd  
   2019-08-06 20:03:18 +08:00 via iPhone
抽屉?
cnzjl
    57
cnzjl  
   2019-08-06 20:23:15 +08:00
会出现漏抓的现象?天涯第一个丢失了
xiaolu
    58
xiaolu  
   2019-08-06 20:35:50 +08:00
支持下,感谢分享
Hater
    59
Hater  
   2019-08-06 20:38:23 +08:00 via iPhone
收藏
wym7223645
    60
wym7223645  
   2019-08-06 20:40:08 +08:00
renyiqiu
    61
renyiqiu  
   2019-08-06 20:43:14 +08:00
可以呀兄弟
Foreverdxa
    62
Foreverdxa  
   2019-08-06 20:50:09 +08:00
收藏学习。
dodo2012
    63
dodo2012  
   2019-08-06 20:54:20 +08:00
可以
pengyOne
    64
pengyOne  
   2019-08-06 21:07:38 +08:00
学习一波
ilotuo
    65
ilotuo  
   2019-08-06 21:34:35 +08:00
好东西!!感谢
xman99
    66
xman99  
   2019-08-06 21:37:59 +08:00
挺好的, 有时间研究下如何实现的
Felldeadbird
    67
Felldeadbird  
   2019-08-06 21:43:30 +08:00
楼主让我摸鱼就算了,连源码也开了,这让我怎样安心上班呀。哈哈
bbbb
    68
bbbb  
   2019-08-07 07:55:39 +08:00 via iPhone
学习一波
timeromantic
    69
timeromantic  
OP
   2019-08-07 09:21:41 +08:00 via Android
@Felldeadbird 无心工作,只想摸鱼。哈哈
shell314
    70
shell314  
   2019-08-07 09:33:30 +08:00
已收藏,感谢楼主
xiaobai987
    71
xiaobai987  
   2019-08-07 14:50:13 +08:00
大佬好 如何生成接口数据呢 没看到相关的文件
T3RRY
    72
T3RRY  
   2019-08-07 16:24:49 +08:00
NB
kainan
    73
kainan  
   2019-08-10 17:03:11 +08:00
本人需要做个网站, 有兴趣接活的联系下我! 谢谢;-)
timeromantic
    74
timeromantic  
OP
   2019-08-10 18:24:30 +08:00 via Android
@kainan 加我微信谈谈吧 wswgnh
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4958 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 36ms · UTC 09:49 · PVG 17:49 · LAX 02:49 · JFK 05:49
Developed with CodeLauncher
♥ Do have faith in what you're doing.