各位内部系统的统计需求是如何实现的？

[glacer]

公司内部有各种面向内部员工的系统，里面往往有各种统计类的需求。现在的问题是：

1. 有些统计需要涉及好几张大表的 count,group by 等操作，搞出来接口性能捉急，风险很高；
2. 对实时性要求高。一旦有成交单之类的操作，往往需要快速在系统上展现数据。 我们内部也有离线计算平台，有时一些复杂或大数据量的统计接口我们会对接离线平台上的数据，提高性能，但实时性达不到要求。

我们考虑过对接 MQ 来做流式计算，但总觉得自己去做流式计算性价比很低。调研过市面上的一些实时计算框架（像 flink ），目前来看成本太高，而且有一种大炮打蚊子的感觉。所以现在真的很纠结该怎么去做。

简单概括下上面的问题，就是一句话：在公司各个阶段下，用什么方式来实现实时计算的性价比最高

[zellalan]

板凳搬好了 等一波大佬回答

[cabing]

上 clickhouse

[unicloud]

这个问题提得好。
以我司的业务量和数据量来说似乎 SQL 的聚合函数配合 group by 能搞定。

[glacer]

@unicloud 我们主要是有部分千万级的表需要关联统计，而且在业务高峰内部也会有 600 多人使用，性能还是跟不上的。

[shyrock]

业务数据和统计数据分库吧，统计数据可以延后定期刷新，不要在业务表上直接聚合动态计算数据。

[xjay]

piwik 呢？

[DEVN]

消息队列，数据流计算，亿级数据检索等各类大数据组件堆砌而成。问题多得亚比。