高并发系列—【百亿级流水数据的毫秒级查询与存储】

1.问题

系统的并发比较高,时间久了随之而来的海量数据存储的问题就会日益矛盾,所以,这篇文章来聊一聊海量数据存储与查询的问题。

2.设计方案

注意:如果流水数据量过大,建议流水数据的HBase和Es都单独再部署一套。实践中发现,Hbase有写入瓶颈,我们内存块中如果设置了100M刷新一次,持久化到磁盘,每刷新一次就会生成一个小文件,实际上不到100M就刷新了。结果造成小文件太多,合并不过来。

注意:这个分页,受ES分页限制,不能实现跳转至多少页。另外,建议大家在设计的时候,必须再加上时间范围必选的查询条件。

请登录后发表评论

    没有回复内容