Welcome to OGeek Q&A Community for programmer and developer-Open, Learning and Share
Welcome To Ask or Share your Answers For Others

Categories

0 votes
3.8k views
in Technique[技术] by (71.8m points)

数据库定时查询大量数据

问题描述

有一个场景,需要定时查询数据库库中所有会员的订单信息,假设量很大,每半个小时查询一次,此时单节点直接查询肯定搞不懂,如何在多节点的情况下实现。

暂时不考虑数据库设计,重点在于多节点之间的负载平衡以及单个节点内,半个小时内的负载也是平稳的,不会前15分钟压力过大,后面15分钟没有压力。

思路

目前有两种思路
1.多节点分批查询数据,比如10个节点查询500万数据,平均每个查询50万数据,这样可以达到每个节点的负载平衡,此外在每个节点查询时也是分批拉取,尽量在30分钟查询的数量比较平均,单个节点的负载比较平稳。

2.直接把订单数据都存在EL里,减少对数据库的压力。

疑问

一般像量比较大的电商项目都采取哪种方式来实现?比较稳固可靠?


与恶龙缠斗过久,自身亦成为恶龙;凝视深渊过久,深渊将回以凝视…
Welcome To Ask or Share your Answers For Others

1 Reply

0 votes
by (71.8m points)

这种一般来说数据都放入到es中,然后有后台离线计算项目处理


与恶龙缠斗过久,自身亦成为恶龙;凝视深渊过久,深渊将回以凝视…
OGeek|极客中国-欢迎来到极客的世界,一个免费开放的程序员编程交流平台!开放,进步,分享!让技术改变生活,让极客改变未来! Welcome to OGeek Q&A Community for programmer and developer-Open, Learning and Share
Click Here to Ask a Question

...