最近在我做一个Java后台数据处理方面的项目,这个程序要处理的数据非常大,大约是每秒100000条(高峰期)的样子,而且这个数据量将在不久的将来扩充到3到10倍。项目组里有人提出用集群的方法来提高处理的速度,他的想法是这样的:
每个服务器的功能是一样,但处理的数据是不同的,因为所有要处理的数据都有一个相同的ID字段。即有一个服务器用来分配数据,这样每个服务器都按照分配规则各自处理各自的数据。但要实现起来,我考虑了有以下一些问题:
1. 比如我们有5台服务器,开始确认有一台用于做分配器的工作(同时也做正常处理数据的工作),这台分配器上就要负责对其他4台服务器状态的维护,当发现有其他的服务器不响应的时候,即改变分配的原则,但这样势必要经常轮询其他服务器,是否会造成网络负担?
2. 假如现在这台分配器挂了,其他4台服务器应该有一台服务器会继续担负起分配器的工作,如何实现这种功能?
3. 数据分配的原则,因为这些数据的ID是动态进行变化的,即假定这次分配好了某台服务器处理某些ID的数据,但下次就要重要进行分配,而分配器就要额外连接数据库却获取每次要分配的数据情况,在数据量非常大,而有些任务又间隔比较短的情况下,这样做确实不是好方法。
以上就是我分析出来的问题,思索、查询良久,还没有想到如何去解决。不知道在这方面的集群有没有比较成熟的解决方案或者框架?请大家看看有什么好方法来解决这方面的问题?非常感谢。
分享到:
相关推荐
从文件读取数据到员工对象中,并对员工对象属性比较和修改: 在文件emp.txt中存有雇员信息,分别有字段emp_id(编号),emp_name(姓名),job(工作),salary(薪资)将雇员信息从文件中读出,放入雇员类Emp的实例中,并遍历...
用eclipse插件制作的java计算器,基本功能都能实现,含jar,适合java初学者,需改进处求教
刚学java做的一个通过注册表修改ie默认主页,不过会被杀毒拦截,怎么过杀毒拦截,求教
这是我辛辛苦苦整理出来的java词汇表啊,大家可以参考一下哦,么么哒,新手求教了
求教模糊Ts辨识里对于系统结构辨识的确定和归一化数据-一些文献.rar 是不是只有试验法呢,根据局部动态特性,估计大致的系统阶数,然后确定,输入输出的阶数??还是用什么工具箱,我看到有些文献说,用穷尽式搜索...
小弟虚心求教,大神勿喷请多多指点赐教; 1通过onChooseAvatar绑定button事件点击获取头像返回临时头像链接; 1.1分别定义了全局和缓存了头像临时Url(因为毕竟是临时链接,后续可以传服务器生成永久链接,这样就...
公式求教共4页.pdf.zip
S函数最大功率跟踪采用的是三次插值方法求教指出错误-mppt.mdl 这是仿真模型和错误原因图 附件: sfun_mppt.m S函数程序 mppt.mdl 插值仿真模型 错误.jpg ...
S函数最大功率跟踪采用的是三次插值方法求教指出错误-sfun_mppt.m 这是仿真模型和错误原因图 附件: sfun_mppt.m S函数程序 mppt.mdl 插值仿真模型 错误....
0/ Excel数据处理新利器来了,准备好了吗?1/ 比网红函数VLOOKUP还全面的功能。——查(查询)2/ 取其精华,去其糟粕。——筛(筛选)3/ 拆分就像同学会,拆散一对是一对。——拆(拆分)4/ 天下大势,合久必分,分...
请高手破解注册码,软件没有加壳,所有请告诉把注册码搞出来
PHP推广链接的修改,求教 这两个文件可以随时互换的,只是推广链接的形式不同;
新手求教MATLAB中遗传算法的指导论文需要急求-单交叉口交通多目标控制方法.pdf 我的论文跟附件中的文章类似,但编程不大懂,希望各位大神帮忙看看指导一下
求教一道关于求解最优化问题的编程问题~
PCB导出Gerber报错,求教 Failed to Match Shape-源文件.zip
求教电力系统仿真-039THDAT.DAT 小弟要做毕业设计,才对matlab入门。现在要用matlab仿真一个39-bus的电力系统在一个故障(如其中一条母线三相短路)清除后的一小段时间,各种发电机的功角特性图,请大神告知详细...
求教类似SUMIF;COUNTIF的条件函数的写法???
关于滚动条 重绘 和 擦除的问题 急急急 求教