严文龙来到龙心大厦,在第28楼遇见了赵海。
此时的赵海,站立在一处巨大的屏幕前,看着里面的数据分析窗口,一脸认真。在他身后,一群程序员围坐在各自电脑前,双手不断敲击着。
一个身穿西服但没有打领带的中年男子,从自己的笔记本电脑面前走开,来到赵海身后,问道:“赵总,贵司的大数据处理系统,Spark和Hadoop都已经测试了一轮,和我们一开始推荐的差不多。你现在有选择了吗?”
赵海回过头来,冲着该男子轻声说道:“先等等!”然后,快步迎向严文龙,把严文龙请到大屏幕前。
他对着严文龙说道:“这位是我们的供应商海潮软件的路总,你也听听,关于这两个软件的选型,我想听听你的意见。”
在赵海的示意下,路总开始介绍起来。他告诉二人,Spark的优点是内存计算,体现在它可以将RDD常驻内存,这样可以减少磁盘IO,这样处理速度更快,这个优点对于百万级的大数据处理是非常关键的。
但对比Hadoop,和Hadoop不同,执行时采用的是多线程模式,Hadoop是多进程,多线程模式会减少启动时间,但也带来了无法细粒度资源分配的