写在前面

本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系

解答

1.实时业务受限
资源调度是为了提高资源利用率,分配本身是存在一定的开销的,对实时性要求非常高的应用不适合(毫秒、秒级别的应用) 

2.应用(框架)资源规划难
资源框架通过算法分配资源,但是每个细粒度的具体的任务对资源的需求很难预估。规划如果偏差较大,反而会降低系统本身的性能。

3.内存使用分配难
JVM虚拟机存在内存回收的问题,上层应用程序无法控制。内存很难分配准确,如果内存分配过少,则会导致任务失败;分配过多,则会造成资源浪费。

Q.E.D.


大数据开发工程师,精通 Spark,擅长 Java 和 Scala