配置优化
Tez优化机制
YARN当前存在的问题
每个作业启用一个Application-Master,应用程序延迟较大,即每个应用程序要申请资源启动AppMaster后,才可以启动任务
资源无法重用。MRAppMaster总是为未运行的任务申请新的资源。
Tez引入的优化技术
ApplicationMaster缓冲池
作业提交到AMPoolServer上,预启动若干个ApplicationMaster,形成缓冲池
预先启动Container
ApplicatoinMaster启动时可预先启动若干个Container
Container重用
一个任务运行完成后,ApplicationMaster不会马上注销它使用的Container,而是将它分配给其他任务










网友评论