Mesos资源调度器的实现分析
<h3>1 mesos DRF介绍</h3> <p>mesos调度器是根据DRF(dominant resource fairness)算法实现的。DRF算法背后的直观想法是在多资源类型的环境下,一个用户的资源分配应该由用户的dominant share(主导份额的资源)决定,dominant share是在所有已经分配给用户的多种资源中,占据最大份额的一种资源。</p> <p>mesos使用resource offers的方式实现各个框架之间的资源分配。Resource offer是多个slave节点上的一组空闲资源。Master根据调度策略来决定提供多少资源给每一个framework,通过以Resource offer的形式发送给发送给框架,然后框架响应Resource offer,确认Resource offer中已使用的资源和返回剩余的空闲资源。</p> <p>mesos的资源分配器是一个分层的加权max-min fairness的实现。通过抽象了一个role概念,将framework按照role进行分组。那么资源分配就可以分为两层:首先是在各个框架群组间通过加权的DRF算法进行排序;其次在框架群组内部,对各个framework使用加权DRF算法进行排序。然后按照最终的排序结果,从小到大对各个框架进行Resource Offer。如下图所示。</p> <p><a href=