mesos

I have problem witch start redis server on one IP address in mesos, marathon. My steps create own Dockerfile who include own redis.conf I create my own docker image and pull it into docker repo (name arekmax/redis-instancje) in Marathon I start my docker images - redis start and work properly. Failover redis server in mesos also work properly - when I shut-down 192.168.18.21 server - Marathon start Redis in second or third instance. Now I want give my developer one adress IP where they can use redis server (I don't want give them now 192.168.18.21:31822 and after failover for example 192.168

【编者按】 持续集成的开发实践是目前的一个热门话题，在本文中，数人科技云平台负责人周伟涛解析其利用开源的Jenkins，Apache Mesos和Marathon搭建弹性的，高可用的持续集成环境的实践，详细介绍了 环境设置，在Marathon上部署Jenkins的master实例，配置Jenkins Master实现弹性伸缩，在内部的代码库或者 github 上创建一个 git repo，以及使用 marathon 部署可持久化的 Jenkins Master等步骤。 持续集成（CI）是一种软件开发实践，使用得当，它会极大的提高软件开发效率并保障软件开发质量；Jenkins是一个开源项目，它提供了一种易于使用的持续集成系统；Mesos是Apache下的一个开源的统一资源管理与调度平台，它被称为是分布式系统的内核；Marathon是注册到Apache Mesos上的管理长时应用（long-running applications）的Framework，如果把Mesos比作数据中心Kernel的话，那么Marathon就是init或者upstart的daemon。 本文旨在探讨如何利用Jenkins，Apache Mesos和Marathon搭建一套弹性的，高可用的持续集成环境。 为什么要把Jenkins运行到Apache Mesos上 把Jenkins运行到Apache Mesos上

<p>dominant resource fairness算法是Mesos的灵魂，不同于hadoop基于slot-based实现的fair scheduler和capacity scheduler，学习阅读了一下论文“Dominant Resource Fairness: Fair Allocation of Multiple Resource Types”，顺便简单地翻译了一下。以下是论文翻译地正文。</p> <p>------------------------------------------------------------------------------</p> <p>我们考虑在一个包括多种资源类型的系统的公平资源分配问题，其中不同用户对资源有不同的需求。为了解决这个问题，我们提出了Dominant Resource Fairness(DRF)，一种针对不同资源类型的max-min fairness。首先DRF激励用户去共享资源，如果资源是在用户之间被平均地切分，会保证没有用户会拿到更多资源。其次，DRF 是strategy-proof，用户不能通过欺骗来获取更多地资源分配。然后，RDF是envy-free（非嫉妒），没有一个用户会与其他用户交换资源分配。最后，RDF分配是Pareto efficient

Apache Mesos是一个集群管理器，可跨分布式应用程序或框架提供有效的资源隔离和共享。它位于应用程序层和操作系统之间，可以更加轻松地在大规模集群环境中更有效地部署和管理应用程序。它可以在动态共享节点池上运行许多应用程序 Apache Mesos将CPU，内存，存储和其他计算资源从机器（物理或虚拟）中抽象出来，使容错和弹性分布式系统能够轻松构建并有效运行。 环境准备 操作系统：CentOS-7-x86_64 内核版本：3.10.0-693.el7.x86_64 mesos的安装要求是内核版本须在3.10以上 uname -r //查看系统内核版本 关闭虚拟机防火墙 setenforce 0 systemctl stop firewalld.service 虚拟机分配 主机名 IP地址 安装软件 master1 172.16.10.28 jdk-8u144、marathon-1.4.6、mesos-1.6.1、zookeeper-3.4.12 master2 172.16.10.44 jdk-8u144、mesos-1.6.1、zookeeper-3.4.12 master3 172.16.10.45 jdk-8u144、mesos-1.6.1、zookeeper-3.4.12 slave1 172.16.10.46 jdk-8u144、mesos-1.6.1、docker

Apache Mesos是一个集群管理器，可跨分布式应用程序或框架提供有效的资源隔离和共享。它位于应用程序层和操作系统之间，可以更加轻松地在大规模集群环境中更有效地部署和管理应用程序。它可以在动态共享节点池上运行许多应用程序。Apache Mesos将CPU，内存，存储和其他计算资源从机器（物理或虚拟）中抽象出来，使容错和弹性分布式系统能够轻松构建并有效运行。 Apache Mwsos的特点是需要独立部署mesos-slave进程，依赖framework的功能，可以管理docker容器，但是成本相对较高，主要优势是稳定性具有保障。 Apache Mesos工作原理 Apache Mesos采用了Master/Slave结构来简化设计，将master做的尽可能轻量级，仅保存了各种计算机框架（framework）和mesos slave的状态信息，这些状态很容易在mesos出现故障时被重构。除此之外mesos还可以使用zookeeper解决master单点故障问题。 Mesos Master充当全局资源调度器角色，采用某种算法策略将某个slave上的空闲资源分配给某个framework，而各种framework则是通过自己的调度器项master注册进行连接。mesos slave则是收集任务状态和启动各个framework的executor，工作原理如下图 基本术语解释 Mesos

概述 Apache Mesos是一款基于多资源（内存、磁盘、CPU、端口等）调度的开源集群管理套件，能使容错和分布式系统更加容易。 工作原理 Apache Mesos采用了Master/Slave结构来简化设计，将Master做得尽可能轻量级，仅保存了各种计算框架（Framework）和Mesos Slave的状态信息，这些状态很容易在Mesos出现故障的时候被重构，除此之外Mesos还可以使用Zookeeper解决Master单点故障问题。 Mesos Master充当全局资源调度器角色，采用某种策略算法将某个Slave上的 空闲资源分配给某个Framework，而各种Framework则是通过自己的调度器向Master注册进行接入。Mesos Master则是收集任务状态和启动各个Framework的Executor。工作原理如图所示： Apache Mesos基本术语 Mesos master：负责管理各个Framework和Slave，并将Slave上的资源分配给各个Framework。 Mesos Slave：负责管理本节点上的各个Mesos Task，为各个Executor分配资源。 Framework：计算框架，如：Hadoop、Spark等，可以通过MesosSchedulerDiver接入。 Executor：执行器，在Master Slave上安装