mesos

Can only connect to Mesos from Spark on the same machine

谁说胖子不能爱 提交于 2020-01-03 17:24:06
问题 I am trying to running Spark on a Mesos cluster. When I run ./bin/spark-shell --master mesos://host:5050 from the machine where I run the Mesos master everything works. However if I run the same command from a different machine, process ends up hanging after trying to connect: I0825 07:30:10.184141 27380 sched.cpp:126] Version: 0.19.0 I0825 07:30:10.187476 27385 sched.cpp:222] New master detected at master@192.168.0.241:5050 I0825 07:30:10.187619 27385 sched.cpp:230] No credentials provided.

Why does submitting a Spark application to Mesos fail with “Could not parse Master URL: 'mesos://localhost:5050'”?

帅比萌擦擦* 提交于 2020-01-03 16:53:17
问题 I'm getting the following exception when I'm trying to submit a Spark application to a Mesos cluster: 17/01/31 17:04:21 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 17/01/31 17:04:22 ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Could not parse Master URL: 'mesos://localhost:5050' at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler

Mesos cannot deploy container from private Docker registry

亡梦爱人 提交于 2020-01-02 16:19:14
问题 I have a private Docker registry that is accessible at https://docker.somedomain.com (over standard port 443 not 5000). My infrastructure includes a set up of Mesosphere, which have docker containerizer enabled. I'm am trying to deploy a specific container to a Mesos slave via Marathon; however, this always fails with Mesos failing the task almost immediately with no data in stderr and stdout of that sandbox. I tried deploying from an image from the standard Docker Registry and it appears to

Mesos vs OpenStack,谁才是私有云的未来?

放肆的年华 提交于 2019-12-30 04:20:27
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 本文是 Quora 上的一个问题,提问者对于私有云未来的发展趋势感到疑 惑,Mesos和OpenStack的关系是怎样的,它们之间是否可以相互替代?来自Mesosphere以及Rackspace的专家们从 OpenStack与Mesos的功能和产品定位上对这个问题进行了解读,它们之间的关系并非互相替代,而是各有侧重,相辅相成,这取决于用户的实际需 求。希望本文内容可以帮助读者对私有云领域的开源产品和相关概念有更好的了解。 Quora上的问题 私有云的未来的发展趋势是什么,是Mesos?还是OpenStack? 在私有云方面,Mesos和Docker二者似乎是一个完美的结,Google一直致力于这方面的研究,我很好奇私有云的未来会是怎样的,大家怎样认为的? 回答者:Lukas Löschea(在Mesosphere工作,之前在工作中曾使用OpenStack) Mesosphere和Openstack解决的是完全不同的问题。实际上,它们是可以在一起协同工作的。用户完全可以在OpenStack的集群上面运行Mesos,这样做可以带来很多额外的好处,比如提高系统的利用率和容错性。 我发现OpenStack的初始配置工作比Mesos要困难许多,但是对于OpenStack系统的整体理解要容易许多,因为OpenStack

Mesos框架对比:Marathon 和 Aurora

99封情书 提交于 2019-12-30 04:16:04
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Marathon 和 Aurora 都能在 Mesos 集群上调度和运行常驻服务。本文比较了两个框架的不同和优劣。 问题 Marathon 框架和 Aurora 框架都能在 Mesos 集群上调度和运行常驻服务。我的问题是: 两个框架有哪些不同?我费了半天劲,也没有找到能够很好地解释二者的关键区别的资料。 任何程序或代码,只要能在 Linux 系统上正常地运行,就能被这些框架调度和运行,这么说对吗? Marathon 的开发者说 Marathon 能够运行“可在 shell 中执行”的任何程序或代码。不过,这话有点空洞,让人琢磨不透,:) 第 1 个解答 声明:我是 Apache Aurora 的副总裁,担任 Twitter 公司 Aurora 团队的技术负责人也差不多五年了。我的观点或许有片面之处,纯属个人观点,与 Twitter 公司或者 Apache 基金会无关。 任何程序或代码,只要能在 Linux 系统上正常地运行,就能被这些框架调度和运行,这么说对吗? Marathon 的开发者说 Marathon 能够运行“可在 shell 中执行”的任何程序或代码。不过,这话有点空洞,让人琢磨不透,:) 完全正确。 Marathon 和 Aurora 框架的本质就是调度集群的资源,执行用户提交的 Shell

使用Apache Mesos和Consul实现服务的注册发现

只谈情不闲聊 提交于 2019-12-29 01:43:33
为保证基于Docker应用程序和服务都具有高性能和可用性,设计出一种具有服务发现,高可用性和容错能力的解决方案非常重要。   我们使用 Apache Mesos 和 Mesosphere的 Marathon实现Docker的任务调度和应用部署,Mesos能够帮助完成高可用性 高容错性。   作为服务编排注册和发现, Consul 不仅能够作为一个key/value存储,而且能够支持错误侦测以及多数据中心支持。   注册定义是当有Docker容器启动或停止时,其他Docker容器应该能获知,使用 Apache Consul 实现注册或注销Docker容器的微服务名称以及发布端口。 Consul-template 是一个独立的应用,能够查询Consul并且更新文件系统上的一个文件模板,正如你看到一样,使用Consul/Consul-template实现注册的捆绑能够帮助完成动态服务的注册和发现,以及配置文件的更新,我们可以使用这些工具与Haproxy联合一起为所有服务请求提供一个通用的代理网关。 安装步骤   假设 Consul为3个或5个服务器集群工作,每个服务器节点包括所有mesos 主从服务器和haproxy等都必须有一个Consul代理网关安装和运行。   安装Consul 服务器和代理节点的步骤: wget https://dl.bintray.com/mitchellh

基于Docker搭建单机版Mesos/Marathon

守給你的承諾、 提交于 2019-12-28 05:26:51
摘要: 本文介绍了基于Docker搭建单机版Mesos/Marathon的方法,Mesos/Marathon的所有组件均运行于单个容器中。 GitHub地址: kiwenlau/single-mesos-docker 一. 简介 Mesos 是集群资源管理系统, Marathon 是运行在Mesos之上的集群计算架构。将Mesos和Marathon打包到 Docker 镜像中,开发者便可以在本机上快速搭建Mesos/Marathon集群,进行学习和测试。 kiwenlau/single-mesos镜像非常简单。Docker容器运行在Ubuntu主机之上,Mesos和Marathon运行在该容器之中。具体来讲,Docker容器中运行了一个Mesos Master和一个Mesos Slave,以及Marathon和 ZooKeeper 。集群架构如下图: 二. 搭建Mesos/Marathon集群 下载Docker镜像: sudo docker pull kiwenlau/single-mesos:3.0 运行Docker容器: sudo docker run -p 5050:5050 -p 8080:8080 --name mesos -it -w /root kiwenlau/single-mesos:3.0 docker run命令运行成功后即进入容器内部,以下为输出:

Enable GPU resources (CUDA) on DC/OS

99封情书 提交于 2019-12-25 14:12:37
问题 I have got a cluster with gpu nodes (nvidia) and deployed DC/OS 1.8. I'd like to enable to schedule jobs (batch and spark) on gpu nodes using gpu isolation. DC/OS is based on mesos 1.0.1 that supports gpu isolation. 回答1: Unfortunately, DC/OS doesn't officially support GPUs in 1.8 ( experimental support for GPUs will be coming in the next release as mentioned here: https://github.com/dcos/dcos/pull/766 ). In this next release, only Marathon will officially be able to launch GPU services

Enable GPU resources (CUDA) on DC/OS

生来就可爱ヽ(ⅴ<●) 提交于 2019-12-25 14:12:12
问题 I have got a cluster with gpu nodes (nvidia) and deployed DC/OS 1.8. I'd like to enable to schedule jobs (batch and spark) on gpu nodes using gpu isolation. DC/OS is based on mesos 1.0.1 that supports gpu isolation. 回答1: Unfortunately, DC/OS doesn't officially support GPUs in 1.8 ( experimental support for GPUs will be coming in the next release as mentioned here: https://github.com/dcos/dcos/pull/766 ). In this next release, only Marathon will officially be able to launch GPU services

Docker volume plugin marathon

允我心安 提交于 2019-12-25 06:56:41
问题 Docker Volume plugins are released with Docker 1.8. I am trying to run a Docker container using Mesos/Marathon and I am able to run Docker container with volumes. What I am not able to do is connecting an external volume plugin. As per marathon documentation any external parameter for Docker run can be passed as key value pair in the "parameter" tag of Marathon API POST. The Docker container does come up but is not connecting to my plugin for volume. The JSON file is as below. I am using curl