Minikube

使用KubeFATE在Kubernetes上部署联邦学习集群

时间秒杀一切 提交于 2020-08-10 13:20:28
*本文作者系VMware CTO办公室资深研究员彭麟 背景及KubeFATE架构 之前我们在文章《使用KubeFATE快速部署联邦学习实验开发环境(一)》、《使用KubeFATE快速部署联邦学习实验开发环境(二)》和《使用FATE进行图片识别的深度神经网络联邦学习》中介绍过如何使用KubeFATE部署一个基于Docker Compose的FATE联邦学习集群,以便于快速尝试体验联邦学习。但随着联邦学习的正式投入使用,训练集、模型都会逐渐变大。在生产环境里,我们会遇到以下问题: FATE集群如何适应企业组织内部各种安全、合规要求,以及网络、安全域等IT环境; 一台服务器已经无法支撑联邦学习的算力需求,如何部署多计算节点,并易于管理; 某些节点出现问题,是否有自愈能力,保证服务的可靠性; 能否实现横向扩展,适应业务的成长; FATE版本能否很好的升级管理; 一个组织内是否可以有不同的联邦集群,对应不同的业务、合作伙伴、应用场景需要,如何管理多个集群。 Kubernetes是目前最流行的基础设施平台,大量的实践证明,Kubernetes很适合作为企业内部运维大规模分布式系统的平台。根据Ovum的统计,截至2019年底,一半的大数据负载都运行在Kubrenetes之上。我们团队也推荐Kubernetes作为运行FATE联邦学习集群生产环境的平台

helm源码分析之pull

北城以北 提交于 2020-08-09 19:51:02
发布一个k8s部署视频:https://edu.csdn.net/course/detail/26967 课程内容:各种k8s部署方式。包括minikube部署,kubeadm部署,kubeasz部署,rancher部署,k3s部署。包括开发测试环境部署k8s,和生产环境部署k8s。 腾讯课堂连接地址https://ke.qq.com/course/478827?taid=4373109931462251&tuin=ba64518 第二个视频发布 https://edu.csdn.net/course/detail/27109 腾讯课堂连接地址https://ke.qq.com/course/484107?tuin=ba64518 介绍主要的k8s资源的使用配置和命令。包括configmap,pod,service,replicaset,namespace,deployment,daemonset,ingress,pv,pvc,sc,role,rolebinding,clusterrole,clusterrolebinding,secret,serviceaccount,statefulset,job,cronjob,podDisruptionbudget,podSecurityPolicy,networkPolicy,resourceQuota,limitrange

mac上利用minikube搭建kubernetes(k8s)环境

浪子不回头ぞ 提交于 2020-08-04 10:04:32
友情提示:对于初次接触k8s的同学,强烈建议先看看本文最后的参考文章。 环境: mac os(Mojave) 前提:先安装好kubectl (brew install kubectl) 、 docker desktop (建议最新版本) 步骤: 一、安装VirtualBox 下载地址: https://www.virtualbox.org/ (目前最新版本: 6.0) 一路next就好,要 注意 的是:安装过程中,可能会弹出一个系统安全相关的对话框,一定要允许,并在Security&Privacy这里,把VirtualBox勾上 否则,折腾到最后,会发现minikube虚拟机无法启动。 二、安装阿里云版的minikube 官方出品的minikube,默认连接的是google官方站点,由于众所周知的原因,天朝屁民无缘访问。所以必须用阿里版的minikube(感谢阿里) curl -Lo minikube http://kubernetes.oss-cn-hangzhou.aliyuncs.com/minikube/releases/v1.1.1/minikube-darwin-amd64 && chmod +x minikube && sudo mv minikube /usr/local/bin/ 执行这一串后,就把minikube安装好了。  三、创建minikube集群

Spring Cloud: Kubernetes部署管理 (一)k8s基础

杀马特。学长 韩版系。学妹 提交于 2020-07-28 10:18:27
安装Kubernetes 安装kubectl https://kubernetes.io/docs/tasks/tools/install-kubectl/ 这里以linux为例 1. 下载最先版本 curl -LO https://storage.googleapis.com/kubernetes-release/release/ ` curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt ` /bin/linux/amd64/kubectl 2. 给可执行权限 chmod +x ./kubectl 3. 移动到bin中 sudo mv ./kubectl /usr/local/bin/kubectl 4. 检查是否安装成功 kubectl version --client 安装Minikube 为了方便大家学习,kubernetes提供了Minikube版本,可以在本地进行安装 https://kubernetes.io/docs/tasks/tools/install-minikube/ 按照官网指示安装: 1.下载独立的二进制文件并使用: curl -Lo minikube https://storage.googleapis.com/minikube/releases

容器化单页面应用中Nginx反向代理与Kubernetes部署

馋奶兔 提交于 2020-07-28 10:04:20
在《 容器化单页面应用中RESTful API的访问 》一文中,我介绍了一个在容器化环境中单页面应用访问后端服务的完整案例。这里我将继续使用这个案例,介绍一下容器化单页面应用部署的另一个场景:将Nginx的职责独立出来。 注:这里单页面应用是值一个包含前端页面、后端服务以及后台数据库的一个完整应用系统,这样符合微服务模式对于服务的定义。不过为了介绍简单,文章案例不使用后台数据库,而是将数据“写死”在后端服务中。 继续回顾一下上篇文章中的案例,我们有两个服务:前端单页面应用(client),以及后端基于ASP.NET Core Web API的RESTful服务(service),案例代码地址是:https://github.com/daxnet/name-list。在这个案例中,前端单页面应用运行在Nginx容器中,这里的Nginx同时还承担了反向代理的角色,用以将前端页面发出的RESTful API请求正确地转发到ASP.NET Core Web API上。 如果整个系统只有这一个单页面应用,那么这么做是简单且合理的;但如果一个系统包含多个单页面应用,或者说一个系统包含一个前端页面与多个后台服务,那么,将Nginx反向代理的职责加到这个前端页面的容器上,明显是不合理的。为什么不合理?因为一个系统有可能不仅仅有基于Web的UI,而且还有可能会有移动客户端

How to migrate kubeconfig on windows 10

馋奶兔 提交于 2020-07-16 05:57:51
问题 I have been trying to install minikube for two days now. I have run into issue after issue. This one has me stumped. install minikube on windows 10 Docker has been running with hyperv for months followed windows using choco ignoring everything with hyperv install. W0107 08:23:27.485052 3337 common.go:77] your configuration file uses a deprecated API spec: "kubeadm.k8s.io/v1beta1". Please use 'kubeadm config migrate --old-config old.yaml --new-config new.yaml', which will write the new,

Minikube services access local VPN

时光毁灭记忆、已成空白 提交于 2020-07-09 19:55:45
问题 How do I give my pod or minikube the ability to see the 10.x network my laptop is VPN'd onto? Setup: * minikube * php containers php code accesses a private repository, 10.x address. Things are find locally, but I cannot access this same 10.x address while in a pod. How can I give my pods/minikube access to my VPN route? my-pod-99dc9d9d4-6thdj# my-pod-99dc9d9d4-6thdj# wget https://private.network.host.com/ Connecting to private.network.host.com (10.x.x.x:443) ^C my-pod-99dc9d9d4-6thdj#

Run Spark example on Kubernetes failed

倖福魔咒の 提交于 2020-06-28 04:07:47
问题 My Mac OS/X Version : 10.15.3 Minikube Version: 1.9.2 I start the minikube use the following command without any extra configuration. minikube start --driver=virtualbox --image-repository='registry.cn-hangzhou.aliyuncs.com/google_containers' --cpus 4 --memory 4096 --alsologtostderr And I download spark-2.4.5-bin-hadoop2.7 from the Spark official website and build spark images by the following command eval $(minikube docker-env) ./bin/docker-image-tool.sh -m -t 2.4.5 build then I run Spark-pi

How to deploy a node.js with redis on kubernetes?

十年热恋 提交于 2020-06-25 18:01:38
问题 I have a very simple node.js application (HTTP service), which "talks" to redis. I want to create a deployment and run it with minikube. From my understanding, I need a kubernetes Pod for my app, based on the docker image. Here's my Dockerfile: FROM node:8.9.1 WORKDIR /usr/src/app COPY package*.json ./ RUN npm install COPY . . EXPOSE 8080 CMD ["npm", "start"] I build the docker image with docker build -t my-app . Next, I created a Pod definition for my app's Pod: apiVersion: v1 kind: Pod

how to run shell commands in wp-cli kubernetes job to configure wordpress container?

梦想与她 提交于 2020-06-17 09:44:29
问题 Job yaml file for the wp-cli commands in the wordpress helm chart folder: {{ if and .Release.IsInstall .Values.job.autoCreateCluster }} apiVersion: batch/v1 kind: Job metadata: name: "{{ .Release.Name }}" labels: app.kubernetes.io/managed-by: {{ .Release.Service | quote }} app.kubernetes.io/instance: {{ .Release.Name | quote }} app.kubernetes.io/version: {{ .Chart.AppVersion }} helm.sh/chart: "{{ .Chart.Name }}-{{ .Chart.Version }}" annotations: # This is what defines this resource as a hook.