9t

进击的 Kubernetes 调度系统(二):支持批任务的 Coscheduling/Gang scheduling

ⅰ亾dé卋堺 提交于 2020-10-07 03:25:14
作者 | 王庆璨(阿里云技术专家)、张凯(阿里云高级技术专家) **导读:**阿里云容器服务团队结合多年 Kubernetes 产品与客户支持经验,对 Kube-scheduler 进行了大量优化和扩展,逐步使其在不同场景下依然能稳定、高效地调度各种类型的复杂工作负载。《进击的 Kubernetes 调度系统》系列文章将把我们的经验、技术思考和实现细节全面地展现给 Kubernetes 用户和开发者,期望帮助大家更好地了解 Kubernetes 调度系统的强大能力和未来发展方向。本文为该系列文章的第二篇。 前言 什么是 Coscheduling 和 Gang scheduling。Wikipedia 对 Coscheduling 的定义是“在并发系统中将多个相关联的进程调度到不同处理器上同时运行的策略”。在 Coscheduling 的场景中,最主要的原则是保证所有相关联的进程能够同时启动。防止部分进程的异常,导致整个关联进程组的阻塞。这种导致阻塞的部分异常进程,称之为“碎片(fragement)”。 在 Coscheduling 的具体实现过程中,根据是否允许“碎片”存在,可以细分为 Explicit Coscheduling,Local Coscheduling 和 Implicit Coscheduling。 其中 Explicit Coscheduling 就是大家常听到的

时间格式2020-09-29T18:02:02.000Z转换为“年月日时分秒“

拟墨画扇 提交于 2020-10-04 09:45:49
遇到一个需求: 选择时间后打印出来是 “2020-09-29T18:02:02.000Z” 格式的,后台需要转换为 “2020-09-30 02:02:02”格式。 一、2020-09-29T18:02:02.000Z T表示分隔符,Z表示的是UTC。 UTC:世界标准时间,在世界标准时间上加上8小时,即东八区时间,也就是北京时间。 二、 2020-09-29T18:02:02.000Z转换为 2020-09-30 02:02:02 步骤: ①.引入 dayjs (一个轻量的处理时间和日期的javascript库) 下载 npm install dayjs --save main.js 中 全局引入 import dayjs from ‘dayjs’ Vue.prototype.dayjs = dayjs; ②.时间转换函数 // 时间 aaa ( ) { let time = '2020-09-29T18:02:02.000Z' time = this . formateDate ( time ) ; console . log ( form ) ; // 2020-09-30 2:2:2 } , // 时间格式转换 formateDate ( time ) { // 使用dayjs 把世界标准时间转换为北京时间 let date = this . dayjs ( time )

Python杀死了Excel|自动更新表格,告别繁琐

不羁的心 提交于 2020-08-13 08:15:32
大家好,又到了Python办公自动化专题。 今天我们讲解的案例是如何使用Python自动更新Excel表格,简单来说就是 每天都会对Excel中多个sheet进行更新,需要操作完后可以用程序完成第一张sheet 汇总表的更新 ,大概就是这样👇 当然实现这一功能可以使用VBA或者Excel中的其他操作,但是查了相关操作略显复杂,现在我们使用Python来完成,主要涉及以下操作: os、glob 模块处理文件 Pandas 处理多个表格 openpyxl 调整Excel样式 创建多个随机数据 为了尽可能模拟读者的生产环境多了这一步。首先我们先用Python来创建一些随机数据, 数据已经充分则可以跳到下一步骤 。 我们需要把这个excel文件命名好放在桌面的data文件夹中 from openpyxl import load_workbook import os import glob import random def GetDesktopPath(): return os.path.join(os.path.expanduser("~"), 'Desktop') # 调用glob可以利用通配符获取指定命名格式的文件 path = glob.glob(f'{GetDesktopPath()}/data/*.xls*')[0] workbook = load_workbook

centos7下安装MySQL 5.7.26 二进制版本(免安装绿色版)

邮差的信 提交于 2020-08-11 05:49:02
MySQL 5.7.26 二进制版本安装(免安装绿色版) 下载地址 https://downloads.mysql.com/archives/community/ https://cdn.mysql.com/archives/mysql-5.7/mysql-5.7.26-linux-glibc2.12-x86_64.tar.gz PS:下载一些国外站点软件,用迅雷还是比较管用 下载并上传软件至 /opt/software [root@mysql01 ~]# mkdir -p /opt/software [root@mysql01 ~]# cd /opt/software/ [root@mysql01 software]# yum install -y lrzsz # 文件拖拽软件 [root@mysql01 software]# rz -E rz waiting to receive. [root@mysql01 software]# ll 总用量 629756 -rw-r--r-- 1 root root 644869837 4 月 18 23:48 mysql-5.7.26-linux-glibc2.12-x86_64.tar.gz 解压软件 [root@mysql01 software]# tar -xvf mysql-5.7.29-linux-glibc2.12-x86

win10安装mysql-8.0.20.zip

≡放荡痞女 提交于 2020-08-07 08:32:00
1、添加配置文件my.cnf [client] port=3306 default-character-set=utf8mb4 socket=D:\\mysql\\server\\mysql-8.0.20-winx64\\tmp\\mysql.sock [mysqld] port=3306 socket=D:\\mysql\\server\\mysql-8.0.20-winx64\\tmp\\mysql.sock # 设置mysql的安装目录 basedir=D:\\mysql\\server\\mysql-8.0.20-winx64 # 设置mysql数据库的数据的存放目录 datadir=D:\\mysql\\server\\datadir # 允许最大连接数 max_connections=200 # 允许连接失败的次数。这是为了防止有人从该主机试图攻击数据库系统 max_connect_errors=10 # 服务端使用的字符集默认为UTF8 character-set-server=utf8mb4 collation-server=utf8mb4_unicode_ci # 创建新表时将使用的默认存储引擎 default-storage-engine=INNODB key_buffer_size=16M max_allowed_packet=128M [mysql] #

springboot中LocalDateTime格式化日期

∥☆過路亽.° 提交于 2020-08-07 07:09:16
很多时候日期格式输出是这样的 2018-10-09T17:39:07.097 中间有个T,尴尬,是的我们需要去掉这个T 这方法是springboot封装好了的,我们直接使用即可,普通的配置我就不贴了 教程 一、全局配置模式 创建日期config类 @Configuration public class LocalDateTimeSerializerConfig { @org.springframework.beans.factory.annotation.Value("${spring.jackson.date-format:yyyy-MM-dd HH:mm:ss}") private String pattern; @Bean public LocalDateTimeSerializer localDateTimeDeserializer() { return new LocalDateTimeSerializer(DateTimeFormatter.ofPattern(pattern)); } @Bean public Jackson2ObjectMapperBuilderCustomizer jackson2ObjectMapperBuilderCustomizer() { return builder -> builder.serializerByType

WPS企业版序列号

本小妞迷上赌 提交于 2020-08-06 08:03:21
终身授权: 694BF-YUDBG-EAR69-BPRGB-ATQXH 其他(未验证是否永久): 某政府版激活码:THUV2-32HH7-6NMHN-PTX7Y-QQCTH 某人社局激活码:R7AKQ-KLBXV-RNX3F-BPACQ-NQDGE 企业版序列号1:R8R8P-MTT6F-KLRPM-J7CAB-PJM8C 企业版序列号2:A4XV7-QP9JN-E7FCB-VQFRD-4NLKC 企业版序列号3:694BF-YUDBG-EAR69-BPRGB-ATQXH 企业版序列号4:7LR67-WTXPA-KLUHV-GEK2E-QW4CK 企业版序列号5:EUYTH-3KWKL-PJMX7-XBCPW-9U2DD 企业版序列号6:U2PWU-H7D9H-69T3B-JEYC2-3R2NG 企业版序列号7:7G2HE-JR8KL-ABB9D-Y7789-GLNFL 企业版序列号8:9DP6T-9AGWG-KWV33-9MPC8-JDCVF 来源: oschina 链接: https://my.oschina.net/u/4353573/blog/4278165

记录filebeat 收集nginx 的json格式直接送入ES问题 Cannot index event publisher.Event

这一生的挚爱 提交于 2020-08-04 19:57:48
1、问题现象 原来的nginx日志格式为 47.106.166.195 - - [05/May/2020:19:21:55 +0800] "GET /Login/index.html HTTP/2.0" 200 3500 "https://newds.sxms.com" "Chrome/57" 47.103.76.244 - - [05/May/2020:19:22:05 +0800] "GET / HTTP/2.0" 302 20 "-" "Chrome/57" 47.103.76.244 - - [05/May/2020:19:22:05 +0800] "GET /Login/index.html HTTP/2.0" 200 3498 "https://newds.ssms.com" "Chrome/57" 调整nginx配置 添加格式JSON 到http段 log_format main '{"@timestamp":"$time_iso8601",' '"host":"$hostname",' '"server_ip":"$server_addr",' '"client_ip":"$remote_addr",' '"xff":"$http_x_forwarded_for",' '"domain":"$host",' '"url":"$uri",' '"referer":"

关于接口设计的一些反思

淺唱寂寞╮ 提交于 2020-08-04 09:11:01
许久没有产出了,今天看了掘金上的一篇关于接口设计的文章,因此有感谈谈自己在项目开发中与后的一些想法和反思。 参考: 一篇来自前端同学对后端接口的吐槽 以使用者的视角开发接口 对于RESTful风格的前后端分离式开发,接口的设计应该从何种视角出发呢?一般情况下,后端开发人员(我)的想法是: 想要实现这个功能,我需要返回哪些数据? 我要怎样划分不同的API? 当两个接口返回的数据有重复的部分时,我是否需要做一些复用? ... 在这种视角下,我开发出的接口虽然实现了项目的需求,但是却可能与其在前端的易用性产生割裂。 一个例子 在我之前独立开发的一个数据可视化系统中,存在着这样一个功能: 该项目的数据存在四种层级:team、group、branch、total,这四个层级的数据项都是一样的,现在需要提供接口分别返回这四个层级的数据。 实际开发中,数据库中存在着四张数据表,而我不想使用MyBatis的 ${} 以字符串拼接的形式来生成SQL,于是我写了四个逻辑几乎完全相同的Service类,最终反映到Controller上,就是每个层级的数据都有一个API去获取数据。当然,后端这里应该有更好的处理方式,不过暂且按下不表。当我终于大致完成后端的接口设计,转而开发前端时,才发现我接口设计的不合理之处。首先,前端要配置多个axios,其次,发送请求时,前端需要编写多余的代码去选择要调用哪个API

lopatkin俄大神精简Windows 10 Enterprise 19041.331 20H1 Release x86-x64 EN-RU PIP

蹲街弑〆低调 提交于 2020-07-27 13:30:59
Microsoft Windows 10 Enterprise 19041.331 20H1 Release x86-x64 EN-RU PIP 生产年份:2020 版本:Windows 10 Enterprise 19041.331 20H1 Release 平台: x86-x64 系统要求:CPU-1 gz RAM-1-2 gb HD-4-6gb Video-c DirectX 9.0 Display-1024 x 768 语言:俄语,英语 原贴地址: http://emtrek.org/viewtopic.php?t=52439 下载地址: https://www.90pan.com/b1944674 密码:9tty 下载及安装教程: https://my.oschina.net/xiaogg/blog/3107397 CENA_X64FRE_EN-RU_PIP.iso CRC32: D2D73322 MD5: 960B1A5692941EBE1487D52782059894 SHA-1: B75083A7A6306AEC1BDAA92C0C311CC438EC2228 CENA_X86FRE_EN-RU_PIP.iso CRC32: 628AE0C7 MD5: 719EC0850E8E0D537419DA12B879277F SHA-1: