crush

Ceph 基础知识和基础架构认识

匿名 (未验证) 提交于 2019-12-03 00:40:02
Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统,根据场景划分可以将Ceph分为三大块,分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里,比较常用到的是Ceph的块设备存储,比如在OpenStack项目里,Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储,比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。 Ceph相比其它存储的优势点在于它不单单是存储,同时还充分利用了存储节点上的计算能力,在存储每一个数据时,都会通过计算得出该数据存储的位置,尽量将数据分布均衡,同时由于Ceph的良好设计,采用了CRUSH算法、HASH环等方法,使得它不存在传统的单点故障的问题,且随着规模的扩大性能并不会受到影响。 Ceph的核心组件包括Ceph OSD、Ceph Monitor和Ceph MDS。 Ceph OSD:OSD的英文全称是Object Storage Device,它的主要功能是存储数据、复制数据、平衡数据、恢复数据等,与其它OSD间进行心跳检查等,并将一些变化情况上报给Ceph Monitor。一般情况下一块硬盘对应一个OSD,由OSD来对硬盘存储进行管理,当然一个分区也可以成为一个OSD。 Ceph OSD的架构实现由物理磁盘驱动器、Linux文件系统和Ceph

Ceph基础知识和基础架构认识

匿名 (未验证) 提交于 2019-12-02 23:57:01
作者: luohaixian 原文: Ceph基础知识和基础架构认识 1 Ceph基础介绍 Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统,根据场景划分可以将Ceph分为三大块,分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里,比较常用到的是Ceph的块设备存储,比如在OpenStack项目里,Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储,比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。 Ceph相比其它存储的优势点在于它不单单是存储,同时还充分利用了存储节点上的计算能力,在存储每一个数据时,都会通过计算得出该数据存储的位置,尽量将数据分布均衡,同时由于Ceph的良好设计,采用了CRUSH算法、HASH环等方法,使得它不存在传统的单点故障的问题,且随着规模的扩大性能并不会受到影响。 2 Ceph的核心组件 Ceph的核心组件包括Ceph OSD、Ceph Monitor和Ceph MDS。 Ceph OSD:OSD的英文全称是Object Storage Device,它的主要功能是存储数据、复制数据、平衡数据、恢复数据等,与其它OSD间进行心跳检查等,并将一些变化情况上报给Ceph Monitor。一般情况下一块硬盘对应一个OSD,由OSD来对硬盘存储进行管理

LeetCode 723. Candy Crush

匿名 (未验证) 提交于 2019-12-02 23:55:01
原题链接在这里: https://leetcode.com/problems/candy-crush/ 题目: This question is about implementing a basic elimination algorithm for Candy Crush. board board[i][j] board[i][j] = 0 (i, j) stable state If three or more candies of the same type are adjacent vertically or horizontally, "crush" them all at the same time - these positions become empty. After crushing all candies simultaneously, if an empty space on the board has candies on top of itself, then these candies will drop until they hit a candy or bottom at the same time. (No new candies will drop outside the top boundary.) After the above steps

Crush Course 统计学笔记

不问归期 提交于 2019-12-02 11:56:42
Crush Course 统计学 Ref : 十分钟速成课:统计学 1 - 什么是统计学 女士品茶:1920年左右剑桥英式下午茶时间一位女士认为牛奶先加或后加将影响茶的口感,因此将八杯茶打乱以区分口感,但为区分胡猜和舌头灵的界限,Fisher提出实验设计法使统计学严谨起来。 统计学领域:收集和分析数据的实践活动 统计学:数据的总合(summaries) 代理变量(Proxy):与所求结果相关但并非其自身 描述(Descriptive)统计学:研究数据中心位置(集中趋势的度量 即数据分布特征的度量)。压缩总结大量非直观数据以得出有用信息 推断(Inferential)统计:超出当前数据的推断,如简单抽样。不同问题有不同评判标准,亦有不同实验方法,具有 不确定性 ,是否信服取决于主观意见 2 -- 数理思维 数理思维以不同的方式观察世界,进行超越本能和直觉的思考 科学计数法便于表示大数,但不利于大数理解: 方式一:由小及大,从1想象到1,000,000,000 方式二:带入语境,均分到每个人 方式三:转换单位成熟悉的度量方式 方式四:找参照物,以物体替代,比如一百万人能装下几个足球场 大数定律:群体或样本足够大时,小概率事件完全可能发生 应用:7.6亿人则罕见疾病便会出现,或出现连续两期彩票号码相同 极小数概率:不以物喜不以己悲,在不必要事情上节约时间,如中大乐透最终大奖概率3

Hydraulic Cone Crusher Price|Cone Crusher For Sale

戏子无情 提交于 2019-12-02 08:37:20
Cone crusher is widely used for the crushing of hard materials, such as granite, basalt, cobble, steel slag, etc. With the hot sale of hydraulic cone crusher, many customers began to pay attention to cone crusher. Undoubtedly, the price of hydraulic cone crusher is concerned by the customers. How much is a cone crusher? The price of hydraulic cone crusher relates to many factors, the crusher quality, crusher manufacturer, the process rock and so on. Crusher quality: high quality crusher mahicne is well-made, from crusher design to manufacture, a large amount of human resource is invested. As

替换OSD操作的优化与分析

萝らか妹 提交于 2019-11-28 21:51:34
http://www.zphj1987.com/2016/09/19/%E6%9B%BF%E6%8D%A2OSD%E6%93%8D%E4%BD%9C%E7%9A%84%E4%BC%98%E5%8C%96%E4%B8%8E%E5%88%86%E6%9E%90/ 前言 之前有写过一篇 删除OSD的正确方式 ,里面只是简单的讲了下删除的方式怎样能减少迁移量,本篇属于一个扩展,讲述了 Ceph 运维当中经常出现的坏盘提换盘的步骤的优化 基础环境两台主机每台主机8个 OSD,一共 16 个 OSD,副本设置为2,PG 数设置为800,计算下来平均每个 OSD 上的 P G数目为100个,本篇将通过数据来分析不同的处理方法的差别 开始测试前先把环境设置为 noout ,然后通过停止 OSD 来模拟 OSD 出现了异常,之后进行不同处理方法 测试三种方法 首先 out 一个 OSD,然后剔除 OSD,然后增加 OSD 停止指定 OSD 进程 out 指定 OSD crush remove 指定 OSD 增加一个新的 OSD 一般生产环境会设置为 noout ,当然不设置也可以,那就交给程序去控制节点的 out,默认是在进程停止后的五分钟,总之这个地方如果有 out 触发,不管是人为触发,还是自动触发数据流是一定的,我们这里为了便于测试,使用的是人为触发,上面提到的预制环境就是设置的 noout

LeetCode 723. Candy Crush

心已入冬 提交于 2019-11-28 19:00:03
原题链接在这里: https://leetcode.com/problems/candy-crush/ 题目: This question is about implementing a basic elimination algorithm for Candy Crush. Given a 2D integer array board representing the grid of candy, different positive integers board[i][j] represent different types of candies. A value of board[i][j] = 0 represents that the cell at position (i, j) is empty. The given board represents the state of the game following the player's move. Now, you need to restore the board to a stable state by crushing candies according to the following rules: If three or more candies of the same type are adjacent

ceph分布式存储介绍

大城市里の小女人 提交于 2019-11-27 00:17:17
一、Ceph简介: Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph 的统一体现在可以提供文件系统、块存储和对象存储,分布式体现在可以动态扩展。在国内一些公司的云环境中,通常会采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。 Ceph项目最早起源于Sage就读博士期间的工作(最早的成果于2004年发表),并随后贡献给开源社区。在经过了数年的发展之后,目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。 官网:https://ceph.com/ 官方文档:http://docs.ceph.com/docs/master/# 二、Ceph特点: 高性能: a. 摒弃了传统的集中式存储元数据寻址的方案,采用CRUSH算法,数据分布均衡, 并行度高。 b.考虑了容灾域的隔离,能够实现各类负载的副本放置规则,例如跨机房、机架 感知等。 c. 能够支持上千个存储节点的规模,支持TB到PB级的数据。 高可用性: a. 副本数可以灵活控制。 b. 支持故障域分隔,数据强一致性。 c. 多种故障场景自动进行修复自愈。 d. 没有单点故障,自动管理。 高可扩展性: a. 去中心化。 b. 扩展灵活。 c. 随着节点增加而线性增长。 特性丰富: a. 支持三种存储接口

ceph更换磁盘

痞子三分冷 提交于 2019-11-27 00:15:59
正常状态: 故障状态: 实施更换步骤: (1)关闭ceph集群数据迁移: osd硬盘故障,状态变为down。在经过mod osd down out interval 设定的时间间隔后,ceph将其标记为out,并开始进行数据迁移恢复。为了降低ceph进行数据恢复或scrub等操作对性能的影响,可以先将其暂时关闭,待硬盘更换完成且osd恢复后再开启: for i in noout nobackfill norecover noscrub nodeep-scrub;do ceph osd set $i;done (2)定位故障osd ceph osd tree | grep -i down (3)进入osd故障的节点,卸载osd挂载目录 [root@node3 ~]# umount /var/lib/ceph/osd/ceph-5 (4)从crush map 中移除osd [root@node1 ~]# ceph osd crush remove osd.5 removed item id 5 name 'osd.5' from crush map (5)删除故障osd的密钥 [root@node1 ~]# ceph auth del osd.5 updated (6)删除故障osd [root@node1 ~]# ceph osd rm 5 removed osd.5 ( 7