ceph

Win10 添加环回接口 右键“此电脑”，选择“属性”，单击“设备管理器”； 单击“设备管理器”后，出现设备管理器选项，选中用户名，右键选择“添加过时硬件”； 点击后进入安装向导界面，单击“下一步”； 选择“安装我手动从列表选择的硬件(高级)(M)”,并单击“下一步”； 添加硬件，选择要安装的硬件类型，此处选择“网络适配器”，并单击下一步； 添加硬件，选择硬件安装的设备驱动程序，厂商选择“Microsoft”,型号选择“Microsoft KM-TEST 环回适配器”，单击“下一步”； 进入“向导准备安装你的硬件”界面 单击“下一步”，此时会经过一个短暂的安装过程，点击“完成”即安装成功； 完成后，返回“网络和共享中心”，可以看到虚拟环回添加成功，根据自己需要配置IP即可使用。 来源： https://www.cnblogs.com/alfiesuse/p/11568190.html

从 SUSE Enterprise Storage 5 开始 已弃用 ceph-deploy 群集部署工具 ,推出DeepSea方式进行部署 DeepSea简介 DeepSea 旨在节省管理员的时间，让他们自信地对 Ceph 群集执行复杂操作。Ceph 是一款高度可配置的软件解决方案。它提高了系统管理员的自由度和职责履行能力。最低的 Ceph 设置能够很好地满足演示目的，但无法展示 Ceph 在处理大量节点时可体现的卓越功能。DeepSea 会收集并储存有关单台服务器的相关数据，例如地址和设备名称。对于诸如 Ceph 的分布式储存系统，可能需要收集并储存数百个这样的项目。收集信息并手动将数据输入到配置管理工具的过程非常耗费精力，并且容易出错。准备服务器、收集配置信息以及配置和部署 Ceph 所需执行的步骤大致相同。但是，这种做法无法解决管理独立功能的需求。在日常操作中，必须做到不厌其烦地将硬件添加到给定的功能，以及从容地去除硬件。DeepSea 通过以下策略解决了这些需求：DeepSea 可将管理员的多项决策合并到单个文件中。这些决策包括群集指派、角色指派和配置文件指派。此外，DeepSea 会收集各组任务以组成一个简单的目标。每个目标就是一个 阶段 ： DeepSea阶段说明 阶段 0 — 准备：在此阶段，将应用全部所需的更新，并且可能会重引导您的系统。 阶段 1 — 发现

在Kubernetes上运行WordPress的好处是显而易见的。首先是安装非常简单（在已有集群的情况下），其次是可靠性更高，第三是规模可以伸缩。当然，可以在多个云之间更为容易地迁移也是非常重要的一点。 Kubernetes上运行WordPress是一个可伸缩性服务运行于云原生集群的典型案例，拿来学习也是极好的。 第一步，部署Kubernetes集群。 Kubernetes是一个容器编排系统，可以实现基于容器技术的大规模集群调度、管理。步骤包括安装关闭swap、清空ipTable、安装Docker、添加Kubernetes安装源、安装Kubeadm//kubectl/kubelet基础工具和服务、配置Kubernetes集群、安装Flannel网络驱动、安装Dashboard、安装Helm软件包管理工具等等。 参考： Ubuntu 18.04 LTS安装Kubernetes 1.11 kubeadm安装Kubernetes实践记录 Kubernetes加入新节点，经验总结 在阿里云创建Kubernetetes-1.11.0镜像服务（高速） 第二步，建立NFS存储服务。 在扩大系统的规模时，WordPress应用服务的Pod可以增加运行的拷贝数量，遇到故障时Pod可以转移到其它节点。为了浮动节点都能够访问统一的存储，我们使用NFS来建立网络存储服务

cephfs 文件系统 cephfs 文件系统的使用： 1.首先你要搭建一个ceph集群。如何搭建ceph集群在前面已经介绍过了。如果要使用cephfs文件系统，则必须要有管理文件元数据的mds节点。 2.在集群上创建文件系统， root@cephmon:~/ceph/ceph-0.94.2/src# ./ceph fs new cephfs2 cephfs_metadata cephfs_data *** DEVELOPER MODE: setting PATH, PYTHONPATH and LD_LIBRARY_PATH *** new fs with metadata pool 2 and data pool 1 fs new 表示需要创建一个新的文件系统。 cephfs2 表示新的文件系统的名字叫做cephfs2。 cephfs_metadata 表示文件系统元数据保存信息的存储pool。 cephfs_data 表示文件系统的数据保存信息的存储pool。 如果我再新建一个文件系统cephfs3，则会出现如下提示： root@cephmon:~/ceph/ceph-0.94.2/src# ./ceph fs new cephfs3 fsmeta fsdata *** DEVELOPER MODE: setting PATH, PYTHONPATH and LD

先将osd.2移出集群 root@ceph-monster:~# ceph osd out osd.2 marked out osd.2. root@ceph-monster:~# ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 0.79999 root default -2 0.39999 host ceph-monster 0 0.20000 osd.0 up 1.00000 1.00000 1 0.20000 osd.1 up 1.00000 1.00000 -3 0.39999 host ceph-node1 2 0.20000 osd.2 up 0 1.00000 3 0.20000 osd.3 up 1.00000 1.00000 root@ceph-monster:~# ceph osd stat osdmap e275: 4 osds: 4 up, 3 in; 137 remapped pgs down掉osd.2并删除 root@ceph-monster:~# ceph osd down osd.2 ; ceph osd rm osd.2 marked down osd.2. removed osd.2 root@ceph-monster:~# ceph osd tree

在工作上的一些笔记，备注一下： 前期工作： 已经部署openstack 集群， 当时操作版本icehouse版本 已经部署ceph的集群， 当时操作的版本ceph-0.94.10,其它版本也可以 从ceph集群其中和个节点获取相关配置文件， openstack的存储服务操作ceph时需要用到： ceph.client.admin.keyring ceph.conf 对集群进行互信操作 在openstack各个节点安装ceph相关的依赖包: yum -y install ceph 将刚才获取到的两个配置文件 ceph.client.admin.keyring ceph.conf 分配传到各个节点的/etc/ceph目录 创建openstack会用到的存储池, 'volumes', 'images', 'vms' (只需在其中一台节点执行以下命令即可) ceph osd pool create images 1024 ceph osd pool create vms 1024 ceph osd pool create volumes 1024 设置ceph客户端认证，在其中一个openstack节点执行以下命令： ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix

一、cephfs 参考了以下文章 Centos7部署Ceph cephfs创建 在172.20.0.10上搭建了三节点ceph cluster 10.0.169.87 node1.cephfs-cluster （mons at {node1=10.0.169.87:6789/0}） 10.0.149.141 node2.cephfs-cluster 10.0.235.158 node3.cephfs-cluster 每节点上挂在了一块300G数据云盘（采用lvm创建分区，方便以后扩容），在每个节点上将格式化后的文件系统挂载到/var/local/osd[123] [root@node1 ~]# mount -l | grep cephfs /dev/mapper/vg--for--cephfs-lvm--for--cephfs on /var/local/osd1 type xfs (rw,relatime,seclabel,attr2,inode64,noquota) [root@node2 ~]# mount -l | grep cephfs /dev/mapper/vg--for--cephfs-lvm--for--cephfs on /var/local/osd2 type xfs (rw,relatime,seclabel,attr2,inode64,noquota)

https://www.jianshu.com/p/42ab1f6dc6de 1. 为什么要做内外网分离   先明确一下这么做的必要性。Ceph 的客户端，如 RADOSGW，RBD 等，会直接和 OSD 互联，以上传和下载数据，这部分是直接提供对外下载上传能力的；Ceph 一个基本功能是提供数据的冗余备份，OSD 负责数据的备份，跨主机间的数据备份当然要占用带宽，而且这部分带宽是无益于 Ceph 集群的吞吐量的。只有一个网络，尤其是有新的存储节点加入时，Ceph 集群的性能会因为大量的数据拷贝而变得很糟糕。所以对于性能有一定要求的用户，还是有必要配置内外网分离的。 2. 如何配置 Ceph 内外分离网络结构   建立内网是为了降低 OSD 节点间数据复制对 Ceph 整体的影响，那么只要在 OSD 节点上加内网就可以了，上图非常清晰的描述了内网和外网覆盖的范围。   做内外网分离，必不可少的前提条件是 OSD 服务器上必须有两张可用的网卡，并且网络互通，确保这点我们就可以开始了。别以为是废话哈，我在配置时，就是因为有台 OSD 服务器网卡丢包严重，分析了好长时间才找到原因的。 2.1 iptables 配置   如果 Linux 服务器上开启了防火墙，就有必要配置 iptables 规则，让服务器的防火墙放开对 OSD 新开放的 端口限制。 # Monitor 服务器 $

参考文章链接： 一篇文章让你理解Ceph的三种存储接口(块设备、文件系统、对象存储)： https://blog.csdn.net/wangmingshuaiguo/article/details/92628036 Ceph介绍及原理架构分享： https://www.jianshu.com/p/cc3ece850433 Red Hat Ceph存储—《深入理解Ceph架构》： http://ceph.org.cn/2018/06/29/red-hat-ceph%E5%AD%98%E5%82%A8-%E3%80%8A%E6%B7%B1%E5%85%A5%E7%90%86%E8%A7%A3ceph%E6%9E%B6%E6%9E%84%E3%80%8B/ ceph IO切割成对象和对象名的组成(块存储)： https://blog.csdn.net/a1454927420/article/details/78134554 三种存储类型比较-文件、块、对象存储： https://blog.csdn.net/sinat_27186785/article/details/52032431 块存储就是在物理层这个层面对外提供服务，使用它的系统，有用自己的文件系统格式化。这样一旦被一个系统使用，就独占了。 文件存储，就是在文件系统一层对外提供服务，系统只用访问文件系统一级就可以

https://cloud.tencent.com/developer/article/1173069 记录一下一些ceph优化的设置，部分内容来自网络，有些请根据自己需求相应修改 1、 Kernel pid max echo 4194303 > /proc/sys/kernel/pid_max 2、 设置MTU，交换机端需要支持该功能，系统网卡设置才有效果 配置文件追加MTU=9000 3、 read_ahead, 通过数据预读并且记载到随机访问内存方式提高磁盘读操作 echo “8192” > /sys/block/sda/queue/read_ahead_kb 4、 swappiness, 主要控制系统对swap的使用 echo “vm.swappiness = 0″/etc/sysctl.conf ; sysctl –p 5、 I/O Scheduler，SSD要用noop，SATA/SAS使用deadline echo “deadline” >/sys/block/sd[x]/queue/scheduler echo “noop” >/sys/block/sd[x]/queue/scheduler 6、 ceph.conf配置选项 [global]#全局设置 fsid = xxxxxxxxxxxxxxx #集群标识ID mon host = 10.0.1.1,10.0.1