硬盘类型

简介 MongoDB是一款为广泛的现代应用程序设计的高性能、可扩展、分布式数据库系统。MongoDB可用于不同规模大小的组织，为那些对系统低延迟、高吞吐量以及可持续性有很高要求的应用提供稳定关键的服务。 尽管MongoDB与传统的关系型数据库的有些特性不一样，但是对于之前部署和操作其他数据库系统的人员来说，MongoDB的很多概念，比如操作、策略、存储过程还是很相似的。公司的DBA和运营团队可以在保持现有系统的前提下，直接把MongoDB集成到生产环境中，并且不需要定制操作流程和工具 本文档为部署和管理MongoDB提供了最佳实践的指导。看本文档的前提需要你熟悉MongoDB的基本架构并理解企业软件部署的相关知识。 关于文档中的涉及到有些话题的更多详情，可以访问MongoDB的在线文档：mongodb.com。本文档也提供了相应的链接。 角色和职责 与其他数据库系统一样，部署在MongoDB的应用需要精心规划以及公司IT团队每个角色的协力合作才能保证稳定的部署。传统数据库中相关的角色以及角色的定位同样适用于MongoDB：数据库管理员、系统管理员、应用开发人员、网络管理员、需求分析人员以及数据架构师。 一般小公司中一个人员可能会担当多个角色，而大公司中，每个角色都是由一个人或者一个团队专门负责的。比如，在大的投资银行中，DBA的职责和系统管理员的职责差别就很大。 DBA

光盘和磁盘、u盘、软盘、硬盘有什么区别 ①光盘： cdrom/dvdrom:光驱（光盘驱动器） rom：只读 ram：可以擦写 cd：700M dvd:4G ②软盘：floppy：软驱（软盘驱动器） ③U盘：U盘，全称USB闪存盘，英文名“USB flash disk”。使用USB接口的无需物理驱动器的微型高容量移动存储产品，通过USB接口与电脑连接，实现即插即用。 ④磁盘：计算机的外部存储器中也采用了类似磁带的装置，比较常用的一种叫磁盘，将圆形的磁性盘片装在一个方的密封盒子里，这样做的目的是为了防止磁盘表面划伤，导致数据丢失。 ⑤硬盘：很硬的一个方盒子密封起来的，用来存放数据的。 硬盘： 固态硬盘（SSD） 机械硬盘（HDD ） 混合硬盘（HHD 一块基于传统机械硬盘诞生出来的新硬盘） SSD采用闪存颗粒来存储，HDD采用磁性碟片来存储，混合硬盘是把磁性硬盘和闪存集成到一起的一种硬盘。 硬盘和磁盘有什么关系？ 磁盘是硬盘的一种类型。 固态硬盘（Solid State Drives），简称固盘，固态硬盘（Solid State Drive）用固态电子存储芯片阵列而制成的硬盘，由控制单元和存储单元（FLASH芯片、DRAM芯片）组成。 通过接口从硬盘读写数据的速度是核心。 磁盘有哪些品牌 希捷 seagate 西部数据 western digital 东芝 Toshiba 三星

一、LVM概念 LVM是逻辑盘卷管理（Logical Volume Manager）的简称，它是Linux环境下对磁盘分区进行管理的一种机制，LVM是建立在硬盘和分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。 LVM的工作原理其实很简单，它就是通过将底层的物理硬盘抽象的封装起来，然后以逻辑卷的方式呈现给上层应用。在传统的磁盘管理机制中，我们的上层应用是直接访问文件系统，从而对底层的物理硬盘进行读取，而在LVM中，其通过对底层的硬盘进行封装，当我们对底层的物理硬盘进行操作时，其不再是针对于分区进行操作，而是通过一个叫做逻辑卷的东西来对其进行底层的磁盘管理操作。比如说我增加一个物理硬盘，这个时候上层的服务是感觉不到的，因为呈现给上层服务的是以逻辑卷的方式。 LVM最大的特点就是可以对磁盘进行动态管理。因为逻辑卷的大小是可以动态调整的，而且不会丢失现有的数据。如果我们新增加了硬盘，其也不会改变现有上层的逻辑卷。作为一个动态磁盘管理机制，逻辑卷技术大大提高了磁盘管理的灵活性。 二、LVM术语 PV （Physical Volume）- 物理卷 物理卷在逻辑卷管理中处于最底层，它可以是实际物理硬盘上的分区，也可以是整个物理硬盘。 VG （Volumne Group）-卷组 卷组建立在物理卷之上，一个卷组中至少要包括一个物理卷，在卷组建立之后可动态添加物理卷到卷组中

Linux系统一般有4个主要部分： 内核、shell、文件系统和应用程序。内核、shell和文件系统一起形成了基本的操作系统结构，它们使得用户可以运行程序、管理文件并使用系统。 1、linux内核 内核是操作系统的核心，具有很多最基本功能，它负责管理系统的进程、内存、设备驱动程序、文件和网络系统，决定着系统的性能和稳定性。 Linux 内核由如下几部分组成：内存管理、进程管理、设备驱动程序、文件系统和网络管理等。如图： 系统调用接口：SCI 层提供了某些机制执行从用户空间到内核的函数调用。这个接口依赖于体系结构，甚至在相同的处理器家族内也是如此。SCI 实际上是一个非常有用的函数调用多路复用和多路分解服务。在 ./linux/kernel 中您可以找到 SCI 的实现，并在 ./linux/arch 中找到依赖于体系结构的部分。 2、内存管理 对任何一台计算机而言，其内存以及其它资源都是有限的。为了让有限的物理内存满足应用程序对内存的大需求量，Linux 采用了称为“虚拟内存”的内存管理方式。Linux 将内存划分为容易处理的“内存页”（对于大部分体系结构来说都是 4KB）。Linux 包括了管理可用内存的方式，以及物理和虚拟映射所使用的硬件机制。 不过内存管理要管理的可不止 4KB 缓冲区。Linux 提供了对 4KB 缓冲区的抽象，例如 slab 分配器。这种内存管理模式使用

1.内存和硬盘都是用来存储的。 内存：速度快 硬盘：永久保存 2.文本编辑器存取文件的原理（nodepad++,pycharm,word） 　　　打开编辑器就可以启动一个进程，是在内存中的，所以在编辑器编写的内容也都是存放在内存中的，断电后数据就丢失了。因而需要保存在硬盘上，点击保存按钮或快捷键，就把内存中的数据保存到了硬盘上。在这一点上，我们编写的py文件（没有执行时），跟编写的其他文件没有什么区别，都只是编写一堆字符而已。 3.python解释器执行py文件的原理，例如python test.py 　　第一阶段：python解释器启动，此时就相当于启动了一个文本编辑器 　　第二阶段：python解释器相当于文本编辑器，去打开test.py，从硬盘上将test.py的文件内容读入到内存中 　　第三阶段：python解释器执行刚刚加载到内存中的test.py的代码（在该阶段，即执行时，才会识别python的语法，执行到字符串时，会开辟内存空间存放字符串） 总结：python解释器与文本编辑器的异同 相同点：python解释器是解释执行文件内容的，因而python解释器具备读py文件的功能，这一点与文本编辑器一样 不同点：文本编辑器将文件内容读入内存后，是为了显示/编辑，而python解释器将文件内容读入内存后，是为了执行（识别python的语法） 4.什么是编码？ 　

调优概述 # 几乎在很多场景,MapRdeuce或者说分布式架构,都会在IO受限,硬盘或者网络读取数据遇到瓶颈.处理数据瓶颈CPU受限.大量的硬盘读写数据是海量数据分析常见情况. IO受限例子： 索引 分组 数据倒入导出 数据移动和转换 CPU受限例子： 聚类/分类 复杂的文本挖掘 特征提取 用户画像 自然语言处理 我们需要从硬件规划和软件规划等多方面结合实现性能和效率的提升。 硬件规划 # 评估集群规模 # 我们需要搭建多少节点的hadoop集群？回答这个问题考虑的因素比较多：预算？数据量？计算资源？ 需要多少计算资源可能不是特别好评估，推荐横向扩展，随业务规模和应用发展再考虑扩展。开始可以就按照数据量来评估数据规模，估计一下每天的数据增量？保存数据的周期是多少？有没有冷数据方案？ 假设每天增长的数据为600G、3备份存储，以一年规划为例,大概存储为600G 3 360天=633T, 再考虑增加%20的预留，考虑未来数据增长的趋势，考虑应用计算等空间需求。为节省空间可考虑压缩存储（大概可以节省70%空间）。 同时考虑一定冗余量，如果集群一部分节点不可用也要保证业务正常使用（根据集群规模评估冗余比例）。 然后结合节点硬件规划和预算，确定集群规模。假如我们需要650T存储，可以采用30台12 x 2TB的存储配置或者 60台6 x 2TB配置，但是节点数量翻翻

参考文章链接： 一篇文章让你理解Ceph的三种存储接口(块设备、文件系统、对象存储)： https://blog.csdn.net/wangmingshuaiguo/article/details/92628036 Ceph介绍及原理架构分享： https://www.jianshu.com/p/cc3ece850433 Red Hat Ceph存储—《深入理解Ceph架构》： http://ceph.org.cn/2018/06/29/red-hat-ceph%E5%AD%98%E5%82%A8-%E3%80%8A%E6%B7%B1%E5%85%A5%E7%90%86%E8%A7%A3ceph%E6%9E%B6%E6%9E%84%E3%80%8B/ ceph IO切割成对象和对象名的组成(块存储)： https://blog.csdn.net/a1454927420/article/details/78134554 三种存储类型比较-文件、块、对象存储： https://blog.csdn.net/sinat_27186785/article/details/52032431 块存储就是在物理层这个层面对外提供服务，使用它的系统，有用自己的文件系统格式化。这样一旦被一个系统使用，就独占了。 文件存储，就是在文件系统一层对外提供服务，系统只用访问文件系统一级就可以

设备文件 在linux中,磁盘和分区都表示成文件, 磁盘的设备文件都是在 /dev/sd * 如下： [root@localhost ~]# ll /dev/sd* brw-rw----. 1 root disk 8, 0 Sep 4 03:11 /dev/sda brw-rw----. 1 root disk 8, 1 Sep 4 03:11 /dev/sda1 brw-rw----. 1 root disk 8, 2 Sep 4 03:11 /dev/sda2 brw-rw----. 1 root disk 8, 3 Sep 4 03:11 /dev/sda3 结果解读 当前我的机器上有/dev/sda 一块硬盘,这个硬盘被分成1,2,3 三个分区 他们的命名规则就是 a,b,c .. 表示硬盘的顺序号, 1,2,3... 表示分区号 老式的硬盘ＩＤＥ接口是 hd开头 sd 开头的是最普及的SATA设备 什么是MBR? MBR (Master Boot Record) 主引导程序 简单的说,有了它是系统的引导程序,可以引导体统从硬盘上启动, 换句话说,一旦硬盘的主引导程序被破坏后,就无法从直接从硬盘启动机器了,(可以尝试从光盘上启动) 组成 MBR 大小512字节,分如下三部分 主引导程序: 446字节 硬盘分区表DPT : 64字节 分区结束标记: 2字节

MySQL存储引擎 MySQL的存储引擎 存储引擎sql语句： 查看当前的默认存储引擎: mysql> show variables like "default_storage_engine"; 查询当前数据库支持的存储引擎 mysql> show engines \G; 常用引擎适用场景： InnoDB 用于事务处理应用程序，支持外键和行级锁。如果应用对事物的完整性有比较高的要求，在并发条件下要求数据的一致性，数据操作除了插入和查询之外，还包括很多更新和删除操作，那么InnoDB存储引擎是比较合适的。InnoDB除了有效的降低由删除和更新导致的锁定，还可以确保事务的完整提交和回滚，对于类似计费系统或者财务系统等对数据准确要求性比较高的系统都是合适的选择。 MyISAM 如果应用是以读操作和插入操作为主，只有很少的更新和删除操作，并且对事务的完整性、并发性要求不高，那么可以选择这个存储引擎。 Memory 将所有的数据保存在内存中，在需要快速定位记录和其他类似数据的环境下，可以提供极快的访问。Memory的缺陷是对表的大小有限制，虽然数据库因为异常终止的话数据可以正常恢复，但是一旦数据库关闭，存储在内存中的数据都会丢失。 不同的存储模式： 数据存在硬盘上，存三个文件，存表结构、数据、搜索目录； 数据存在硬盘上、存两个文件，表结构存一个文件，数据和搜索目录存一个文件； 数据存在内存中

根据错误码确定是什么硬件出了故障，对系统来讲，原则上必须业务切换使得损坏服务器离线不影响用户使用的情况下，然后修复故障机器，恢复系统。那么这些应该怎么做呢、壹基比小喻来给你说下。 一、机房环境1.温度与湿度： 最佳工作温度：20-25摄氏度 极限工作温度：10-40摄氏度 湿度: 8-80%(在23摄氏度条件下)。2.同时机房要保证服务器清洁. 机房应保持服务器清洁，若空气灰尘过多，很容易造成资源读写错误及磁盘机中磁盘或读写磁头毁损。定时使用皮老虎、刷子清除服务器灰尘。二、电源电压：要求电压稳定, 尖峰电压会损坏设备电压范围：220V +/- 10%, 即200-240V, 50-60Hz电源功率：视机器类型和系统配置而定电源线：标准的零, 地, 火三相电, 其中零, 地电压不得超过3.0V.电源接驳：用符合电流要求的空气开关或其他设备和主机电源线接驳,保证计算机系统的可靠工作应使用稳压电源和UPS，对于冗于电源的接入,采用两路单独输入.三、硬件检查检查服务器、磁阵的安装、电源线主机接线符合要求。服务器状态检查：1.当服务器处于启动和正常工作状态时，其前面板上的液晶显示屏上应无信息显示。2.当液晶显示器上出现带数字和字母的信息时，说明有硬件告警。可以通过查询相关机型的面板报警数字信息查到相应告警原因，情况严重的，则要立即通知服务器厂商进行问题排查。3.当服务器的状态灯出现橙黄色时