硬盘存储

随时互联网经济的持续发展，香港服务器租用的人群也持续扩大。越来越多的 IDC 服务商提供 SSD 硬盘和 HDD 硬盘以供用户选择。那么，服务器租用选择 SSD 硬盘有哪些好处呢 ? 　　一、SSD 硬盘是什么 ? 　　从 1956 年 IBM 发布首个 HDD 硬盘以来，磁存储磁盘的基本原理变化很小。多年来，随着技术迅猛发展，传统硬盘 HDD 已越来越难以满足日益增长的计算需求，难以以更快的速度处理越来越多的数据。SSD 固态硬盘就是最有希望取代传统 HDD 硬盘的新兴存储磁盘。对于服务器租用服务来说，使用 SSD 存储不再被视为降级到 IT 世界边缘的方法。SSD 硬盘的售价日趋合理，并且其 I/O 性能和耐用性也得以逐渐优化，达到传统硬盘的标准。 　　二、SSD 存储如何工作 ? 　　SSD 与传统机械硬盘不同，它使用放置在电路板上的半导体微芯片，而不是旋转磁盘。使用控制器和固件，数据通过闪存存储器中的连续电子过程保存。具有 SSD 存储的设备不连接到电源也能维持其存储功能。最近的趋势表明，固态硬盘的价格走向平价。因此，提供具有 SSD 存储的香港服务器租用服务变得不像以前那么罕见。 　　三、SSD 硬盘存储的优点 　　固态硬盘的存储过程以电子方式进行。使用半导体芯片的优点是它们没有高灵敏度的设备，因此不易发生故障。这意味着使用 SSD 存储的服务器租用服务

计算机组成原理 计算机分为五大组成部分，分别为：控制器、运算器、存储器、输入设备和输出设备。其中控制器+运算器是计算机的中央处理器（CPU），相当于人类的大脑。 一、控制器 计算机的指挥系统。大脑指挥全身的器官运作，但是大脑不会随意的指挥身体行动，大脑只有在接受指令后才会控制身体行动（如果你患有急性注意缺陷多动障碍（多动症），你可以找Doctor Nick）。 二、运算器 运算器是计算机的运算系统。大脑除了指挥，无时无刻还在运算。即实现算术运算和逻辑运算。 三、控制器+运算器(计算机的中央处理器CPU) 吃饭流程示例。 当你吃饭的时候，大脑会接受吃饭的指令，之后把指令翻译成你身体需要进行的动作（控制器） 如果吃的是西餐，则使用勺子；如果吃的是中餐，则使用筷子（运算器）。 四、存储器 计算机的存储系统。需要注意的是：无论是内存还是外存，计算机存储的数据格式都是01，01的形式，0和1由电压的电频控制（了解知识点）。计算机的存储的一个二进制单位称为1bit，8bit=1Bytes称为一个字节，1024Bytes=1KB，1024KB=1MB，1024MB=1GB，1024GB=1TB，1024TB=1PB。 下图展示了目前市面上常用的存储器，从图中可以看出存储器的速度、容量和价格是相互矛盾的。 4.1内存 内存是计算机内临时存储数据的硬件设备。由于内存读取数据速度较快内存

简介 MongoDB是一款为广泛的现代应用程序设计的高性能、可扩展、分布式数据库系统。MongoDB可用于不同规模大小的组织，为那些对系统低延迟、高吞吐量以及可持续性有很高要求的应用提供稳定关键的服务。 尽管MongoDB与传统的关系型数据库的有些特性不一样，但是对于之前部署和操作其他数据库系统的人员来说，MongoDB的很多概念，比如操作、策略、存储过程还是很相似的。公司的DBA和运营团队可以在保持现有系统的前提下，直接把MongoDB集成到生产环境中，并且不需要定制操作流程和工具 本文档为部署和管理MongoDB提供了最佳实践的指导。看本文档的前提需要你熟悉MongoDB的基本架构并理解企业软件部署的相关知识。 关于文档中的涉及到有些话题的更多详情，可以访问MongoDB的在线文档：mongodb.com。本文档也提供了相应的链接。 角色和职责 与其他数据库系统一样，部署在MongoDB的应用需要精心规划以及公司IT团队每个角色的协力合作才能保证稳定的部署。传统数据库中相关的角色以及角色的定位同样适用于MongoDB：数据库管理员、系统管理员、应用开发人员、网络管理员、需求分析人员以及数据架构师。 一般小公司中一个人员可能会担当多个角色，而大公司中，每个角色都是由一个人或者一个团队专门负责的。比如，在大的投资银行中，DBA的职责和系统管理员的职责差别就很大。 DBA

光盘和磁盘、u盘、软盘、硬盘有什么区别 ①光盘： cdrom/dvdrom:光驱（光盘驱动器） rom：只读 ram：可以擦写 cd：700M dvd:4G ②软盘：floppy：软驱（软盘驱动器） ③U盘：U盘，全称USB闪存盘，英文名“USB flash disk”。使用USB接口的无需物理驱动器的微型高容量移动存储产品，通过USB接口与电脑连接，实现即插即用。 ④磁盘：计算机的外部存储器中也采用了类似磁带的装置，比较常用的一种叫磁盘，将圆形的磁性盘片装在一个方的密封盒子里，这样做的目的是为了防止磁盘表面划伤，导致数据丢失。 ⑤硬盘：很硬的一个方盒子密封起来的，用来存放数据的。 硬盘： 固态硬盘（SSD） 机械硬盘（HDD ） 混合硬盘（HHD 一块基于传统机械硬盘诞生出来的新硬盘） SSD采用闪存颗粒来存储，HDD采用磁性碟片来存储，混合硬盘是把磁性硬盘和闪存集成到一起的一种硬盘。 硬盘和磁盘有什么关系？ 磁盘是硬盘的一种类型。 固态硬盘（Solid State Drives），简称固盘，固态硬盘（Solid State Drive）用固态电子存储芯片阵列而制成的硬盘，由控制单元和存储单元（FLASH芯片、DRAM芯片）组成。 通过接口从硬盘读写数据的速度是核心。 磁盘有哪些品牌 希捷 seagate 西部数据 western digital 东芝 Toshiba 三星

一、LVM概念 LVM是逻辑盘卷管理（Logical Volume Manager）的简称，它是Linux环境下对磁盘分区进行管理的一种机制，LVM是建立在硬盘和分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。 LVM的工作原理其实很简单，它就是通过将底层的物理硬盘抽象的封装起来，然后以逻辑卷的方式呈现给上层应用。在传统的磁盘管理机制中，我们的上层应用是直接访问文件系统，从而对底层的物理硬盘进行读取，而在LVM中，其通过对底层的硬盘进行封装，当我们对底层的物理硬盘进行操作时，其不再是针对于分区进行操作，而是通过一个叫做逻辑卷的东西来对其进行底层的磁盘管理操作。比如说我增加一个物理硬盘，这个时候上层的服务是感觉不到的，因为呈现给上层服务的是以逻辑卷的方式。 LVM最大的特点就是可以对磁盘进行动态管理。因为逻辑卷的大小是可以动态调整的，而且不会丢失现有的数据。如果我们新增加了硬盘，其也不会改变现有上层的逻辑卷。作为一个动态磁盘管理机制，逻辑卷技术大大提高了磁盘管理的灵活性。 二、LVM术语 PV （Physical Volume）- 物理卷 物理卷在逻辑卷管理中处于最底层，它可以是实际物理硬盘上的分区，也可以是整个物理硬盘。 VG （Volumne Group）-卷组 卷组建立在物理卷之上，一个卷组中至少要包括一个物理卷，在卷组建立之后可动态添加物理卷到卷组中

Linux系统一般有4个主要部分： 内核、shell、文件系统和应用程序。内核、shell和文件系统一起形成了基本的操作系统结构，它们使得用户可以运行程序、管理文件并使用系统。 1、linux内核 内核是操作系统的核心，具有很多最基本功能，它负责管理系统的进程、内存、设备驱动程序、文件和网络系统，决定着系统的性能和稳定性。 Linux 内核由如下几部分组成：内存管理、进程管理、设备驱动程序、文件系统和网络管理等。如图： 系统调用接口：SCI 层提供了某些机制执行从用户空间到内核的函数调用。这个接口依赖于体系结构，甚至在相同的处理器家族内也是如此。SCI 实际上是一个非常有用的函数调用多路复用和多路分解服务。在 ./linux/kernel 中您可以找到 SCI 的实现，并在 ./linux/arch 中找到依赖于体系结构的部分。 2、内存管理 对任何一台计算机而言，其内存以及其它资源都是有限的。为了让有限的物理内存满足应用程序对内存的大需求量，Linux 采用了称为“虚拟内存”的内存管理方式。Linux 将内存划分为容易处理的“内存页”（对于大部分体系结构来说都是 4KB）。Linux 包括了管理可用内存的方式，以及物理和虚拟映射所使用的硬件机制。 不过内存管理要管理的可不止 4KB 缓冲区。Linux 提供了对 4KB 缓冲区的抽象，例如 slab 分配器。这种内存管理模式使用

1.内存和硬盘都是用来存储的。 内存：速度快 硬盘：永久保存 2.文本编辑器存取文件的原理（nodepad++,pycharm,word） 　　　打开编辑器就可以启动一个进程，是在内存中的，所以在编辑器编写的内容也都是存放在内存中的，断电后数据就丢失了。因而需要保存在硬盘上，点击保存按钮或快捷键，就把内存中的数据保存到了硬盘上。在这一点上，我们编写的py文件（没有执行时），跟编写的其他文件没有什么区别，都只是编写一堆字符而已。 3.python解释器执行py文件的原理，例如python test.py 　　第一阶段：python解释器启动，此时就相当于启动了一个文本编辑器 　　第二阶段：python解释器相当于文本编辑器，去打开test.py，从硬盘上将test.py的文件内容读入到内存中 　　第三阶段：python解释器执行刚刚加载到内存中的test.py的代码（在该阶段，即执行时，才会识别python的语法，执行到字符串时，会开辟内存空间存放字符串） 总结：python解释器与文本编辑器的异同 相同点：python解释器是解释执行文件内容的，因而python解释器具备读py文件的功能，这一点与文本编辑器一样 不同点：文本编辑器将文件内容读入内存后，是为了显示/编辑，而python解释器将文件内容读入内存后，是为了执行（识别python的语法） 4.什么是编码？ 　

硬盘 （英语： H ard D isk D rive，缩写： HDD ）是计算机上使用坚硬的旋转盘片为基础的非易失性存储器， 了解计算机存储器 在平整的磁性表面存储和检索数字数据，数据通过离磁性表面很进的磁头由电磁流来改变极性的方式写到磁盘上， 数据可以通过盘片被读取：通过磁头经过盘片的上方时，盘片本身的磁场导致读取线圈中的电气信号改变 硬盘采用半随机存取的方式们可以任意顺序读取硬盘中的数据，但是读取不同不同位置的资料速度是不同的 实现原理 ： 当主电动机带动碟片旋转时，副电动机带动一组（ 磁头 ）到相对应的碟片上并确定读取正面还是反面的碟面，磁头悬浮在碟面上画出一个与碟片同心的圆形轨道（ 磁轨 或称 柱面 ），这时由磁头的磁感线圈感应碟面上的磁性与使用硬盘厂商指定的读取时间或数据间隔定位 扇区 ，从而得到该扇区的数据内容； 硬盘主要包括：盘片（一个或多个在高速转动）和磁头 放到密封的硬盘驱动器中， 通过有着过滤措施的气孔，用来平衡工作时产生的热量导致的硬盘内外的气压差。 硬盘的物理结构一般由磁头与碟片、电动机、主控芯片与排线等部件组成； 磁道：当磁盘旋转时，磁头若保持在一个位置上，则每个磁头都会在磁盘表面划出一个圆形轨迹，这些圆形轨迹就叫做磁道（Track）。 柱面：在有多个盘片构成的盘组中，由不同盘片的面，但处于同一半径圆的多个磁道组成的一个圆柱面（Cylinder）。 扇区

调优概述 # 几乎在很多场景,MapRdeuce或者说分布式架构,都会在IO受限,硬盘或者网络读取数据遇到瓶颈.处理数据瓶颈CPU受限.大量的硬盘读写数据是海量数据分析常见情况. IO受限例子： 索引 分组 数据倒入导出 数据移动和转换 CPU受限例子： 聚类/分类 复杂的文本挖掘 特征提取 用户画像 自然语言处理 我们需要从硬件规划和软件规划等多方面结合实现性能和效率的提升。 硬件规划 # 评估集群规模 # 我们需要搭建多少节点的hadoop集群？回答这个问题考虑的因素比较多：预算？数据量？计算资源？ 需要多少计算资源可能不是特别好评估，推荐横向扩展，随业务规模和应用发展再考虑扩展。开始可以就按照数据量来评估数据规模，估计一下每天的数据增量？保存数据的周期是多少？有没有冷数据方案？ 假设每天增长的数据为600G、3备份存储，以一年规划为例,大概存储为600G 3 360天=633T, 再考虑增加%20的预留，考虑未来数据增长的趋势，考虑应用计算等空间需求。为节省空间可考虑压缩存储（大概可以节省70%空间）。 同时考虑一定冗余量，如果集群一部分节点不可用也要保证业务正常使用（根据集群规模评估冗余比例）。 然后结合节点硬件规划和预算，确定集群规模。假如我们需要650T存储，可以采用30台12 x 2TB的存储配置或者 60台6 x 2TB配置，但是节点数量翻翻

参考文章链接： 一篇文章让你理解Ceph的三种存储接口(块设备、文件系统、对象存储)： https://blog.csdn.net/wangmingshuaiguo/article/details/92628036 Ceph介绍及原理架构分享： https://www.jianshu.com/p/cc3ece850433 Red Hat Ceph存储—《深入理解Ceph架构》： http://ceph.org.cn/2018/06/29/red-hat-ceph%E5%AD%98%E5%82%A8-%E3%80%8A%E6%B7%B1%E5%85%A5%E7%90%86%E8%A7%A3ceph%E6%9E%B6%E6%9E%84%E3%80%8B/ ceph IO切割成对象和对象名的组成(块存储)： https://blog.csdn.net/a1454927420/article/details/78134554 三种存储类型比较-文件、块、对象存储： https://blog.csdn.net/sinat_27186785/article/details/52032431 块存储就是在物理层这个层面对外提供服务，使用它的系统，有用自己的文件系统格式化。这样一旦被一个系统使用，就独占了。 文件存储，就是在文件系统一层对外提供服务，系统只用访问文件系统一级就可以