硬盘存储

字符流的由来   字节流读取文字字节数据后，不直接进行操作而是先查指定的编码表，获取对应的文字。再对这个文字进行操作。简单讲：字节流+编码表。 字节流的两个顶层抽象基类 InputStream OutputStream 字符流的两个顶层抽象基类 Reader Writer 这些体系的子类都以父类名作为后缀，而且，子类名的前缀就是该对象的功能。 将一些文字存储到硬盘中的一个文件中 记住：如果要操作文字数据，优先考虑字符流。而且要将数据从内存写到硬盘上，要使用字符流中的输出流——Writer。 硬盘的数据基本体现是文件，希望可以找到一个可以操作文件的Writer，最终找到了FileWriter。 读取一个文本文件。将读取到的字符打印到控制台。 同上，找到FileReader。 来源： CSDN 作者： ziminrenweimuhuo 链接： https://blog.csdn.net/ziminrenweimuhuo/article/details/103470063

【服务器数据恢复故障介绍】 ··数据恢复中心近期接到客户服务器数据恢复案例并成功恢复，经客户许可后现将数据恢复过程分享给大家，下面简单介绍一下本次服务器数据恢复的故障情况。 ··客户使用的是某品牌的服务器，搭配了多块硬盘组成一组raid5磁盘阵列，作为公司的共享存储池使用，服务器上包含公司数据库文件和普通文件。由于硬盘掉线导致服务器内的D分区识别不到，服务器管理员查看设备后对服务器进行重启操作，导致服务器掉线硬盘重新上线并同步数据，同步进度到36%时服务器被管理员强制关机。 · 【服务器数据恢复检测】 ··数据恢复中心安排工程师前往客户现场进行服务器故障检测和数据恢复操作。首先由硬件数据恢复工程师对客户服务器硬盘进行物理检测，排除物理故障对硬盘的影响，经检测后硬盘正常，不存在物理故障，因此可以断定硬盘离线的原因是读写不稳定导致的。随后服务器数据恢复工程师对客户服务器内所有硬盘进行山区级别镜像备份，备份文件将是数据恢复工程师重组服务器和恢复数据的操作数据。 · 【服务器数据恢复过程】 ··服务器数据恢复工程师对镜像数据进行分析，获取原服务器内的raid阵列条带大小、盘序等关键信息。然后向客户了解原服务器阵列配置信息，将服务器内所有硬盘按照mdisk组进行分类，再分析mdisk组得到所有硬盘的阵列组信息，继而重组raid阵列，提取阵列数据。 ·

Linux系统磁盘分区及挂载 - fdisk 文本关键字：文件系统，磁盘分区，格式化，挂载 一、文件系统 1. 文件系统的作用 当我们拿到一块新的硬盘时，他所能够支持的最大空间只是代表硬件上的一个参数，我们要想让他能够正常的工作起来，必须要有相应的文件系统。文件系统决定了文件存储和管理时的方式和数据结构，也就是如何管理磁盘上的文件和文件夹。不同的文件系统拥有不同的特点，这也就是为什么我们在进行格式化操作必须要选定一种文件系统的原因。 当在一个操作系统（Windows、Linux、MacOS）中使用文件系统时，通常都会做一个统一的接口，来进行文件的读写，所以会存在某些文件系统只适用与某一种操作系统的情况。 系统调用接口：系统为用户的使用提供的接口 虚拟文件系统：整合不同的文件系统的API接口，使用统一的方式来操作，如挂载、创建目录等 文件系统：具体使用什么文件系统类型，由使用者通过格式化命令来决定 通用块设备层：对于不同的硬盘驱动进行管理，为上一次提供统一的接口 设备驱动：对于不同的硬件设备会有相应的驱动，保证磁盘可用，通用的硬盘驱动也会直接编译到内核中 2. 常见Linux文件系统 MINIX：Linux最早使用的文件系统，目前主流版本的Linux系统已不再使用 EXT：CentOS 5/6主要使用的文件系统（EXT2、EXT3、EXT4） EXT3：最大能够管理16TB的单个分区

6. 存储结构与磁盘划分 6.1 一切从“/”开始 Linux 系统中的一切文件都是从“根（/）”目录开始的，并按照文件系统层次化标准（FHS）采用树形结构来存放文件，以及定义了常见目录的用途。 FHS 是根据以往无数 Linux 系统用户和开发者的经验而总结出来的，是用户在 Linux 系统中存储文件时需要遵守的规则，用于指导我们应该把文件保存到什么位置，以及告诉用户应该在何处找到所需的文件。但是， FHS 对于用户来讲只能算是一种道德上的约束。 在 Linux 系统中另外还有一个重要的概念—路径。路径指的是如何定位到某个文件，分为绝对路径与相对路径。绝对路径指的是从根目录（/）开始写起的文件或目录名称，而相对路径则指的是相对于当前路径的写法。 6.2 物理设备的命名规则 系统内核中的 udev 设备管理器会自动把硬件名称规范起来，目的是让用户通过设备文件的名字可以猜出设备大致的属性以及分区信息等； 一台主机上可以有多块硬盘，因此系统采用 a～p 来代表 16 块不同的硬盘（默认从 a 开始分配），而且硬盘的分区编号也很有讲究： 主分区或扩展分区的编号从 1 开始，到 4 结束； 逻辑分区从编号 5 开始 主分区、扩展分区和逻辑分区的概念 6.3 文件系统与数据资料 Linux系统支持数十种的文件系统，而最常见的文件系统如下所示： Ext3 ：是一款日志文件系统

LINUX运维人员必备（入门级） 什么是linux？ 首先，开始我们介绍一下我们的电脑/服务器运行的一些原理 我们人是如何使用电脑的呢，我们是通过使用操作系统，让我们的电脑可以满足我们的一些需求，我们通过键盘鼠标打开一些软件开始使用，而软件通过解释器翻译给内核，而后内核告诉CPU，CPU通过调用内存、硬盘中的数据达到我们的需求，最后通过显示器，执行结束，这边是电脑/服务器使用的原理，而我们的操作系统就是其中的软件+解释器+内核， 可能大家都听过Windows系统，家喻户晓，基本每家每户有电脑的人家，安装的必然都是windows系统，而对于企业来说，绝大对数企业的服务器，安装的都是linux系统。 为什么要用linux？ Linux操作系统技术成熟、可靠性高、稳定性强，有极强的可伸缩性，可以自动识别很多厂商硬件信息，有极强的网络能力，强大的数据库支持能力，支持部署很多数据库程序，还有很强大的开发功能 Linux系统需要我们准备什么？一台笔记本就可以了吗？ 硬件篇介绍： 作为绝大部分的企业都在使用linux，那我们首先要对硬件有一些了解，linux服务器的硬件和家用电脑有什么区别呢，我们来依次看一下。 1、 CPU 对比台式机，无疑服务器的CPU性能更加，主要区别于路数（指一台服务器可以有多个CPU）和核数（核数决定单个CPU的内核数量，也就是工作效率） 2、 磁盘 对于家用机

TechTool Pro 12 for mac是一款MacOS上拥有悠久历史的mac系统诊断工具，经过将近20年的发展，TechTool Pro下载具有系统硬件监测（CPU、内存、硬盘、网络、USB等）、内存测试、S.M.A.R.T检测、磁盘宗卷扫描、宗卷重建和优化、数据恢复和粉碎等等强大的功能，非常强大的一款系统工具！ 下载地址： TechTool Pro 12 for mac TechTool Pro下载功能介绍 1、Mac驱动器测试和修复 即使是固态硬盘，Mac的硬盘驱动器也比Mac上的其他任何组件都更容易遇到问题。由于数据如此频繁地变化，它有时可能会被扰乱。因此，能够测试驱动器以解决问题并进行修复非常重要。可悲的是，如果驱动器出现物理故障，则需要备份和更换，但检测到此类损坏的时间越早，丢失的文件就越少，如珍爱的记忆和重要的个人文档。但是，大多数驱动器问题是由于数据存在错误的地方而引起的，可以使用TechTool Pro的卷重建工具进行修复。 2、紧急启动盘 如果您的启动磁盘停止工作，并且您需要另一个启动磁盘，则TechT ool Pro的eDrive将提供帮助。eDrive是您用来测试，重建或整理主要硬盘的碎片的功能，但是如果您的主启动磁盘丢失，它将非常有用。eDrive可以让您快速访问TechTool Pro以及几个方便的Apple实用程序，而不必为安装DVD而烦恼

demo： https://github.com/Hilaver/NtfsResolution/ 先看一张硬盘图片（一个盘面）： MBR 主引导记录（MBR，Main Boot Record）是位于磁盘最前边的一段引导（Loader）代码。它负责磁盘操作系统(DOS)对磁盘进行读写时分区合法性的判别、分区引导信息的定位，它由磁盘操作系统(DOS)在对硬盘进行初始化时产生的。 --摘自百度百科 MBR扇区位于物理硬盘的0柱面，0磁头，1扇区，也就是整个硬盘的第一个扇区 （偏移量为0），共占512个字节（即一个扇区），每个物理硬盘只有一个MBR扇区。 MBR扇区由三部分构成：第一部分是446字节的引导代码，也就是上面提到的MBR；第二部分是DPT（Disk Partition Table，硬盘分区表），包含4个表项，每个表项16字节，共占用64字节；第三部分是2个字节的结束标志，0x55AA。其结构如下图： DBR 分区引导扇区也称DBR（DOS BOOT RECORD），是由FORMAT高级格式化命令写到该扇区的内容，DBR是由硬盘的MBR装载的程序段。DBR装入内存后，即开始执行该引导程序段，其主要功能是完成操作系统的自举并将控制权交给操作系统。每个分区都有引导扇区，但只有被设为活动分区才会被MBR装的DBR入内存运行。 --摘自百度百科 在对硬盘分区之后

‍ ‍ 硬件推荐（内容提要） 1.CPU 2.RAM 3.Data Storage（数据存储） 3.1 Hard Disk Drives（硬盘驱动器） 3.2 Solid State Drives（固态硬盘） 3.3 Controllers（控制器） 3.4 Additional Considerations（其他注意事项） 4.Networks（网络） 5.Failure Domains（故障域） 6.Minimum Hardware Recommendations（最低硬件建议） 7.Production Cluster Example（生产集群示例） 硬件推荐 ‍ ‍ Ceph的目的是要在标准硬件上运行，这使得PB级数据集群的建设和维护从经济上来说是可行的。规划集群硬件时，需要平衡多方面的因素，包括故障域和潜在的性能问题。硬件规划应包括分布在许多主机上使用的Ceph的Ceph守护进程和其他进程。一般来说，我们建议某一特定类型，这种类型的守护进程配置为一台机器上只运行一种类型的守护进程。我们建议利用你的数据集群的进程时使用其他的主机（如OpenStack里面的CloudStack，等等）。 建议:也需要检查ceph日志。 类似于Ceph Write Throughput 1, Ceph Write Throughput 2, Argonaut v. Bobtail

分布式存储 — 硬盘容量不均衡导致的缓存盘寿命急速衰减分析 Ceph 分布式存储在扩展性、可靠性、性能上具备独特的优势，可以实现快速扩展多台服务器，动态伸缩到 PB 级容量，多副本机制保障数据高可靠，数据均衡分布，并发性能高等场景。目前广泛应用于互联网、科研、教育、制造业、政府等诸多领域。 ZStack 云平台目前支持对接 Ceph 分布式存储，使用的是分布式块存储，即使用 librbd 的块设备接口提供给 Qemu 访问，进行云主机、云盘的 IO 读写。 虽然 Ceph 分布式存储具备上述的优势特点，但在实践中，对硬件的选择及配置均存在特别要求，尤其是硬盘、网络上，如果配置不当，存储的可靠性和性能均会受到影响。 最近在日常巡检一套 ZStack 生产环境的 Ceph 分布式存储时，我们发现客户新购的五台服务器的 SSD 寿命损耗存在异常。具体的现象是使用半年后，服务器带外管理界面看到 SSD 的寿命损耗只剩下 89% ，但使用 smartctl 读取介质损耗参数依然显示为 100% 。 此时会很疑惑，到底哪个数据更可靠，如果 SSD 寿命只剩下 89% ，那么如何去调整优化 Ceph 分布式存储？ 问题回顾 针对这个问题，我们回顾一下这套分布式存储的架构。当时采用了新购 + 利旧的方案来部署分布式存储。 相应的配置信息如下： 其中，新购的 5 台机器采用了 Intel Xeon

原文: 性能调优7：多表连接 - join 在产品环境中，往往存在着大量的表连接情景，不管是inner join、outer join、cross join和full join（逻辑连接符号），在内部都会转化为物理连接（Physical Join），SQL Server共有三种物理连接：Nested Loop（嵌套循环），Merge Join（合并连接）和Hash Join（哈希连接）。这三个物理连接的处理方式不同，分别应用在不同的场景中。 在同一时刻，表连接只能是两表（或者是数据集，也就是表的一部分）之间的连接，通常按照表处于Join操作的位置来区分，把Join操作符前面的表叫做左表，把Join操作符后面的表叫做右表。如果有n个表连接，那么必须进行n-1次关联操作，上一次关联操作的结果作为下一次关联操作的一个数据集。On子句用于设置连接条件，可以决定连接的顺序。 一，嵌套循环 嵌套循环是最基本的Join算法，分为两个循环，内部循环和外部循环，内部循环嵌套在外部循环内部。任何一个连接语句，都包含两个表，内部循环对应内部表，外部循环对应外部表。在图形执行计划中，上面的输入表是外部表，下面的输入表是内部表。 在嵌套循环中，外部循环逐行处理外部表，内部循环针对每一个外部行到内部表中进行查找，以找出所有匹配外部行的数据行。外部循环每输出一行，内部表中所有行都会和外部行进行匹配