硬盘存储

一、上节总结回顾 上一讲里，根据DMP系统的各个应用场景，我们从抽象的原理层面，选择了AeroSpike作为KV数据库，Kafka作为数据管道，Hadoop/Hive来作为数据仓库。 不过呢，肯定有不信邪的工程师会问，为什么MongoDB，甚至是MySQL这样的文档数据库或者传统的关系型数据库不适应呢？为什么不能通过优化SQL、添加缓存这样的调优手段，解决这个问题呢？ 今天DMP的下半场，我们就从数据库实现的原理，一起来看一看，这背后的原因。如果你能弄明表今天的这些更深入、更细节的原理，对于什么场景使用什么数据库，就会更加胸有成竹，而不是只有 跑了大量的性能测试才知道。下次做数据库选型的时候，你就可以“以理服人”了。 二、关系型数据库：不得不做的随机读写 我们先来想一想，如果现在让你自己写一个最简单的关系型数据库，你的数据要怎么存放在硬盘上？最简单最直观的想法是， 1、你的数据要怎么存放在硬盘上？ 1、用一个CSV文件格式。一个文件就是一个数据表。 2、文件里面的每一行就是这个表里面的一条记录。 3、如果要修改数据库里面的某一条记录，那么我们要先找到这记录， 4、然后直接去修改这一行的数据。读取数据也是一样的。 要找到这样数据，最笨的办法当然是一行一行读，也就是遍历整个CSV文件。 不过这样的话，相当于随便读取任何一条数据都要扫描全表 ， 2、太浪费硬盘的吞吐量了。那怎么办呢？

PoW是工作量证明，PoS是权益证明，DPoS是委托权权益证明，但PoC是一种怎么样的共识机制？ PoC是Proof of Capacity的缩写，称之为容量证明机制，它是POW 共识机制的一种，它是以硬盘作为共识参与者，它的特点是牺牲性能获得安全可信，相对POW 减少了非常多的安全和信任成本，更低成本解决了全局信任和安全，几乎不耗电力资源，并且可共享和复用的信任生态。 目前大部分数字货币挖矿采用的是POW（工作量证明）。仅有BHD、Burst使用POC挖矿模式（Yottachain主网并未上线，YTA币暂且不算在列）。 所谓的POC，它到底是什么呢？ 相比POW 不停改变区块头的某个数字来猜测正确的哈希值，POC 把你猜数字的工作量变成了硬盘空间里的“测绘”（plotting）的工作量。每个区块都会绑定一个专属的“谜题”，在挖矿开始之前，网络就会把破解这个谜题的计算方法（solutions）储存在你的硬盘空间里。这些计算方法有的比较快，有的比较慢，如果你的硬盘里恰好有一个计算方法，是目前最近产生的这个区块里的谜题所对应的“最快解”，那么你就赢得了这个区块的记账权——挖矿的奖励就是你的了。 与PoW机制相比，PoC有很多优势： 1、耗电量低，更加节能 相比于PoW，POC挖矿将算力替换成硬盘空间，在很大程度的杜绝了POW挖矿造成的资源浪费以及对环境不友好等问题，同时降低了挖矿成本

MySQL存储引擎 MySQL的存储引擎 存储引擎sql语句： 查看当前的默认存储引擎: mysql> show variables like "default_storage_engine"; 查询当前数据库支持的存储引擎 mysql> show engines \G; 常用引擎适用场景： InnoDB 用于事务处理应用程序，支持外键和行级锁。如果应用对事物的完整性有比较高的要求，在并发条件下要求数据的一致性，数据操作除了插入和查询之外，还包括很多更新和删除操作，那么InnoDB存储引擎是比较合适的。InnoDB除了有效的降低由删除和更新导致的锁定，还可以确保事务的完整提交和回滚，对于类似计费系统或者财务系统等对数据准确要求性比较高的系统都是合适的选择。 MyISAM 如果应用是以读操作和插入操作为主，只有很少的更新和删除操作，并且对事务的完整性、并发性要求不高，那么可以选择这个存储引擎。 Memory 将所有的数据保存在内存中，在需要快速定位记录和其他类似数据的环境下，可以提供极快的访问。Memory的缺陷是对表的大小有限制，虽然数据库因为异常终止的话数据可以正常恢复，但是一旦数据库关闭，存储在内存中的数据都会丢失。 不同的存储模式： 数据存在硬盘上，存三个文件，存表结构、数据、搜索目录； 数据存在硬盘上、存两个文件，表结构存一个文件，数据和搜索目录存一个文件； 数据存在内存中

哪些能恢复网站服务器的数据的方式 对于企业网站来说，数据库往往是服务器中最核心的部分，所以一旦数据库发生损坏，将会给企业带来巨大的损失，因此数据库的数据恢复功能变得越来越重要了。在服务器运行过程中，由于断电、操作不当或者是客观原因损坏到服务器的硬盘的时候，那么这时候有哪些能恢复网站服务器的数据的方式呢? 　　一、服务器存储系统非常重要，众所周知，硬盘作为服务器数据存储的主要设备，同时也是一种技术含量高、制造精密的设备，服务器硬盘的发展目前已达到每秒10000转或15000转，普通的SATA硬盘也非常接近这个转速，在运行当中，一点细小的故障都有可能造成硬盘物理损坏，所以一般服务器都采用Raid磁盘阵列存储，以加强服务器硬盘的容错功能。 　　二、除了Raid硬盘容错外，对于一些非常重要的数据要使用其它设备时时进行备份，推荐企业用户、商务用户架构的网络服务器，选用磁带机配合专业备份软件，定期定时做相对完善的备份方案。如果是个人用户的话，建议采用经济的CD- ROM/DVD光盘做为备份方式。 　　三、对于一些简单的误删除或格式化，针对文件不多，个人技术不错的情况下，可在网上下载一些恢复软件尝试来进行恢得，当然，做之前可以先用Ghost软件做个磁盘全备份，同时在恢复时最好是接从盘。当然，如果你个人恢复的结果不满意，请需要寻求专业的数据恢复公司进行操作了。 　　四、时刻注意服务器硬盘的运行状况

专题3-NandFlash变硬盘 第1课-NandFlash原理解析 角色分析 在电脑中有硬盘，它是用来存储文件的。嵌入式系统是防电脑的系统，在嵌入式系统中，NandFlash就相当于硬盘的存在。 NandFlash的分类 2.1 根据物理结构上的区别，NandFlash主要分为如下两类： l SLC（Single Level Cell）：单层式存储 l MLC（Muti Level Cell）：多层式存储 SLC在存储格上只存一位数据，而MLC则存放两位数据 2.2 MLC对比SLC 价格：由于MLC采用了更高密度的存储方式，因此同容量的MLC价格上远低于SLC 访问速度：SLC的访问速度一般要比MLC快3倍以上 使用寿命：SLC能进行10万次的擦写，MLC能进行1万次 功耗：MLC功耗比SLC高15%左右 访问方式 （1） 对比内存与NandFlash的编址区别 CPU内部有NandFlash控制，负责NandFlash与CPU之间的通信，通过地址、命令和数据三个寄存器来完成这一系列的通信。 （2） NandFlash地址构成 一块NandFlash划分成多个Block，一个Block划分成多个page，一个page划分成两个部分。 （3） 信号引脚 CLE(Command Latch Enable): 命令锁存允许 ALE(Address Lactch Enable):

Linux第一星期小结 在这一周中我由一个IT行业的圈外人逐渐进入到了这个行业，从计算机和服务器的基本结构及原理，到如何搭建系统运维环境，由此总结这一周所学习的知识点。 首先是运维人员三大职责： 1.保证数据不会丢失 2.保证服务稳定运行, 3.保证用户访问体验 一.服务器硬件组成详述 1.服务器硬件组成-电源 (1).提供冗余能力 (2)提供多路电源 (3)提供UPS不间断电源 (4)提供发电机 2.服务器硬件组成-CPU (1).CPU路数说明 (2).CPU核数说明 3.服务器硬件组成-内存 (1).程序概念说明 (2).进程概念说明（守护进程） (3).buffer缓冲与cache缓存概念区别 4.服务器硬件组成-磁盘 (1).磁盘接口类型 5.磁盘阵列卡介绍说明 (1). 可以获得更高的容量 (2). 可以获得更高的性能 (3). 可以获得更高的安全 6.存储数据单位与换算说明 存储单位: 1024Byte(字节) == 1KB 1024KB == 1MB 1024MB == 1GB 1024GB == 1TB 1024TB == 1PB 1024PB == 1EB 1024EB == 1ZB 7.服务器硬件组成-远程 (1).利用远程管理卡实现远程管理 (2).远程开关机 (3).远程制作raid (4).远程安装系统 (5).主要分为独立与集成独立网卡 (6)

Data3 周总结 运维人员的三大职责： 1、 保证数据的安全性，不丢失，不损坏。 2、 保证服务器7*24小时运行，且不宕机。 3、 提升用户的使用体验。 服务器硬件及作用： Cpu: 处理指令，执行操作，处理数据，就像人类的大脑。 电源： 提供供电。 主板： 汇总整合所有的硬件。 内存： 临时性存储数据。 硬盘： 永久性存储数据。 网卡： 实现数据的传输。 远程控制卡： 可以远程控制开机关机，以及远程网络安装操作系统 阵列卡：可以将多块磁盘容量整合为一块，增加磁盘容量，磁盘性能，提高磁盘安全性 风扇： 用于散热，防止服务器在运行过程中，温度过高。 服务器的类型及分类 外观： 如下图：塔式服务器： 如下图：机架式服务器： 如下图：刀片式服务器： 尺寸分类： 1、1U服务器 2、2U服务器 3、3U服务器 Ps:1U表示4.45cm 性能分类： 1、 Pc服务器 X86架构 2、 小型机服务器 3、 大型机服务器 如下图： 阵列卡 raid级别说明： 1、 Raid 0 优点：提升存储效率。缺点：数据存储安全性不高。 2、 Raid 1 优点：提升存储安全性。 缺点：数据存储效率不高。 3、 Raid 5 优点：存储效率高 安全性高。 LInux 操作系统的发展史： 1、linux之前，Unix历史 早在Linux出现之前的二十年（1970年代），就有一个相当稳定而成熟的操作系统了

磁盘性能指标--IOPS ---------------------------------------------------------- IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量，一般以每秒处理的I/O请求数量为单位，I/O请求通常为读或写数据操作请求。 随机读写频繁的应用，如小文件存储(图片)、OLTP数据库、邮件服务器，关注随机读写性能，IOPS是关键衡量指标。 顺序读写频繁的应用，传输大量连续数据，如电视台的视频编辑，视频点播VOD(Video On Demand)，关注连续读写性能。数据吞吐量是关键衡量指标。 IOPS和数据吞吐量适用于不同的场合： 读取10000个1KB文件，用时10秒 Throught(吞吐量)=1MB/s ，IOPS=1000 追求IOPS 读取1个10MB文件，用时0.2秒 Throught(吞吐量)=50MB/s, IOPS=5 追求吞吐量 磁盘服务时间 -------------------------------------- 传统磁盘本质上一种机械装置，如FC, SAS, SATA磁盘，转速通常为5400/7200/10K/15K rpm不等。影响磁盘的关键因素是磁盘服务时间，即磁盘完成一个I

第一章 网络空间安全概述 ==1.1. 工作和生活中的网络安全== 1.1.1 生活中常见的网络安全问题 1.账号密码被盗 2.信用卡被盗刷 3.除此之外还有网络诈骗和钓鱼网站等形形色色的网络空间安全事件 1.1.2 工作中常见的网络安全问题 1.网络设备面临的威胁 路由器是常用的网络设备，是企业内部网络与外界通信的出口。一旦黑客攻陷路由器，那么就掌握了控制内部网络访问外部网络的权力，将产生严重的后果。 2.操作系统面临的威胁 目前，我们常用操作系统是Windows和Linux，这两种系统也面临着网络空间安全威胁。一方面，操作系统本身有漏洞，黑客有可能利用这些漏洞入侵操作系统；另一方面，黑客有可能采取非法手段获取操作系统权限，非法操作系统或将其破坏。 3.应用程序面临的威胁 计算机上运行着大量的应用程序，应用程序的安全与企业和用户的正常工作息息相关。 ==1.2 网络空间安全的基本认识== 我们常说的网络空间，是为了刻画人类生存的信息环境或信息空间而创造的词。 国内尚未有公认的、准确的定义，以下为==ISO/IEC 27032:2012、ITU（国际电联）以及荷兰安全与司法部的文件==中关于网络空间安全的定义。 定义1 ：ISO/IEC 27032:2012——《Information technology-Security techniques-Guidelines for

概念 块(block)：由多个扇区组成，文件存储的最小单位 i节点（inode）：存储文件元信息的区域 inode包含的文件元信息 查询inode命令 删除文件也可以通过删除节点号删除 命令 find ./* -inum 节点号 -delete inode的大小 inode也会消耗硬盘空间，每个inode的大小，一般是128字节或256字节。inode的总数，在格式化时给定。执行df -i即可查看每个硬盘的inode总数和已经使用的数量 每个硬盘都有inode的总数，所以当inode节点耗尽以后，在该文件系统中将无法创建新的文件 上图时硬盘节点状况，在sbd1中目前只用了三个节点，在此硬盘中创建大量空文件，占据节点 由图可知，一旦占满节点，将无法创建文件 来源： https://blog.51cto.com/14449536/2433416