硬盘

作为一个程序员,内存的这些硬核知识你必须懂!

会有一股神秘感。 提交于 2020-01-31 05:20:15
我们之前讲过CPU,也说了CPU和内存的那点事儿,今天咱就再来说说有关内存,作为一个程序员,你必须要懂的哪那些硬核知识! 大白话聊一聊,很重要! 先来大白话的跟大家聊一聊,我们这里说的内存啊,其实就是说的我们电脑里面的内存条,所以嘞,内存就是内存条,数据要放在这上面才能被cpu读取从而做运算,还有硬盘,就是电脑中的C盘啥的,一个程序需要运行的话需要向内存申请一块独立的内存空间,这个程序本身是存放在硬盘上的,申请完内存之后会存放在内存上。 如果一个程序不经常使用,操作系统会把这个程序的数据从内存上移动到硬盘上,如果这个程序再次被唤醒,操作系统会再次将硬盘上的数据重新交换到内存上,这个时候可以听到硬盘吱吱的响😂 比如我们使用移动硬盘的时候,在电脑上打开移动硬盘上的文件,会听见移动硬盘响起来,这个就是在读取硬盘上的文件,这个效率其实是很低的​ 内存到底是个啥? 上面我们说了,内存就是内存条,那么这句话准确吗?肯定有人说,不对,什么内存就是内存条啊,净是瞎扯😒,那到底是不是呢?其实还真不是,那我为啥还那样说,形象啊,有助于你理解啊😂,接下来咱们就来深挖一下,过后,你就明白了! 先从内存条说说 前面说过了,内存条嘛,作为程序员的我们肯定都知道,就是那短短的扁扁的一个小电路板,而且还不便宜,对的,实际存在的这个内存设备也就是我们说的内存条,它是一个电子元件,内存的实质是内存IC(后面会详细说)

大数据学习之MapReduce核心(Shuffle洗牌)12

我们两清 提交于 2020-01-31 04:49:05
先来个原理图压压惊: 温馨提示:如果看不清这个图,可以下载下来,在自己电脑上可以放大。      或者直接放大浏览器。快捷键Ctrl+鼠标滑轮上即可放大。想恢复原来浏览器的默认大小,快键键:Ctrl+数字0 一:概述shuffle   Shuffle是mapreduce的核心,链接map与reduce的中间过程。   Mapp负责过滤分发,而reduce则是归并整理,从mapp输出到reduce的输入的这个过程称为shuffle过程。 二:map端的shuffle  1.map结果的输出   map的处理结果首先存放在一个环形的缓冲区。   这个缓冲区的内存是100M,是map存放结果的地方。如果数据量较大,超过了一定的量(默认80M),将会发生溢写过程。   在mapred-site.xml中设置内存的大小     <property>       <name>mapreduce.task.io.sort.mb</name>       <value>100</value>     </property>   在mapred-site.xml中设置内存溢写的阈值       <property>       <name>mapreduce.task.io.sort.spill.percent</name>       <value>0.8</value>     <

硬盘

爷,独闯天下 提交于 2020-01-31 03:37:29
硬盘介绍 一、硬盘分为机械硬盘(HDD)和固态硬盘(SSD)。 机械硬盘组成 机械硬盘基本知识(磁头、磁道、扇区、柱面) 1.盘片 2.扇区 和 磁道 3.磁头 和 柱面 磁盘容量计算 磁盘读取响应时间 块/簇 page 扇区、块/簇、page的关系 二、硬盘的接口 查看自己电脑的硬盘接口 一、硬盘分为机械硬盘(HDD)和固态硬盘(SSD)。 Hard Disk Drive:是传统的盘片+磁头的工作原理,数据都是存储在盘片上面,磁头在盘片上面“做运动”来读取和处理数据信息。 Solid State Disk:SSD由控制单元和存储单元(FLASH芯片、DRAM芯片)组成。存储介质分为两种,一种是采用闪存(FLASH芯片)作为存储介质,另外一种是采用DRAM作为存储介质。 SSHD是混合硬盘,说白了就是HDD+SSD=SSHD,SSHD硬盘主体是机械硬盘,但是盘体上自带闪存模块,此闪存模块负责的工作是数据的运算处理和数据的传输,这混合硬盘上面配备的闪存模块我们也可以理解为SSD固态硬盘,只是这SSD固态硬盘的容量不大,一般混合硬盘里面的SSD是用来启动操作系统的,混合硬盘里面的SSD模块是存储系统缓存文件的。 机械硬盘组成 机械硬盘基本知识(磁头、磁道、扇区、柱面) 1.盘片 硬盘中一般会有多个盘片组成,每个盘片包含两个面,每个盘面都对应地有一个读/写磁头

redis入门学习(二) 数据持久化

此生再无相见时 提交于 2020-01-30 16:55:50
通过前面的学习,了解了redis的各个数据类型后,知晓了为何使用redis 它的优势主要是数据存储和查询比关系型数据库快, 这是因为redis的数据都是存储在内存中的原因,并且具有较多的数据类型, 使得在访问查询高频数据时我们可以放置在redis进行缓存,进而减小mysql的访问压力, 而正因为redis存储在内存中的原因, 导致在redis服务关闭前,如果未将内存中的数据存在磁盘上会导致数据的丢失 redis也在这方面进行了处理,尽最大可能的减少数据丢失的概率 这章也主要学习的就是redis的数据持久化方面的处理操作 主要分两类处理:RDB 和 AOF 前者将根据指定的规则"定时"将内存中的数据存储在硬盘上 后者则是在每次执行命令后将命令本身记录下来 首先学习第一种 RDB RDB方式的持久化是通过快照完成的, 当符合一定条件时Redis会自动将内存中的所有数据生成一份副本并存储在硬盘上 ,这个过程即为"快照" 那么什么为其符合的条件呢: · 根据配置规则进行自动快照 · 用户执行SAVE 或 BGSAVE命令 · 执行FLUSHALL 命令 · 执行复制时 1》 根据配置规则进行自动快照 首先找到配置文件 该配置是用户自定义其快照条件,规则:时间窗口M 和 改动键的个数N 即当在M的时间段内更改键的个数大于N,即为符合自动快照的条件,如: save 900 1 save 300

我的第一次diy装机记录——小白的配置篇

 ̄綄美尐妖づ 提交于 2020-01-30 10:12:32
工欲善其事,必先利其器 相对于IT人来说,电脑是个好东西,应该是第二个除了手机陪伴我们最长的东西。今年4月份来的杭州,留下了那款陪我征战4年的笔记本,没有电脑,下班后的夜晚索然无味,身心的需求也日渐强盛。。。 一,台式机 or 笔记本? 有需求就得有解决方案,分析一下两个的区别: 1,便携性:台式机笨重不便于携带;笔记本轻巧说走就走,合适经常出差的 2,性能:两者都有高低之分,不过笔记本散热没台式好 3,价格:一般同等配置的笔记本要比台式机贵点,毕竟多了块屏幕 。。。 所以作为家境贫寒的我,又不会经常出差,被台式机的性价比所吸引,虽然后面搬家可能会麻烦一点 二,台式机配置 选择了台式机,那么是选择品牌整机还是diy一台,这是个问题! 作为一个千翻(折腾)的测试员,简单纯粹,当然diy啊,因为整机是没有灵魂的! 接下来准备该配置了,一般来说,什么配置由使用需求决定。不要最好,只要更好。那么中上级别的配置怎么选择: (网上资料很多,以下仅供参考) 1,CPU cpu相当于人类的大脑,一般来说频率越高,脑袋瓜越灵活。cpu分Intel和AMD两个阵营,我截个cpu天梯图如下,越靠上的越牛逼,问Intel和AMD的谁最好?(就像问什么语言是世界上最好的编程语言?) 我选的是Ryzen 5 2600x,买新不买旧,主要是性价比高。 2,主板 主板就相当于人体的骨骼系统

Mac在有S.M.A.R.T错误的情况下安装OSX系统

非 Y 不嫁゛ 提交于 2020-01-30 10:05:15
根据实践经验总结的过程仅供参考(双系统方案) 注:OSX为Mac使用的系统 在最开始明确一下此方法的弊端以及适用情况 **适用情况**:硬板本身具有S.M.A.R.T错误, 无其他严重问题 但无法安装OSX系统,现有可用的Windows系统(或者可用的PE),硬盘里 没有重要 的文件(任何文件),有装系统的经验。 弊端 : 只能 用于安装 最原始 版本的OSX,即买回来时安装的版本,且因为新版的系统会自检,故无法正常更新,现许多软件都需要10.9.x以上版本,如最老版本不达标,意味着没办法正常安装软件(人话:只能安装最老的版本,没办法更新)。 原理:用苹果的恢复功能把系统安装在U盘,再将U盘里的系统拷贝到硬盘里,完成 分步骤: 准备:一块32G以上的闲置U盘 && 良好的WiFi && 一块Windows的PE启动盘(或者纯系统盘) &&一块U盘里装有 diskgenius软件,以及Mac必备驱动bootcamp 1 .用diskgenius分出一块空闲磁盘,按准备预留的osx系统大小来分区, 并格式化分区 2 . 在Windows系统中用diskgenius将 硬盘 分区格式从MBR改为GUID格式 //osx的系统分区格式为GUID 实施 : 2.1选中磁盘 2.2点击【硬盘】 2.3点击【转换分区表类型为GUID格式】 2.4 【保存更改】 //(系统崩溃是正常反应, 跳【2

Redis持久化方案

随声附和 提交于 2020-01-30 00:08:43
1 Redis 持久化方案 Redis 是一个 内存 数据库,为了保证数据的持久性,它提供了两种持久化方案 : l RDB 方式(默认) l AOF 方式 1.1 RDB 方式 1.1.1 介绍 l RDB 是 Redis 默认 采用的持久化方式。 l RDB 方式是通过 快照 ( snapshotting )完成的,当 符合一定条件 时 Redis 会自动将内存中的数据进行快照并持久化到硬盘。 l Redis 会在 指定的情况 下触发快照 1. 符合自定义配置的快照规则 2. 执行 save 或者 bgsave 命令 3. 执行 flushall 命令 4. 执行主从复制操作 l 在 redis.conf 中设置自定义快照规则 1. RDB 持久化条件 格式: save <seconds> <changes> 示例: save 900 1 : 表示 15 分钟( 900 秒钟)内 至少 1 个键被更改则进行快照。 save 300 10 : 表示 5 分钟( 300 秒)内至少 10 个键被更改则进行快照。 save 60 10000 :表示 1 分钟内至少 10000 个键被更改则进行快照。 可以配置多个条件(每行配置一个条件),每个条件之间是 “ 或 ” 的关系。 save 900 1 save 300 10 save 60 10000 2. 配置 dir 指定 rdb

Linux磁盘管理精讲

守給你的承諾、 提交于 2020-01-29 22:09:51
博文目录 一、磁盘基础 1、磁盘结构 二、磁盘分区表示 1、磁盘分区结构 2、文件系统类型 三、规划硬盘分区 1、检测并确认新硬盘 2、规划硬盘中的分区 一、磁盘基础 1、磁盘结构 硬盘存储容量=磁头数x磁道(柱面)数x每道扇区数x每扇区字节数 可以用柱面/磁头/扇区来唯一定位磁盘上每一个区域 1)硬盘的物理结构 盘片:硬盘有多个盘片,每盘片2面; 磁头:每面一个磁头; 2)硬盘的数据结构 扇区:盘片被分为多个扇形区域,每个扇区存放512字节的数据; 磁道:同一盘片不同半径的同心圆; 柱面:不同盘片相同半径构成的圆柱面; 3)磁盘接口类型 IDE(并口):基本上已经淘汰; SATA(串口):速度快,纠错能力强,目前主流接口,应用广泛; SCSI:转速快,CPU占用资源低,支持热插拔; 4)MBR主引导记录 MBR(Master Boot Record)位于硬盘第一个物理扇区处;MBR中包含硬盘的主引导程序和硬盘分区表;分区表有4个分区记录区,每个分区记录区占16个字节。 二、磁盘分区表示 Linux中将硬盘、分区等设备均表示为文件。 IDE:/dev/hda5,硬盘的顺序号用a~z表示,分区的顺序号用数字表示,1~4表示为主分区,5以后表示为逻辑分区,计算机总共两块IDE接口磁盘。 SATA,SCSI:/dev/sdb2,计算机总共三块SATA或者SCSI接口的硬盘。 应用举例如下

Linux挂载机械硬盘

本秂侑毒 提交于 2020-01-29 21:15:32
See this article on my own blog https://dyingdown.github.io/2020/01/29/Mount-mechanical-hard-disk-on-Linux/ 我最近遇到了一个新问题:我切换到Linux系统,但是我的Blog文件夹在机械硬盘下。我希望我的 Blog 文件夹可用命令而不是手动访问。因此,要实现这一目标,我学到了一个词“挂载”。通过使用mount,可以通过命令访问我的博客文件夹。分三个步骤: 新建一个目录 挂载机械硬盘 设置开机自动挂载 什么是挂载 mount 首先,你需要知道Linux中的所有事物都表示为文件目录。你的机械硬盘不是文件夹。因此,你需要将其设置为Linux中的文件夹。就像你使用文件夹包装磁盘一样,使它看起来像一个文件夹,以便Linux可以访问它。这就是我对 挂载 的理解。 Mounting is a process by which the operating system makes files and directories on a storage device (such as hard drive , CD-ROM , or network share ) available for users to access via the computer’s file system .[ 1]

揭秘Windows 8中的隐藏分区

谁都会走 提交于 2020-01-29 05:30:42
很多朋友在安装系统的时候总是遇到分区问题,而且很多IT网站也说过如何分区,这里就不得不提到议论纷纷的"隐藏分区"。有些人认为这个分区完全无用,有些人认为这个分区至关重要,那么到底是什么情况呢? 既然说到分区,那么得先说一下硬盘,毕竟数据都是存硬盘上的。在很久很久之前,硬盘都是30,40G的年代,当时用户都没怎么关心过如何分区,因为Ghost这类软件可以直接快速恢复,而且Win9x的系统在安装过程中是不提供分区选择的,只能安装到第一个分区。但是随着后面NT内核的操作系统的普及,Win2000和XP被大众接受之后,分区的问题才渐渐显露出来,而之后硬盘容量的扩大,也出现了137G的问题,在那之后,相信很少人再去使用Win9x系统了。 从Windows 7开始,使用裸机全新安装的方法,系统会默认在硬盘开始部分划分出来隐藏分区,大小在100M左右。在Windows 8中,该分区大小为350M,如下图,是我使用Windows 8全新安装之后,系统自己划分的分区情况。(还有15G是用于其他用途了) 可以看出,磁盘管理显示了,350M的分区是具有系统分区,活动分区,主分区的属性,后面那个分区是Windows 8 所在分区,包含了启动,页面文件,故障转储,主分区等属性。 对这个分区点右键,选择"更改驱动器号和路径",点击"添加",选择一个盘符之后点击确定就可以了