linux分区

一、系统监控 1.用top命令实时监测CPU、内存、硬盘状态 效果类似Windows的任务管理器，默认每5秒刷新一下屏幕上的显示结果。 [root@localhost /]# top top - 17:39:47 up 45 min, 2 users, load average: 0.07, 0.05, 0.05 Tasks: 175 total, 3 running, 172 sleeping, 0 stopped, 0 zombie %Cpu(s): 14.0 us, 2.7 sy, 0.0 ni, 82.9 id, 0.0 wa, 0.0 hi, 0.3 si, 0.0 st KiB Mem : 1875716 total, 883260 free, 511916 used, 480540 buff/cache KiB Swap: 2097148 total, 2097148 free, 0 used. 1160536 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 2930 root 20 0 1491516 179012 49708 S 9.6 9.5 0:38.08 gnome-shell 1308 root 20 0 221852 29924 10696 R 5.0 1.6 0:12.65

基本分区管理 ==================================================================================== 基本分区(MBR|GPT) ----> Filesystem ----> mount 逻辑卷 ----> Filesystem ----> mount [root@server0 ~]# ll /dev/vd* brw-rw----. 1 root disk 253, 0 11月 30 15:02 /dev/vda brw-rw----. 1 root disk 253, 1 11月 30 15:02 /dev/vda1 brw-rw----. 1 root disk 253, 16 11月 30 15:02 /dev/vdb brw-rw----. 1 root disk 252, 32 11月 30 15:02 /dev/vdc [root@server0 ~]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT vda 253:0 0 10G 0 disk └─vda1 253:1 0 10G 0 part / vdb 253:16 0 10G 0 disk vdc 252:32 0 8G 0 disk ====fdisk==== MBR 4个分区

参考链接： https://hexeract.wordpress.com/2012/04/30/how-to-expand-the-root-filesystem-of-a-11-10-ubuntu-running-inside-vmware-player/ http://imcczy.com/how-to-expand-the-root-filesystem-in-vmware.html http://blog.csdn.net/ouyang_peng/article/details/53261599 查看需要修改的硬盘 cmd 到 VirtualBox 的安装目录 12 cd VirtualBoxVBoxManage list hdds 转换成vdi格式 已是 vdi 格式的则略过。 vmdk 转 vdi 1 VBoxManage clonehd D:Softwares...src.vmdk D:Softwares...dst.vdi --format VDI vdi 转 vmdk 1 VBoxManage clonehd D:Softwares...src.vdi D:Softwares...dst.vmdk --format VMDK 修改硬盘镜像文件 123 VBoxManage modifyhd D:Softwares...dst.vdi --resize 92160#

Linux分区及挂载点 1、Mount Point的意思是挂载点，这是Linux下访问磁盘分区的入口，即如果要往/boot分区（/dev/sda1）里写入数据，就必须通过/boot入口来写入，这一点与window是不同的。 2、File System type的意思是文件系统类型，就像window的fat32/ntfs一样，磁盘分区只有在设置了文件系统类型格式化并挂载上挂载点后，分区才能存放数据。目前有如下一些文件系统类型。 （1）ext2/ext3/ext4:是适合Linux的文件系统类型。由于ext3文件系统多了日志记录功能，因此系统恢复起来会更快速，ext4是ext3的升级，效率更加高，因此建议使用默认的ext4类型，而不使用ext2/ext3. (2)physcal volume(LVM):这是一种弹性 调整文件系统大小的机制，即可以让文件系统变大或变小，而不改变原有文件数据的内容，功能不错，但性能会下降。 （3）software RAID:利用Linux系统的特性，用软件仿真出磁盘阵列的功能。 （4）swap:就是内存交换空间。由于swap并不会使用到目录树的挂载。因此swap就不需要指定挂载点。 （5）vfat:同时被Linux与window所支持的文件系统类型。如果主机硬盘同时存在window与Linux俩种操作系统，有数据交换需求，可以使用该文件系统。 （6）xfs

前言 原文地址：https://blog.csdn.net/weixin_39510813/article/details/78387334?fps=1&locationNum=7 一般我们在安装虚拟机时都会选择默认的 20G 磁盘空间，但是一旦需要搭建一两个交叉编译环境后， 20G 的空间就无法满足了，我就是出现了这样的情况，所以也在这里建议大家，如果需要在虚拟机上搭建比较复杂的环境的话，一般给虚拟机 50G 的内存空间较合适。 这里是我的 Ubuntu 系统下现在的空间大小： 一旦达到97% 左右，系统会警告磁盘空间不足，在我的台式机上我已经扩展过了，今天扩展我的笔记本上的虚拟机，以此提供本篇博客的素材。 准备 我们首先需要咋 vm 虚拟机上进行磁盘的扩展： 在虚拟机 Ubuntu 系统处右键然后选择设置，选中磁盘，选择扩展磁盘容量，发现需要先关闭虚拟机， OK ，先关闭虚拟机 Ubuntu 。 设置磁盘大小后点击扩展： 之后发现扩展成功，虚拟机vm 提示从客户机操作系统内部对磁盘重新进行分区和扩展文件系统： 开始 OK ，我们对 Windows 磁盘进行分区等操作时一般会借助于一些软件进行磁盘分区的合并会拆分等，同样，我们本次在 Ubuntu 下也借助于该类型的软件帮助我们更好的实现磁盘的重新分区以及扩展文件系统，我们使用的软件是 gparted ，对于该软件这里不多做介绍

前言 文件系统是在内核中实现，能够对存储在磁盘上的二进制数据进行有效的层次化管理的一种软件。而用户程序为了实现在磁盘上使用或者创建文件，向内核发起系统调用(实际由文件系统向内核发起的系统调用)并转换为对应磁盘设备的电气信号的请求(数据存储在硬盘上,用户的”0,1”代码信号数据转换成磁盘能识别的存储机制)。 MBR：主引导记录 分区信息放在主引导记录中，为了让操作系统能识别分区 MBR(512bytes): 1，bootloader(引导加载器)：446bytes 2，fat(文件系统分配表)：64bytes(16bytes一个分区，共4个分区) 3，5A(MBR有效性标记)：2bytes 注：3个主分区，1扩展分区：引用额外的分区表–划分为逻辑分区 文件系统 特性 : 文件系统通常将权限和属性放置于inode中,实际数据则放到data block中,还有一个超级块会记录整个文件系统的整体信息,包括inode和block的总量,使用量和剩余量 super block：记录此文件系统的整体信息,inode和block的总量,使用量和剩余量和文件系统的格式和相关信息 inode：记录文件的属性,一个文件占用一个inode,同时记录此文件数据所在的block号码 block：实际记录文件内容,文件过大时,会占用多个block 基本功能是按文件名称实现存取

一、分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图： 二、Mapper任务的执行过程详解 每个Mapper任务是一个java进程，它会读取HDFS中的文件，解析成很多的键值对，经过我们覆盖的map方法处理后，转换为很多的键值对再输出。整个Mapper任务的处理过程又可以分为以下几个阶段，如图所示。 在上图中，把Mapper任务的运行过程分为六个阶段。 第一阶段是把输入文件按照一定的标准分片(InputSplit)，每个输入片的大小是固定的。默认情况下，输入片(InputSplit)的大小与数据块(Block)的大小是相同的。如果数据块(Block)的大小是默认值64MB，输入文件有两个，一个是32MB，一个是72MB。那么小的文件是一个输入片，大文件会分为两个数据块，那么是两个输入片。一共产生三个输入片。每一个输入片由一个Mapper进程处理。这里的三个输入片，会有三个Mapper进程处理。 第二阶段是对输入片中的记录按照一定的规则解析成键值对。有个默认规则是把每一行文本内容解析成键值对。“键”是每一行的起始位置(单位是字节)，“值

通过命令fdisk-l查看硬盘信息 可以看到有两块硬盘/dev/vda和/dev/vdb，启动vda是系统盘vdb是我们新增的数据盘。 2.执行以下命令，进入fdisk模式，开始对新增数据盘执行分区操作。 fdisk 新增数据盘 以新挂载的数据盘“/dev/xvdb”为例： fdisk /dev/xvdb 回显类似如下信息： 3.输入“n”，按“Enter”，开始新建分区。 回显类似如下信息： 表示磁盘有两种分区类型： • "p”表示主要分区。 • "e”表示延伸分区。 4.以创建一个主要分区为例，输入“p”，按“Enter”，开始创建一个主分区。 回显类似如下信息： “Partition number”表示主分区编号，可以选择1-4。 5.以分区编号选择“1”为例，输入主分区编号“1”，按“Enter”。 回显类似如下信息 “First sector”表示初始磁柱区域，可以选择2048-20971519，默认为2048。 6.以选择默认初始磁柱编号2048为例，按“Enter”。 回显类似如下信息： “Last sector”表示截止磁柱区域，可以选择2048-104857599，默认为104857599。 7.以选择默认截止磁柱编号2104857599为例，按“Enter”。 回显类似如下信息 表示分区完成，即为50GB的数据盘新建了1个分区。 8.输入“p”，按“Enter”

今天的主要活动是完成了实验一Linux系统常用命令 Spark运行基本流程 　　（1）当一个 Spark Application 被提交时，首先需要为这个应用构建起基本的运行环境， 即由 Driver 创建一个 SparkContext进行资源的申请、任务的分配和监控。 SparkContext 会向资源管理器注册并申 请运行 Executor 的资源； 　　（2）资源管理器为 Executor 分配资源，并启动 Executor 进程， Executor 启动以后会不断向资源管理器汇报其运行情况 　　（3）SparkContext 根据 RDD 的依赖关系构建 DAG 图，DAG 图提交给 DAGScheduler 进行解析，将 DAG 图分解成 Stage，并且计算出各个 Stage 之间的依赖关系，（ 每一个Stage阶段里面都会包含多个task，这些task构成一个taskset ）然后把一个个 TaskSet 提交给底层任务调度器 TaskScheduler 进行处理； （ TaskScheduler拿到taskset以后要把任务分配给相关的Executor 进程去运行这些task，但是它不能随便分配 必须接到Executor申请才会分配 ） Executor 会向 SparkContext 申请 Task，Task

Linux系统在全球都是比较受欢迎的，喜欢编程的更是对他爱不释手。好了不多bb，教程如下： io镜像都是通用，我在这儿用的是Red Hat。当然你们喜欢乌班图和centos也没啥问题，命令一样能敲。 Linux，在今天的广大电脑爱好者心中已经不再是那个遥不可及的新东西了，如果说几 年前的 Linux 是星星之火的话，如今 Linux 不仅在服务器领域的应用取得较大进展，而且在 桌面应用领域也有越来越多的人选择使用。Linux 的开放性和灵活性使它得以在实验室和其 它研究机构中被用于创新性技术变革的前沿，现在 Linux 已经真正地向广大的电脑爱好者们 敞开了大门。 只要你对 Linux 感兴趣，想要学习 Linux，那么本教程将带你走进 Linux 的世界。 第一章初识 Linux 在学习使用之前我们还是先来了解一下 Linux 吧。 Linux 是什么？按照 Linux 开发者的说法，Linux 是一个遵循 POSIX（标准操作系统界 面）标准的免费操作系统，具有 BSD 和 SYSV 的扩展特性（表明其在外表和性能上同常见的 UNIX 非常相象，但是所有系统核心代码已经全部被重新编写了）。它的版权所有者是芬兰 籍的 Linus B. Torvalds 先生。 1991 年 8 月这位来自芬兰赫尔辛基大学的年轻人 Linus Benedict Torvalds，对外发布