linux分区

设备文件 磁盘设备的设备文件命名：/dev/dev-file SCSI,SATA,SAS,IDE,USB: /dev/sd* 虚拟磁盘：/dev/vd 不同磁盘标识：a-z，aa，ab... /dev/sda,/dev/sdb,... 同一设备上的不同分区：1,2.。。 /dev/sda1,/dev/sda5 设备号码： major number 标识设备类型 minor number 标识同一类型下的不同设备 　　　　 磁盘存储术语： head 磁头 track 磁道 cylinder 　　　　 柱面 sector 扇区 　　 CHS: 采用24bit寻址 其中前10位表示cylinder，中间8位表示head，后面6位表示sector 最大寻址空间8GB LBA:（Logical block addressing） LBA是一个整数，通过转换成CHS格式完成磁盘具体 LBA采用48位寻址 最大寻址空间128PB 　　　　 使用分区空间步骤： 　　分区，创建文件系统，挂载 　　设备识别 　　设备分区 　　创建文件系统 　　标记文件系统 　　在/etc/fstab文件中创建条目 　　挂载新的文件系统 　　　　 磁盘分区： 　　为什么分区： 优化I/O性能 实现磁盘空间配额限制 提高修复速度 隔离系统和程序 安装多个OS 采用不同文件系统 　　　　　 分区： 两种分区方式：MBR

本节课介绍Linux文件目录 1、打开文件目录 df -h #查看磁盘使用情况挂载分区 umount /boot #卸载boot分区 mount /dev/sda1 /boot #把sda1分区挂载到boot目录 2、文件 目录介绍 来源： https://www.cnblogs.com/huxiangyang/p/12202404.html

注：linux swap分区 采用lvm管理，调控可以采用下面的方法 一. 查看 swap lv [root@testdb ~]# vgdisplay -v Finding all volume groups Finding volume group "VolGroup" --- Volume group --- VG Name VolGroup System ID Format lvm2 Metadata Areas 1 Metadata Sequence No 4 VG Access read/write VG Status resizable MAX LV 0 Cur LV 3 Open LV 3 Max PV 0 Cur PV 1 Act PV 1 VG Size 357.38 GiB PE Size 4.00 MiB Total PE 91489 Alloc PE / Size 34512 / 134.81 GiB Free PE / Size 56977 / 222.57 GiB VG UUID q6q2yf-Isfw-DnkL-JeSN-uTvC-l5m2-M0HEco --- Logical volume --- LV Path /dev/VolGroup/lv_root LV Name lv_root VG Name VolGroup LV UUID 0nFC6x

前面的话 　　本文将详细介绍Linux常见操作 基本概念 　　Linux严格区分大小写，所有内容以文件形式保存，包括硬件 　　Linux没有扩展名的概念，不靠扩展名来区分文件类型。但有一些约定俗成的扩展名 压缩包: .gz .bz2 .tar.bz2 .tgz 二进制软件包：.rpm 网页文件： .html .php 脚本文件： .sh 配置文件： .conf 　　[注意]windows下的程序不能直接在linux中安装和运行 　　Linux字符界面的优势如下： 　　1、占用的系统资源更少 　　2、减少了出错、被攻击的可能性 【分区类型】 　　主分区：最多只能有4个 　　扩展分区：最多只能有1个，主分区加扩展分区最多有4个，不能写入数据，只能包含逻辑分区 【硬件设置文件名】 硬件 设置文件名 IDE硬盘 /dev/hd[a-d] SCSI/SATA/USB硬盘 /dev/sd[a-p] 光驱 /dev/cdrom 或/dev/hdc 软盘 /dev/fd[0-1] 打印机(25针) /dev/1p[0-2] 打印机(USB) /dev/usb/1p[0-15] 鼠标 /dev/mouse 【挂载】 必须分区 / (根分区) swap分区 (交换分区，内存2倍，不超过2GB) 推荐分区 /boot (启动分区，200MB) 显示 【起始标识】 [root@bogon ~]# 　

https://www.cnblogs.com/ppp1314520818/p/11766295.html 磁盘分区 2 --- 磁盘挂载 ls /dev/ 查看磁盘是否被挂载 mount /dev/nvme0n1p1 /mnt/ 挂载 3--- 有一次挂载以后提示 该NVME盘被写保护 sudo fdisk /dev/nvme0n1 sudo mkfs.ext4 /dev/nvme0n1p1; sudo mount /dev/nvme0n1p1 /mnt/disk0_1; sudo chmod 777 /mnt/ -R //强制赋权限 来源： CSDN 作者： weiweiliulu 链接： https://blog.csdn.net/weiweiliulu/article/details/103990458

企业linux分区方案 方案1：针对网站集群架构中的某个节点服务器分区 该服务器上的数据有多份（其他节点也有）且数据不太重要，建议分区方案如下： /boot: 200MB swap: 物理内存的1.5倍，当内存大于或等于8GB时，配置为8-16GB即可 /: 剩余硬盘空间大小(/usr、/home、/var等分区和 “/” 公用一个分区，这相当于在windows系统中只有一个C盘，所有数据和文件都放在一起) 方案2: 针对数据库及存储角色的服务器分区 该服务器的业务有大量重要的数据，建议分区方案如下： /boot: 200MB /: 大小设置为50-200GB，只存放系统相关文件，网站等业务数据不放在这里。 swap: 物理内存的1.5倍，当内存大于或等于8GB时，配置为8-16GB即可 /data: 剩余硬盘空间大小，放数据库及存储服务等重要数据。当然，data的名称可以换成别的名字 注：本方案就是把重要数据单独分区，便于备份和管理 方案3: 针对大网站或门户级别企业的服务器进行分区 此分区方案更灵活，比较适合业务线比较多、需求不确定的大企业使用，建议分区如下： /boot: 200MB /: 大小设置为50-200GB，只存放系统相关文件，网站等业务数据不放在这里。 swap: 物理内存的1.5倍，当内存大于或等于8GB时，配置为8-16GB即可 剩余的磁盘空间保留，root

**Linux学习命令总结** 一般都在家目录操作 cd ~ 1. 学习命令文档 man + 命令 命令 --help 2.rm 删除文件夹 rm -r 文件夹名 3.绝对路径 与 相对路径 1. 以‘/’开始的； 2. 相对于当前家目录 4.mkdir -p 创建多层目录 5.同一个目录下，不管是文件夹还是文件，都不允许同名 6.*号，rm 1.txt*(删除以1开头的文件) 7.复制目录要 +r cp -r a test(a 为目录) 8.查看文档 cat -b(行号)n(所有行号，包括空行) more less head -n (列出前面多少行) tail -n（列出后面多少行） 9.grep -n(显示匹配行及行号) -v(显示不包含匹配的所有行号) -i（忽略大小写） 模式查找： ^a 以a开头的行 a$ 以a结尾的行 10.重定向：echo echo Hello python > a 讲显示在终端的内容 输出/追加 到指定文件中 > 表示输出，会覆盖文件原有的内容 >> 表示追加，会将内容追加到已有文件的末尾 11.管道 | more\grep常用 more:分屏显示内容 grep:在命令执行结果的基础上查询指定文本 12.远程管理命令 关机/重启 shutdown 1分钟后关机 shutdown -r now 立刻重启 shutdown -c 取消前面的命令

简介： HIVE是数据仓库和交互式查询的优秀框架，但随着数据的增多，join的复杂度和性能问题，需要花时间和精力解决性能优化的问题。除了基于HIVE本身优化，还可以接入计算性能更好的框架，SparkSQL relational cache对使用者透明，开发不需要关心底层优化逻辑，将更多精力放入业务设计开发。 作者：邓力，entobit技术总监，八年大数据从业经历，由一代HADOOP入坑，深耕云计算应用领域，由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域，对大数据生态及框架应用有深刻理解。 引言 随着商务/运营同学执行的HQL越来越多，整体HIVE执行效率变低，本文从HIVE切入，分析HQL面临的问题和待优化部分，结合其他大数据框架来解决实际问题。以下内容没有针对业务代码提供优化建议. 常见的HQL select型 设置hive.fetch.task.conversion=none会以集群模式运行，无论是否有limit。在数据量小时建议使用hive.fetch.task.conversion=more,此时select配合limit以单机执行获取样本数据，执行更快 常见的select配合order by/group by等基本操作不在此赘述 已经为大家精心准备了大数据的系统学习资料，从Linux-Hadoop-spark-......，需要的小伙伴可以点击 注：

为什么需要swap 根 据Redhat公司的建议,Linux系统swap分区最适合的大小是物理内存的1-2倍.不过Linux上有些软件对swap分区得需求较大,例如要顺 利执行Oracle数据库软件,swap分区至少需要400MB或者物理内存2倍以上的空间.当然我们在安装Linux的时候,就能直接讲swap分区设 置到足够的大小,但如果已经安装好Linux了,之后又想再安装类似Oracle的软件,却发现swap分区空间不够,该如何处理? 针对此种情况,有两种解决方法:一是创建新的swap分区;另一则是创建swap文件. 这里暂时对创建swap文件做说明 创建swap文件如果你的硬盘空间已经全部分配给其他分区,也没有多余的预算新添购硬盘,我们可以利用swap文件的方式增加虚拟的swap空间,不过执行性能会较实际的swap分区差. 1． 检查当前的swap分区情况 # free –m total used free shared buffers cached 　　Mem: 1006 84 922 0 11 38 　　-/+ buffers/cache: 35 971 　　Swap: 0 0 0 2． 增加交换分区文件及大小 如上，当前swap分区的大小为0，假如需要增加1024M的大小。 判定新交换文件的大小，将大小乘以1024来判定块的大小。例如

查看现有分区情况 查看/home谁在使用 fuser -mv /home 把那些使用/home的进程都杀了 kill -9 pid umount /home e2fsck -f /dev/mapper/centos-home，当我执行这个对分区进行检查的命令时，报错，发现找不到super-block，查了好久以为是分区表有问题，后面执行mount |grep root命令发现我的文件系统用的是xfs,不是ext,大部分磁盘工具都是支持ext格式的，所以下面查了xfs的分区调整 方法。 到这里我已经查了很多资料，最终发现，xfs只支持从free增加，压缩的话要重新格式化才行，所以到这里我已经放弃从home划分空间到根目录。 来源： CSDN 作者： fall_hat 链接： https://blog.csdn.net/fall_hat/article/details/103762654