物理内存

前言：本文来剖析一个虚拟地址到真实的物理地址的映射过程。因为一旦牵扯到内核，则比较令人头疼，有未分析到的或者有误之处欢迎讨论。 我们知道，进程一旦被创建出来，操作系统会给进程分配4G的虚拟地址空间（32位体系），Linux在用户申请内存的时候，只是分配给了它一个线性区（虚拟地址），并没有分配实际的物理内存，只有当用户使用内存的时候，内存才会分配具体的物理页面给用户。我们就来剖析一下这个过程。 基础知识：cpu的位数：指的算术逻辑单元ALU的宽度或者说是数据总线的条数。 8086体系开始增加了几个寄存器：CS(代码段) DS（数据段）SS（堆栈段） ES（扩展段） IP（偏移量） 位数都是16位，然而地址总线的条数是20位 为了解决cpu寻址能力与内存之间的差异：定义内存段起始位置必须是16的倍数，意味着低四位为0。 所以段寄存器存入的是内存起始的高16位 当要通过寄存器中的值去总线中取数据时，必须先将段寄存器中的值<<4位，保证和总线的条数对应，可以访问2^20=1M的物理内存。 此时没有操作系统对内存的管理等进行权限的控制，我们称之为实地址模式下的地址映射，也称为 实模式*。 例：要访问数据段的内存：物理内存=DS<<4+IP 接下来用一张自绘图来描绘实模式的地址映射 实模式下存在很多问题,例如： 1.内存的起始地址。 2.内存段的大小。 3.内存的访问权限。 这些都没有做控制

1、用户编制程序时使用的地址称为 虚地址或逻辑地址 ，其对应的存储空间称为虚存空间或逻辑地址空间；而计算机物理内存的访问地址则称为实地址或物理地址，其对应的存储空间称为物理存储空间或主存空间。 2、虚拟存储器的 容量限制 ：主存容量+辅存（硬盘）容量。 3、 物理内存： 在应用中，真实存在的，插在主板内存槽上的内存条的容量的大小。从本质上来说，物理内存是代码和数据在其中运行的窗口。 4、 虚拟内存： 使程序认为它拥有连续的可用的内存（一个连续完整的地址空间），而实际上，它通常是被分隔成多个物理内存碎片，还有部分暂时存储在外部磁盘存储器上，在需要时进行数据交换。 若计算机运行程序或操作所需的随机存储器(RAM)不足时，则 Windows 会用虚拟存储器进行补偿，即拿出一部分硬盘空间来充当内存使用，这部分空间即称为虚拟内存，虚拟内存在硬盘上的存在形式就是 PAGEFILE.SYS这个页面文件。它将计算机的RAM和硬盘上的临时空间组合。将数据移入分页文件可释放RAM，以便完成工作。 若计算机的速率由于RAM可用空间匮乏而减缓，则可尝试通过增加虚拟内存来进行补偿。但是，计算机从RAM读取数据的速率要比从硬盘读取数据的速率快，因而扩增RAM容量（可加内存条）是最佳选择。 分页文件：硬盘上一个或者多个隐藏文件pagefile.sys，Windows用于存储未存入内存的部分程序和数据文件

使用Java程序从数据库中查询大量的数据时出现异常:java.lang.OutOfMemoryError: Java heap space 在JVM中如果98%的时间是用于GC且可用的 Heap size 不足2%的时候将抛出此异常信息。 JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置.JVM在启动的时候会自动设置Heap size的值，其初始空间(即-Xms)是物理内存的1/64，最大空间(-Xmx)是物理内存的1/4。可以利用JVM提供的-Xmn -Xms -Xmx等选项可进行设置。 例如：java -jar -Xmn16m -Xms64m -Xmx128m MyApp.jar 如果Heap Size设置偏小，除了这些异常信息外，还会发现程序的响应速度变慢了。GC占用了更多的时间，而应用分配到的执行时间较少。 Heap Size 最大不要超过可用物理内存的80%，一般的要将-Xms和-Xmx选项设置为相同，而-Xmn为1/4的-Xmx值。 Heap size的 -Xms -Xmn 设置不要超出物理内存的大小。否则会提示“Error occurred during initialization of VM Could not reserve enough space for object heap”。

[转载]Linux缓存机制 来源： https://blog.csdn.net/weixin_38278334/article/details/96478405 linux下的缓存机制及清理buffer/cache/swap的方法梳理 缓存机制介绍 写的很好： https://www.cnblogs.com/kevingrace/p/5991604.html 在Linux系统中，为了提高文件系统性能，内核利用一部分物理内存分配出缓冲区，用于缓存系统操作和数据文件，当内核收到读写的请求时，内核先去缓存区找是否有请求的数据，有就直接返回，如果没有则通过驱动程序直接操作磁盘。 缓存机制优点：减少系统调用次数，降低CPU上下文切换和磁盘访问频率。 cache是高速缓存，用于CPU和内存之间的缓冲； buffer是I/O缓存，用于内存和硬盘的缓冲； CPU上下文切换：CPU给每个进程一定的服务时间，当时间片用完后，内核从正在运行的进程中收回处理器，同时把进程当前运行状态保存下来，然后加载下一个任务，这个过程叫做上下文切换。实质上就是被终止运行进程与待运行进程的进程切换。 Swap用途：Swap意思是交换分区，对应通常我们说的虚拟内存，是从硬盘中划分出的一个分区。当物理内存不够用的时候，内核就会释放缓存区（buffers/cache）里一些长时间不用的程序，然后将这些程序临时放到Swap中

训练DQN，报错：OSError: [Errno 12] Cannot allocate memory 问题介绍： 这两天在做强化学习的作业，使用 DQN 打 Atari 游戏，但在训练过程中，出现了题目中描述的错误。 解决方案： 参考链接（ https://github.com/openai/gym/issues/110 ） （1）涉及知识：linux 的 overcommit_memory 、 overcommit_ratio overcommit_memory 是内核对内存分配的一种策略。 vm.overcommit_memory 共有三种取值，分别为 0， 1， 2 vm.overcommit_memory = 0： 表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。 vm.overcommit_memory = 1： 表示内核允许分配所有的物理内存，而不管当前的内存状态如何。 vm.overcommit_memory = 2： 拒绝等于或者大于总可用 swap 大小以及 overcommit_ratio 指定的物理 RAM 比例的内存请求。 overcommit_ratio 默认为 50，为物理内存分配时的比例。 只有当 vm.overcommit_memory = 2 的时候才会生效

此种报错一般有两种情况， 1> 数据库sga+pga分配太大，如果是此种情况需要调整新的pfile.ora文件重启启动数据库 2> 另外一种情况就是系统资源足够但是参数做了限制 影响sga分配的参数为cat /etc/sysctl.conf 标记的两个参数 fs.aio-max-nr = 1048576 fs.file-max = 6815744 kernel.shmall = 2097152 kernel.shmmax = 536870912 kernel.shmmni = 4096 kernel.sem = 250 32000 100 128 net.ipv4.ip_local_port_range = 9000 65500 net.core.rmem_default = 262144 net.core.rmem_max = 4194304 net.core.wmem_default = 262144 net.core.wmem_max = 1048576 1. kernel.shmmax ： 是核心参数中最重要的参数之一，用于定义单个共享内存段的最大值。设置应该足够大，能在一个共享内存段下容纳下整个的 SGA , 设置的过低可能会导致需要创建多个共享内存段，这样可能导致系统性能的下降。至于导致系统下降的主要原因为在实例启动以及 ServerProcess 创建的时候，

Linux有很多很好的内存、IO调度机制，但是并不会适用于所有场景。对于DBA来说Linux比较让人头疼的一个地方是，它不会因为MySQL很重要就避免将分配给MySQL的地址空间映射到swap上。对于频繁进行读写操作的系统而言，数据看似在内存而实际上在磁盘是非常糟糕的，响应时间的增长很可能直接拖垮整个系统。这篇blog主要讲讲我们作为DBA，怎样尽量避免MySQL惨遭swap的毒手。 首先我们要了解点基础的东西，比如说为什么会产生swap。假设我们的物理内存是16G，swap是4G。如果MySQL本身已经占用了12G物理内存，而同时其他程序或者系统模块又需要6G内存，这时候操作系统就可能把MySQL所拥有的一部分地址空间映射到swap上去。 cp一个大文件，或用mysqldump导出一个很大的数据库的时候，文件系统往往会向Linux申请大量的内存作为cache，一不小心就会导致L使用swap。这个情景比较常见，以下是最简单的三个调整方法： 1、/proc/sys/vm/swappiness的内容改成0（临时），/etc/sysctl.conf上添加vm.swappiness=0（永久） 这个参数决定了Linux是倾向于使用swap，还是倾向于释放文件系统cache。在内存紧张的情况下，数值越低越倾向于释放文件系统cache。 当然，这个参数只能减少使用swap的概率

在运行java桌面应用程序的时候，有时候会因为jvm内存太小，从而内存溢出，程序崩溃。 可是通过修改 eclipse.ini 中的参数，来实现修改jvm的内存大小。 -vmargs -Xms128M -Xmx512M -XX:PermSize=64M -XX:MaxPermSize=128M 这里有几个问题： 1. 各个参数的含义什么？ 2. 为什么有的机器我将-Xmx和-XX:MaxPermSize都设置为512M之后Eclipse可以启动，而有些机器无法启动？ 3. 为何将上面的参数写入到eclipse.ini文件Eclipse没有执行对应的设置？ 1. 各个参数的含义什么？ 参数中-vmargs的意思是设置JVM参数，所以后面的其实都是JVM的参数了，我们首先了解一下JVM内存管理的机制，然后再解释每个参数代表的含义。 堆(Heap)和非堆(Non-heap)内存 按照官方的说法：“Java 虚拟机具有一个堆，堆是运行时数据区域，所有类实例和数组的内存均从此处分配。堆是在 Java 虚拟机启动时创建的。”“在JVM中堆之外的内存称为非堆内存(Non-heap memory)”。可以看出JVM主要管理两种类型的内存：堆和非堆。简单来说堆就是Java代码可及的内存，是留给开发人员使用的；非堆就是JVM留给自己用的，所以方法区、JVM内部处理或优化所需的内存

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/flowing_wind/article/details/81240910 谈到malloc函数相信学过c语言的人都很熟悉，但是malloc底层到底做了什么又有多少人知道。 1、关于malloc相关的几个函数 关于malloc我们进入Linux man一下就会得到如下结果： 也可以这样认为（window下）原型： extern void *malloc(unsigned int num_bytes); 头文件： #include<malloc.h>或者#include<alloc.h>两者的内容是完全一样的1 如果分配成功：则返回指向被分配内存空间的指针 不然返回指针NULL 同时，当内存不再使用的时候，应使用free()函数将内存块释放掉。 关于：void*,表示未确定类型的指针，c,c++规定void*可以强转为任何其他类型的指针，关于void还有一种说法就是其他任何类型都可以直接赋值给它，无需进行强转，但是反过来不可以 malloc: malloc分配的内存大小至少为参数所指定的字节数 malloc的返回值是一个指针，指向一段可用内存的起始位置，指向一段可用内存的起始地址，多次调用malloc所分配的地址不能有重叠部分

.NET虽然拥有强大易用的 垃圾回收机制 ，但并不是因为这样，你就可以对资源管理放任不管，其实在稍不注意的时候，可能就造成了资源泄露，甚至因此导致系统崩溃，到那时再来排查问题就已经是困难重重。 一、知识点简单介绍 常见的资源泄露有： 内存泄漏：非托管资源没有释放、非静态对象注册了静态实例。 GDI泄露：字体。 句柄泄露：Socket或线程。 用户对象泄露：移除的对象未释放。 二、具体实例 1. 内存泄漏 很常见的现象是分不清哪些对象需要释放，对于控件、Stream等一些非托管资源也只管新增，却没有释放，功能是实现了，却埋了颗不小的雷。 private void button1_Click(object sender, EventArgs e) { for(int i=0;i<1000;i++) this.Controls.Add(new TabPage()); } private void button1_Click(object sender, EventArgs e) { new Form2.ShowDialog(); } 如果你觉得写这样的代码很Cool，很简洁，你在项目中也有这么写代码，那你就碰到大麻烦了，你试试在上面Form2中开个大一点的数组来检查内存，然后运行，按几下按钮，你就会发现，内存一直增加，即使你调用了GC也无济于事。所以，对于此类非托管资源要记住释放