内存碎片

什么是链表 和数组一样，链表也是一种线性表。 从内存结构来看，链表的内存结构是不连续的内存空间，是将一组零散的内存块串联起来，从而进行数据存储的数据结构。 链表中的每一个内存块被称为节点Node。节点除了存储数据外，还需记录链上下一个节点的地址，即后继指针next。 链表的特点 插入、删除数据效率高，时间复杂度为O(1)，只需更改指针指向即可。 随机访问效率低，时间复杂度为O(n)，需要从链头至链尾进行遍历。 和数组相比，链表的内存空间消耗更大，因为每个存储数据的节点都需要额外的空间存储后继指针。 常见的链表结构 单链表 每个节点只包含一个指针，即后继指针。 单链表有两个特殊的节点，即首节点和尾节点。 用首节点地址表示整条链表，尾节点的后继指针指向空地址null。 性能特点，插入和删除节点的时间复杂度为O（1），查找的时间复杂度为O(n)。 循环链表 除了尾节点的后继指针指向首节点的地址外均与单链表一致。 适用于存储有循环特点的数据，比如约瑟夫问题。 双向链表 节点除了存储数据外，还有两个指针分别指向前一个节点地址（前驱指针prev）和下一个节点地址（后继指针next）。 首节点的前驱指针prev和尾节点的后继指针next均指向空地址。 性能特点，和单链表相比，存储相同的数据，需要消耗更多的存储空间。 插入、删除操作比单链表效率更高，时间复杂度为O(1)。以删除操作为例

nginx+memcached nginx的memcached_module模块可以直接从memcached服务器中读取内容后输出，后续的请求不再经过应用程序处理，如php-fpm、django，大大的提升动态页面的速度。nginx只负责从memcached服务器中读取数据，要往memcached写入数据还得需要后台的应用程序来完成，主动的将要缓存的页面缓存到memcached中，可以通过404重定向到后端去处理的。 整个请求的用户通过上图可得做，nginx可以先从memcached缓存先获取数据，，但缓存没有命中的时候rewrite到去请求去获取资源并缓存到memcached。 memcached 在memcached内存分配之前，先说下linux内存管理管理中用到的两种避免内存碎片的机制。 Buddy system 伙伴系统避免内存外的碎片，linux内核分配内存的方式是按照页框（默认4k大小）进行的，由于页框大小是4k，而很多信息打开需要用到几个页框，外碎片就是指内核想找一个大页框来存储某些信息时都无法找到，而buddy system就是会自动将相邻的页框合并成连续的大空间的一种机制。 Slab allocator slab分配器避免内存内的碎片，linux内核分配内存的方式是按照页框(默认4k大小)进行的，由于页框大小是4k

Apache Spark由于其出色的性能、简单的接口和丰富的分析和计算库而获得了广泛的行业应用。与大数据生态系统中的许多项目一样，Spark在Java虚拟机(JVM)上运行。因为Spark可以在内存中存储大量数据，因此它主要依赖于Java的内存管理和垃圾收集(GC)。但是现在，了解Java的GC选项和参数的用户可以调优他们的Spark应用程序的最佳性能。本文描述了如何为Spark配置JVM的垃圾收集器，并给出了实际的用例来解释如何调优GC，以提高Spark的性能。我们在调优GC时考虑关键因素，如收集吞吐量和延迟。 spark和GC的介绍： 随着Spark的广泛应用，Spark应用程序的稳定性和性能调优问题越来越成为人们关注的话题。由于Spark以内存为中心的方法，通常使用100GB或更多内存作为堆空间，这在传统的Java应用程序中很少见到。在与使用Spark的大公司合作时，我们收到了许多关于GC在执行Spark应用程序时所面临的各种挑战的担忧。例如，垃圾收集需要很长的时间，导致程序经历长时间的延迟，甚至在严重的情况下崩溃。在本文中，我们使用真实的例子，结合具体的问题，讨论可以缓解这些问题的Spark应用程序的GC调优方法。 Java应用程序通常使用这两种GC策略 : 并发标记清理(Concurrent Mark Sweep garbage collection简称CMS

java虚拟机运行时数据区 方法区 ​ 属于共享内存区域，存储已被虚拟机加载的类信息、常量、静态变量、即时编译器编译后的代码等数据。 java虚拟机： ​ 线程私有，生命周期和线程一致。描述的是 Java 方法执行的内存模型：每个方法在执行时都会床创建一个栈帧(Stack Frame)用于存储 局部变量表 、 操作数栈 、 动态链接 、 方法出口 等信息。每一个方法从调用直至执行结束，就对应着一个栈帧从虚拟机栈中入栈到出栈的过程。 StackOverflowError：线程请求的栈深度大于虚拟机所允许的深度。 OutOfMemoryError：如果虚拟机栈可以动态扩展，而扩展时无法申请到足够的内存。 本地方法栈 ​ 区别于 Java 虚拟机栈的是，Java 虚拟机栈为虚拟机执行 Java 方法(也就是字节码)服务，而本地方法栈则为虚拟机使用到的 Native 方法服务。也会有 StackOverflowError 和 OutOfMemoryError 异常。 java堆 ​ 对于绝大多数应用来说，这块区域是 JVM 所管理的内存中最大的一块。线程共享，主要是存放对象实例和数组。内部会划分出多个线程私有的分配缓冲区(Thread Local Allocation Buffer, TLAB)。可以位于物理上不连续的空间，但是逻辑上要连续。 程序计数器 内存空间小，线程私有

1、memcache启动参数 memcached -h memcached 1.4.20 -p < num > TCP端口，默认为11211，可以不设置 -U < num > UDP端口，默认为11211，0为关闭 -s < file > UNIX socket-a < mask > access mask for UNIX socket, in octal ( default: 0700 ) -l < addr > 监听的 IP 地址，本机可以不设置此参数 -d 以守护程序（daemon）方式运行 -u 指定用户，如果当前为 root ，需要使用此参数指定用户 -m < num > 最大内存使用，单位MB。默认64MB -M 禁止LRU策略，内存耗尽时返回错误，而不是删除项 -c < num > 最大同时连接数，默认是1024 -v verbose ( print errors/warnings while in event loop ) -vv very verbose ( also print client commands/reponses ) -vvv extremely verbose ( also print internal state transitions ) -h 帮助信息 -i print memcached and libevent license -P

传统MySQL+ Memcached架构遇到的问题 　　实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题： 　　 1.MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开发时间。 　　2.Memcached与MySQL数据库数据一致性问题。 　　3.Memcached数据命中率低或down机，大量访问直接穿透到DB，MySQL无法支撑。 　　4.跨机房cache同步问题。 　众多NoSQL百花齐放，如何选择 　　最近几年，业界不断涌现出很多各种各样的NoSQL产品，那么如何才能正确地使用好这些产品，最大化地发挥其长处，是我们需要深入研究和思考的问题，实际归根结底最重要的是了解这些产品的定位，并且了解到每款产品的tradeoffs，在实际应用中做到扬长避短，总体上这些NoSQL主要用于解决以下几种问题 　　 1.少量数据存储，高速读写访问。此类产品通过数据全部in-momery 的方式来保证高速访问，同时提供数据落地的功能，实际这正是Redis最主要的适用场景。 　　2.海量数据存储，分布式系统支持，数据一致性保证，方便的集群节点添加/删除。 　　3

谈谈你对解析与分派的认识 解析 Java中方法调用的目标方法在Class文件里面都是常量池中的符号引用，在类加载的解析阶段，会将其中的一部分符号引用转化为直接引用。（关于符号引用与直接引用，详见【深入理解JVM】：Class类文件结构）这种解析的前提是：方法在程序真正运行之前就有一个可以确定的调用版本，并且这个方法的调用版本在运行期是不可改变的，即“编译期可知，运行期不可变”，这类目标的方法的调用称为解析（Resolve）。 只要能被invokestatic和invokespecial指令调用的方法，都可以在解析阶段中确定唯一的调用版本，符合条件的有静态方法（invokestatic指令）、私有方法、实例构造方法、父类方法（这3个是invokespecial指令），它们在类加载的的解析阶段就会将符号引用解析为该方法的直接引用。 分派 解析调用一定是个静态的过程，在编译期就完全确定，在类加载的解析阶段就将涉及的符号引用全部转变为可以确定的直接引用，不会延迟到运行期再去完成。而分派（Dispatch）调用则可能是静态的也可能是动态的。分派是多态性的体现，Java虚拟机底层提供了我们开发中“重载”(Overload)“和重写”(Override)的底层实现。其中重载属于静态分派，而重写则是动态分派的过程。 Java有自己的内存回收机制,但为什么还存在内存泄露的问题呢 这个问题

1、range和xrange的用法和区别 在Python2中，range()与xrange()功能是一样的，多用于for循环。但是不同的是 range产生的是一个list对象，而xrange是一个生成器对象 。从性能上，xrange优于range。 因此要生成很大的数字序列的时候，用xrange会比range性能优很多，因为不需要一上来就开辟一块很大的内存空间。 在python3中xrange()已经不存在了，range()就是xrange()。 2、可变对象和不可变对象 不可变对象，该对象所指向内存中的值不能被改变 当改变某个变量时候，由于其所指的值不能被改变，相当于把原来的值复制一份后再改变，这会开辟一个新的地址，变量再指向这个新的地址。 不可变变量性质的优点在于减少了重复的值对内存空间的占用。 可变对象，该对象所指向的内存中的值可以被改变 变量（准确的说是引用）改变后，实际上是其所指的值直接发生改变，并没有发生复制行为，也没有开辟新的出地址，通俗点说就是原地改变。 Python中，数值类型（int和float），字符串str， 元组tuple 都是不可变类型。而列表list，字典dict，集合set都是可变类型。 在除了tuple的不可变变量中，只要两个变量的数据类型相同并且值也相等，那么这两个变量的地址也相同。 作为函数参数 对于python中的可变与不可变对象

简单介绍 很多类型的驱动程序编程都须要了解一些虚拟内存子系统怎样工作的知识 当遇到更为复杂、性能要求更为苛刻的子系统时，本章所讨论的内容迟早都要用到 本章的内容分成三个部分 讲述mmap系统调用的实现过程 讲述怎样跨越边界直接訪问用户空间的内存页 讲述了直接内存訪问（DMA）I/O操作，它使得外设具有直接訪问系统内存的能力 Linux的内存管理 地址类型 Linux是一个虚拟内存系统，这意味着用户程序所使用的地址与硬件使用的物理地址是不等同的 有了虚拟内存，在系统中执行的程序能够分配比物理内存很多其它的内存，甚至一个单独的进程都能拥有比系统物理内存很多其它的虚拟地址空间 以下是一个Linux使用的地址类型列表 用户虚拟地址 这是在用户空间程序所能看到的常规地址 物理地址 该地址在处理器和系统内存之间使用 总线地址 该地址在外围总线和内存之间使用，通常它们与处理器使用的物理地址同样 内核逻辑地址 内核逻辑地址组成了内核的常规地址空间 在大多数体系架构中。逻辑地址和与其相关联的物理地址不同，只在它们之间存在一个固定的偏移量 kmalloc返回的内存就是内核逻辑地址 内核虚拟地址 和内核逻辑地址的同样之处在于。它们都将内核空间的地址映射到物理地址上 内核虚拟地址与物理地址的映射不必是线性的一对一的 全部的逻辑地址都是内核虚拟地址。可是非常多内核虚拟地址不是逻辑地址

/proc/sys/net/ipv4/icmp_timeexceed_rate 这个在traceroute时导致著名的“Solaris middle star”。这个文件控制发送ICMP Time Exceeded消息的比率。 /proc/sys/net/ipv4/igmp_max_memberships 主机上最多有多少个igmp (多播)套接字进行监听。 /proc/sys/net/ipv4/inet_peer_gc_maxtime 求 助: Add a little explanation about the inet peer storage? Minimum interval between garbage collection passes. This interval is in effect under low (or absent) memory pressure on the pool. Measured in jiffies. /proc/sys/net/ipv4/inet_peer_gc_mintime 每一遍碎片收集之间的最小时间间隔。当内存压力比较大的时候，调整这个间隔很有效。以jiffies计。 /proc/sys/net/ipv4/inet_peer_maxttl entries的最大生存期。在pool没有内存压力的情况下(比如