内存参数

最常见的JVM配置当属内存分配，因为在绝大多数情况下，JVM默认分配的内存可能不能够满足我们的需求，特别是在生产环境，此时需要手动修改tomcat启动时的内存参数分配。 1. JVM内存模型 我们在进行内存参数配置主要是围绕着堆内存来进行操作。 2. JVM配置选项 Windows平台（catalina.bat） set JAVA_OPTS=-server -Xms2048m -Xmx2048m -XX:MetaspaceSize=256m -XX:MaxMetaspaceSize=256m -XX:SurvivorRatio=8 LInux平台（catalina.sh） set JAVA_OPTS="-server -Xms1024m -Xmx2048m -XX:MetaspaceSize=256m -XX:MaxMetaspaceSize=256m -XX:SurvivorRatio=8" 注意：我们在设置的时候，一般将Xms（初始堆内存）与Xmx（最大堆内存）设置为一样大，这样JVM在运行期间不会开辟内存空间，这样可以提升一点性能。 参数说明： 参数 含义 -server 表示当前以服务端的形式运行 -Xms 堆内存的初始大小 -Xmx 堆内存的最大内存 -Xmn 新生代内存大小，官方建议是整个堆的3/8 -XX:MetaspaceSize 元空间内存初始大小，在JDK1

概述 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优的基本原则，千万不要舍本逐末。下面我们就给大家详细讲解shuffle的原理，以及相关参数的说明，同时给出各个参数的调优建议。 shuffle的定义 Spark的运行主要分为2部分： 　　一部分是驱动程序，其核心是SparkContext； 　　另一部分是Worker节点上Task,它是运行实际任务的。程序运行的时候，Driver和Executor进程相互交互：运行什么任务，即Driver会分配Task到Executor，Driver 跟 Executor 进行网络传输; 任务数据从哪儿获取，即Task要从 Driver 抓取其他上游的 Task 的数据结果，所以有这个过程中就不断的产生网络结果。其中，下一个 Stage 向上一个 Stage 要数据这个过程，我们就称之为 Shuffle。 HashShuffleManager的运行原理 在Spark的源码中，负责shuffle过程的执行

概述 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪种情况，都会导致Spark作业的运行效率低下，甚至根本无法运行。因此我们必须对Spark作业的资源使用原理有一个清晰的认识，并知道在Spark作业运行过程中，有哪些资源参数是可以设置的，以及如何设置合适的参数值。 Spark作业基本运行原理 详细原理见上图。我们使用spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。根据你使用的部署模式（deploy-mode）不同，Driver进程可能在本地启动，也可能在集群中某个工作节点上启动。Driver进程本身会根据我们设置的参数，占有一定数量的内存和CPU core。而Driver进程要做的第一件事情，就是向集群管理器（可以是Spark Standalone集群，也可以是其他的资源管理集群，美团•大众点评使用的是YARN作为资源管理集群）申请运行Spark作业需要使用的资源

1. memset()函数原型是extern void *memset(void *buffer, int c, int count) 　　buffer：为指针或是数组 　　c：是赋给buffer的值 count：是buffer的长度 这个函数在socket中多用于清空数组.如:原型是memset(buffer, 0, sizeof(buffer))， Memset 用来对一段内存空间全部设置为某个字符，一般用在对定义的字符串进行初始化为‘ ’或‘/0’； 例:char a[100];memset(a, '/0', sizeof(a)); memset可以方便的清空一个结构类型的变量或数组。 如： struct sample_struct { 　　char csName[16]; 　　int iSeq; 　　int iType; }; 对于变量：struct sample_struct stTest; 一般情况下，清空stTest的方法： stTest.csName[0]='/0'; stTest.iSeq=0; stTest.iType=0; 用memset就非常方便： memset(&stTest,0,sizeof(struct sample_struct)); 如果是数组： struct sample_struct TEST[10]; 则 memset(TEST,0

常用查看性能参数的方法 show variables：查看服务器一些静态的参数，如缓冲区大小，字符集，数据文件名称等信息。 show rariables：查看的是MySQL启动之前已经配置号的一些系统静态参数。 show status：查看服务器运行中的状态信息，如当前连接数，锁等状态信息。 1、key_buffer_size的设置： 该参数用来设置索引块缓存的大小，只使用于MyISAM存储引擎，对MyISAM表性能影响最大的一个参数。 MySQL5.1以后提供多个key_buffer，可以将指定的表索引缓存到指定的key_buffer中，这样可以更好的降低线程之间的竞争。 常用操作： 查询缓存大小：show variables like ‘key_buffer_size’; 设置多个key_buffer：set global hot_cache2.key_buffer_size=128*1024; 将相关表的索引放到指定的索引缓存中：cache index t,t2 in hot_cache2; 将表t的索引加载到默认的缓存中：load index into cache t; 删除索引缓存：set global hot_cache2.key_buffer_size=0; 值得注意的是，不能删除默认的索引缓存区！ cache index可以将多个表的索引加载到指定的索引缓冲区中

Spark性能调优之Shuffle调优 • Spark底层shuffle的传输方式是使用netty传输，netty在进行网络传输的过程会申请堆外 内存（netty是零拷贝），所以使用了 堆外内存 。 • shuffle过程中常出现的问题 常见问题一：reduce oom? 问题原因： reduce task 去map端获取数据，reduce一边拉取数据一边聚合，reduce端有一块聚合内存（executor memory * 0.2）,也就是这块内存不够 解决办法： 1.增加reduce 聚合操作的内存的比例 2.增加Executor memory的大小 --executor-memory 5G 3.减少reduce task每次拉取的数据量 设置 spak.reducer.maxSizeInFlight 24m, 拉取的次数就多了，因此建立连接的次数增多，有可能会连接不上（正好赶上map task端进行GC） 常见问题二：错误描述--shuffle file cannot find or executor lost • 什 么时候需要调节Executor的堆外内存大小？ • shuffle file cannot find （DAGScheduler，resubmitting task） • executor lost • task lost • out of memory

C++ 基础知识 知识点 列号 说明 1 引言 2 函数与参数 3 异常 4 动态存储空间分配 5 自有数据类型 6 异常类illegalParameterValue 引言 在检查一个程序的时候，我们应该提出如下疑问： 它正确吗？ 它容易读懂吗？ 它有完善的文档吗？ 它容易修改吗？ 它在运行时需要多大内存？ 它的运行时间有多长？ 它的通用性如何？能否不加修改就可以解决更大范围的数据？ 它可以直接在多种计算机上编译和运行吗？或者说它需要修改之后才能运行吗？ 函数与参数 参数的传递方式一：值传递 程序1-1 求两个整数的和 int sum(int a, int b) { return a + b; } 在上述的函数sum中，a,b就是函数sum的形参（formal parameter）,每一个形参都是整型的，如果有这样的调用： z = sum(1,2) 那么，1和2变身分别的对应sum的a和b的实参(actual parameter) 在上述的1-1程序中,形参a和b实际上是传值参数（value parameter）。在运行时，函数sum执行前，把实参复制给形参。复制过程是由形参类型的复制构造函数（copy construstor）来完成的。如果实参和形参的类型不同，必须进行类型转换，把实参转换为形参的类型，当然，前提是这样的类型转换是被允许的。 当调用sum(1,2)时

Linux操作系统PS命令详细解析 要对系统中进程进行监测控制，用 ps 命令满足你。 /bin/ps ps 是显示瞬间行程的状态，并不动态连续；如果想对进程运行时间监控，应该用 top 工具。 kill 用于杀死进程。 ==============ps 的参数说明============================ l 长格式输出； u 按用户名和启动时间的顺序来显示进程； j 用任务格式来显示进程； f 用树形格式来显示进程； a 显示所有用户的所有进程（包括其它用户）； x 显示无控制终端的进程； r 显示运行中的进程； ww 避免详细参数被截断； -A 列出所有的行程 -w 显示加宽可以显示较多的资讯 -au 显示较详细的资讯 -aux 显示所有包含其他使用者的行程 -e 显示所有进程,环境变量 -f 全格式 -h 不显示标题 -l 长格式 -w 宽输出 a 显示终端上地所有进程,包括其他用户地进程 r 只显示正在运行地进程 x 显示没有控制终端地进程 我们常用的选项是组合是 aux 或 lax，还有参数 f 的应用。 ps：将某个时间点的程序运作情况撷取下来 [root @linux ~] # ps aux [root @linux ~] # ps -lA [root @linux ~] # ps axjf 参数： - A ：所有的 process 均显示出来，与

Java基础方面: 1 、作用域 public,private,protected, 以及不写时的区别 答： 区别如下： 作用域 当前类 同一package 子孙类 其他package public √ √ √ √ protected √ √ √ × friendly √ √ × × private √ × × × 不写时默认为friendly 2 、 Anonymous Inner Class ( 匿名内部类 ) 是否可以 extends( 继承 ) 其它类，是否可以 implements( 实现 )interface( 接口 ) 答： 匿名的内部类是没有名字的内部类。不能extends(继承) 其它类，但一个内部类可以作为一个接口，由另一个内部类实现 3 、 Static Nested Class 和 Inner Class 的不同 答： Nested Class （一般是C++的说法），Inner Class (一般是JAVA的说法)。Java内部类与C++嵌套类最大的不同就在于是否有指向外部的引用上。注： 静态内部类（Inner Class）意味着1创建一个static内部类的对象，不需要一个外部类对象，2不能从一个static内部类的一个对象访问一个外部类对象 4 、 & 和 && 的区别 答： &是位运算符，表示按位与运算，&&是逻辑运算符，表示逻辑与（and） 5 、

在C语言中，函数的参数不仅可以是整数、小数、字符等具体的数据，还可以是指向它们的指针。用指针变量作函数参数可以将函数外部的地址传递到函数内部，使得在函数内部可以操作函数外部的数据，并且这些数据不会随着函数的结束而被销毁。 像数组、字符串、动态分配的内存等都是一系列数据的集合，没有办法通过一个参数全部传入函数内部，只能传递它们的指针，在函数内部通过指针来影响这些数据集合。 有的时候，对于整数、小数、字符等基本类型数据的操作也必须要借助指针，一个典型的例子就是交换两个变量的值。 有些初学者可能会使用下面的方法来交换两个变量的值： 1 2 3 4 5 6 7 8 9 10 11 12 13 #include <stdio.h> void swap( int a, int b){ int temp; //临时变量 temp = a; a = b; b = temp; } int main(){ int a = 66, b = 99; swap(a, b); printf ( "a = %d, b = %d\n" , a, b); return 0; } 运行结果： a = 66, b = 99 从结果可以看出，a、b 的值并没有发生改变，交换失败。这是因为 swap() 函数内部的 a、b 和 main() 函数内部的 a、b 是不同的变量，占用不同的内存，它们除了名字一样