变量

在 Linux中还有一种更为高效的线程局部存储方法，就是使用关键字__thread来定义变量。__thread是GCC内置的线程局部存储设施 （Thread-Local Storage），它的实现非常高效，与pthread_key_t向比较更为快速，其存储性能可以与全局变量相媲美，而且使用方式也更为简单。创建线程 局部变量只需简单的在全局或者静态变量的声明中加入__thread说明即可。 列如： static __thread char t_buf[32] = {'\0'}; extern __thread int t_val = 0; 凡是带有__thread的变量，每个线程都拥有该变量的一份拷贝，且互不干扰。线程局部存储中的变量将一直存在，直至线程终止，当线程终止时会自动释放这一存储。__thread并不是所有数据类型都可以使用的，因为其只支持POD(Plain old data structure) [1] 类型，不支持class类型——其不能自动调用构造函数和析构函数。同时__thread可以用于修饰全局变量、函数内的静态变量，但是不能用于修饰函数的局部变量或者class的普通成员变量。另外，__thread变量的初始化只能用编译期常量，例如： __thread std::string t_object_1 ("Swift"); // 错误，因为不能调用对象的构造函数 _

在 Linux系统中使用C/C++进行多线程编程时，我们遇到最多的就是对同一变量的多线程读写问题，大多情况下遇到这类问题都是通过锁机制来处理，但这对 程序的性能带来了很大的影响，当然对于那些系统原生支持原子操作的数据类型来说，我们可以使用原子操作来处理，这能对程序的性能会得到一定的提高。那么对 于那些系统不支持原子操作的自定义数据类型，在不使用锁的情况下如何做到线程安全呢？本文将从线程局部存储方面，简单讲解处理这一类线程安全问题的方法。 一、数据类型 在C/C++程序中常存在全局变量、函数内定义的静态变量以及局部变量，对于局部变量来说，其不存在线程安全问题，因此不在本文讨论的范围之内。全局变量 和函数内定义的静态变量，是同一进程中各个线程都可以访问的共享变量，因此它们存在多线程读写问题。在一个线程中修改了变量中的内容，其他线程都能感知并 且能读取已更改过的内容，这对数据交换来说是非常快捷的，但是由于多线程的存在，对于同一个变量可能存在两个或两个以上的线程同时修改变量所在的内存内 容，同时又存在多个线程在变量在修改的时去读取该内存值，如果没有使用相应的同步机制来保护该内存的话，那么所读取到的数据将是不可预知的，甚至可能导致 程序崩溃。 如果需要在一个线程内部的各个函数调用都能访问、但其它线程不能访问的变量，这就需要新的机制来实现，我们称之为Static memory local to

代码优化的目标是： 1、减小代码的体积 2、提高代码运行的效率 1、尽量指定类、方法的final修饰符 带有final修饰符的类是不可派生的。在Java核心API中，有许多应用final的例子，例如java.lang.String，整个类都是 final的。为类指定final修饰符可以让类不可以被继承，为方法指定final修饰符可以让方法不可以被重写。如果指定了一个类为final，则该 类所有的方法都是final的。Java编译器会寻找机会内联所有的final方法，内联对于提升Java运行效率作用重大，具体参见Java运行期优 化。此举能够使性能平均提高50%。 2、尽量重用对象 特别是String对象的使用，出现字符串连接时应该使用StringBuilder/StringBuffer代替。由于Java虚拟机不仅要花时间生成对象，以后可能还需要花时间对这些对象进行垃圾回收和处理，因此，生成过多的对象将会给程序的性能带来很大的影响。 3、尽可能使用局部变量 调用方法时传递的参数以及在调用中创建的临时变量都保存在栈中速度较快，其他变量，如静态变量、实例变量等，都在堆中创建，速度较慢。另外，栈中创建的变量，随着方法的运行结束，这些内容就没了，不需要额外的垃圾回收。 4、尽量避免随意使用静态变量 要知道，当某个对象被定义为static的变量所引用

python全局变量和局部变量的区别 全局变量和局部变量的区别在于作用域，全局变量在整个py文件中声明，全局范围内可以使用；局部变量是在某个函数内部声明的，只能在函数内部使用，如果超出使用范围（函数外部），则会报错。 推荐： Python教程 #!/usr/bin/python3 # -*- coding: utf-8 -*- A = 100 # 全局变量一般用大写字母表示 def func ( ) : a = 50 # 局部变量一般用小写字母表示 print ( a + A ) func ( ) print ( A ) print ( a ) # 报错信息NameError: name 'a' is not defined #!/usr/bin/python3 # -*- coding: utf-8 -*- A = 100 def func ( ) : A = 250 print ( A ) print ( A ) # 打印全部变量 func ( ) # 局部变量 如果想在函数内部改变全局变量，需要在前面加上global关键字，在执行函数之后，全局变量值也会改变。 #!/usr/bin/python3 # -*- coding: utf-8 -*- A = 100 def func ( ) : global A A = 200 print ( A ) print ( A ) #

多重共线性的概念：模型解释变量之间存在完全线性相关或不完全线性相关关系 产生的原因： （1）特征变量之间的内在联系 （2）特征变量在时间上有同方向变动的趋势 （3）某些变量的滞后 检验的方法： （1）相关性分析 （2） 方差膨胀因子 ​方差膨胀因子（Variance Inflation Factor，VIF）：容忍度的倒数，VIF越大，显示共线性越严重。经验判断方法表明：当0＜VIF＜10，不存在多重共线性；当10≤VIF＜100，存在较强的多重共线性；当VIF≥100，存在严重多重共线性 （3）条件系数检验 ​ 带来的影响： （1）ols估计量的方差增大 （2）难以区分每个解释变量的单独影响 解释变量之间的相关性，无法‘保证其它变量不变’ （3）变量的显著性检验失去意义 在多重共线性的影响下，系数估计标准差的增大将导致t统计量值的减小，是原来显著的t值变成不显著的，容易将重要的解释变量误认为是不显著的变量。 （4）回归模型缺乏稳定性 不同样本对模型的影响较大，若出现不合理的系数，首先考虑是否存在多重共线性 处理方法： （1）删除不重要的自变量 偏相关系数检验证实为共线性原因的那些变量中删除.。 （2）追加样本信息 多重共线性问题的实质是样本信息的不充分而导致模型参数的不能精确估计，因此追加样本信息是解决该问题的一条有效途径。 （3）利用非样本先验信息 （4）改变解释变量的心酸

一、java 开发环境的搭建 这里主要说的是在windows 环境下怎么配置环境。 1.首先安装JDK java的sdk简称JDK ，去其官方网站下载最近的JDK即可。。 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 点击下载好的exe文件安装即可。 2.接下来我们需要配置环境变量 xp系统下 右键‘我的电脑’——属性——高级 win7 系统下 右键’计算机‘——属性——高级系统设置-高级 图是win7系统演示 点击环境变量 接下来要配JAVA_HOME,PATH, CLASSPATH 三个属性... 1.配置 JAVA_HOME属性 找到安装java SDK的目录： C:\Program Files\Java\jdk1.8.0_101 （java sdk1.8.0 版本是目前演示的版本，如果不是一个版本，那也没有关系，安装的配置过程是一样的），复制该路径 点击上图中的‘系统变量’ 下的新建 变量名处填写‘JAVA_HOME', 变量值处直接粘贴上一次复制的java SDK的安装目录'C:\Program Files\Java\jdk1.8.0_101' ,然后点击"确定",JAVA_HOME变量就配置好了.. 2.配置CLASS_PATH 变量 和配置JAVA

使用广播变量，每个Executor的内存中，只驻留一份变量副本， 而不是对每个 task 都传输一次大变量（一个executor可以执行多个task），省了很多的网络传输， 对性能提升具有很大帮助， 而且会通过高效的广播算法来减少传输代价。 使用广播变量的场景很多， 我们都知道spark 一种常见的优化方式就是小表广播， 使用 map join 来代替 reduce join， 我们通过把小的数据集广播到各个节点上，节省了一次特别 expensive 的 shuffle 操作。 为什么只能 broadcast 只读的变量 这就涉及一致性的问题，如果变量可以被更新，那么一旦变量被某个节点更新，其他节点要不要一块更新？如果多个节点同时在更新，更新顺序是什么？怎么做同步？ 仔细想一下， 每个都很头疼， spark 目前就索性搞成了只读的。 因为分布式强一致性很难处理。 广播变量使用步骤： 1 在主程序里将参数对象广播出去： val broadcastConf = ssc.sparkContext.broadcast(appProperties) 2 在rdd算子内这样获取广播变量的值： val appProp = broadcastConf.value 3 然后再通过参数对象appProp去获取相应的参数：appProp.getDstTopic 来源： CSDN 作者： qq

1、java序列化、反序列化及serialVersionUID作用 把Java对象转换为字节序列的过程称为对象的序列化。 把字节序列恢复为Java对象的过程称为对象的反序列化。对象的序列化主要有两种用途： 把对象的字节序列永久地保存到硬盘上，通常存放在一个文件中； 在网络上传送对象的字节序列。 凡是实现Serializable接口的类都有一个表示序列化版本标识符的静态变量： private static final long serialVersionUID; 默认值完全依赖于Java编译器的实现，对于同一个类，用不同的Java编译器编译，有可能会导致不同的serialVersionUID，也有可能相同。为了提高serialVersionUID的独立性和确定性，强烈建议在一个可序列化类中显示的定义serialVersionUID，为它赋予明确的值。Java的序列化机制是通过在运行时判断类的serialVersionUID来验证版本一致性的。在进行反序列化时，JVM会把传来的字节流中的serialVersionUID与本地相应实体（类）的serialVersionUID进行比较，如果相同就认为是一致的，可以进行反序列化，否则就会出现序列化版本不一致的异常。 serialVersionUID 用来表明类的不同版本间的兼容性。有两种生成方式： 一个是默认的1L，比如：private

1、基本语法及特性 基本语法 def test():#定义函数名 print("x") test()#调用函数 带参数 def test(x,y): print(x+y) test(1,2) 返回值 返回值=0：返回None 返回值=1：返回object 返回值>1：返回tuple ？为什么要有返回值：因为需要整个函数执行的结果 def test1(x,y): print(x+y) return 1 print(test1(1,2))#返回1 def test2(x,y): print(x+y) print(test2(1,2))#返回None 2、参数与局部变量 形参： 变量只有在被调用时才分配内存单元，在调用结束时，即刻释放所分配的内存单元。因此，形参只在函数内部有效。函数调用结束返回主调用函数后则不能再使用该形参变量 实参 ： 可以是常量、变量、表达式、函数等，无论实参是何种类型的量，在进行函数调用时，它们都必须有确定的值，以便把这些值传送给形参。因此应预先用赋值，输入等办法使参数获得确定值 默认参数 默认参数非必选 关键参数 正常情况下，给函数传参数要按顺序，不想按顺序就可以用关键参数。 关键参数必须放在位置参数后。 def test(x,y=2): print(x,y) test(y=1,x=2)#与形参顺序无关 test(1,2)#与形参一一对应 test(3,y=2)

Python程序的构成 python文件的创建和执行 (1)前面使用的交互式环境，每次只能执行一条语句；为了编写多条语句实现复杂的逻辑，本章开始我们通过创建Python文件，并执行该文件。 => 交互式环境一次只能执行一条语句,而文件一次可执行多条语句. (2)在IDLE 环境中，我们可以通过File-->new 创建Python 文件，并可以编辑该文件内容。我们也可以通过File-->save/save as 保存文件。一般保存成扩展名为py 的文件。 (3)需要执行编辑好的文件，可以用快捷键F5 或者点击Run-->Run module。 代码的组织和缩进 Python完全是依靠缩进来进行组织的 (1) “龟叔”设计Python 语言时，直接通过缩进来组织代码块。“缩进”成为了Python 语法强制的规定。 (2) 缩进时，几个空格都是允许的，但是数目必须统一。我们通常采用“四个空格”表示一个缩进。同时，也要避免将“tab 制表符”或者tab 与空格混合的缩进风格。目前，常用的编辑器一般设置成：tab 制表符就是4 个空格。 => 不要搞特殊,大家都是习惯使用4个,那就4个就完事了 使用注释 # """ (1) 注释是程序中会被Python 解释器忽略的一段文本。程序员可以通过注释记录任意想写的内容，通常是关于代码的说明。 (2) Python 中的单行注释，使用