虚拟机

打开VMware Workstation，点击“新建虚拟机”。 类型默认，点击“下一步”。 选择下载好的CentOS7镜像。 设置该虚拟机名称和保存路径。 磁盘根据个人喜好，一般20-40GB够用了。 自定义硬件，我喜欢把声卡和打印机去掉。 开机后用键盘方向键选择 安装。 语言英语。 更改配置： 时区：Shanghai 预装软件：web server 安装位置：默认磁盘 安装过程中可以设置密码。 安装完成后点击“reboot”重启后安装到此已完成。 输入用户名：root，随后输入密码即可进入系统。输入密码的时候是不会有什么反应的，打完密码后直接回车即可。 来源： CSDN 作者： Yaoke_Z 链接： https://blog.csdn.net/weixin_44371774/article/details/104720840

Linux基础 这里主要介绍学习大数据过程中用到的Linux基础知识，现在主攻的方向是大数据开发，欢迎大家共同交流。 环境 推荐安装VMware虚拟机并安装CentOS操作系统，具体资源的下载和安装可以查到，如果踩到坑可以留言讨论。 通过远程连接工具可以直接操作虚拟机中的Linux系统，比如Xshell、SecureCRT等，熟悉Linux指令后推荐使用 注：这里需要将虚拟机网络设置为NAT模式：[ 编辑 ——> 虚拟网络编辑器 ] 在主机电脑的[ 网络共享中心 ]可以查看到 VMnet8 网络适配器，其中IPv4地址与虚拟机网络在同一网段下即可 最后在虚拟机中使用 ifconfig 命令查看IP地址，使用远程连接工具即可连接 常见的Linux指令 history 显示历史命令，可使用 !命令序号 再次执行 ctrl+a/e 让光标移动到首尾部 pwd 查看当前目录 ls 列出当前目录文件 -l 除文件名称外，亦将文件型态、权限、拥有者、文件大小等资讯详细列出 -r 将文件以相反次序显示 -t 将文件依建立时间之先后次序列出 -a 显示所有文件及目录，开头为"."的视为隐藏档 vim编辑器的使用 vim test 编辑名为test的文档，如果不存在则创建 a/i 进入插入模式开始编辑 ESC键 返回到命令行模式 在命令模式下： :q/:q! 不保存退出/强制退出 :wq 保存并退出

本文的主题是Hadoop+Spark大数据分析与机器学习。众所周知，Hadoop是运用最多的大数据平台，然而Spark 异军突起，与Hadoop兼容而且运行速度更快，各大公司也开始加入Spark的开发。例如，IBM公司加入Apache Spark社区，打算培育百万名数据科学家。谷歌(Google)公司与微软公司也分别应用了Spark的功能来构建服务、发展大数据分析云与机器学习平台。这些大公司的加入，也意味着未来更多公司会采用Hadoop+ Spark进行大数据的数据分析。 然而，目前市面上虽然很多大数据的书，但是多半偏向理论或应用层面的介绍，网络上的信息虽然很多，但是也很杂乱。本文希望能够用浅显易懂的原理介绍和说明，再加上上机实践操作、范例程序，来降低大数据技术的学习门槛，带领读者进入大数据与机器学习的领域。当然整个大数据的生态系非常庞大，需要学习的东西太多。希望读者通过本文的学习，有了基本的概念后，能比较容易踏入这个领域，以便继续深入与研究其他大数据的相关技术。 文档内容简介 本文档从浅显易懂的“大数据和机器学习”原理介绍和说明入手，讲述大数据和机器学习的基本概念，如:分类、分析、训练、建模、预测、机器学习(推荐引擎)、机器学习(二元分类)、机器学习(多元分类)、机器学习(回归分析)和数据可视化应用。为降低读者学习大数据技术的门槛，书中提供了丰富的上机实践操作和范例程序详解

1. 说说各个区域的作用？ 1、运行时数据区域 运行时数据区域包括方法区、虚拟机栈、本地方法栈、堆、程序计数器。其中方法区和堆是所有线程共享的数据区，其他的是线程隔离的数据区。 1.1、程序计数器 程序计数器是一块较小的内存空间，它的作用可以看做是当前线程所执行的字节码的行号指示器，确定下一条需要执行的字节码指令。java的多线程是通 过线程轮流切换并分配处理器执行时间的方式来实现的，在任何确定的一个时刻，一个处理器只会执行一条线程中的指令。为了线程切换之后能恢复到正确的执行位 置，每个线程都需要有一个独立的程序计数器，各个线程之间的计数器互不影响。如果线程正在执行的是一个java方法，则计数器记录的是正在执行的虚拟机字 节码指令的地址，如果正在执行的是native方法，则计数器值为空。 1.2、java虚拟机栈 java虚拟机栈也是线程私有的，它的生命周期与线程相同。虚拟机栈描述的是java方法执行的内存模型：每个方法被执行的时候都会创建一个栈帧用 于存在局部变量表、操作栈、动态链接、方法出口等信息。通过所说的栈是局部变量表，即与对象内存分配关系最密切的内存区域。局部变量表的内存空间在编译期 间完成分配，当进入一个方法时，这个方法需要在帧中分配多大的局部变量空间是确定的，在运行期不会改变。 java虚拟机栈有两种异常：如果线程请求的栈深度大于虚拟机所允许的深度

由于虚拟机下的 Ubuntu 系统一般不包含 GPU ，故这次安装时为了在无 GUP 环境下运行 caffe 。所以只需安装CPU版本的caffe 由于本机是window10系统，所以想尝试caffe就在自己电脑上整了一个虚拟机（详情可见： win10系统搭建虚拟机：VMware Workstation Player 12环境+Ubuntu Kylin 16.04 LTS系统 ），然后昨天在自己虚拟机上配置了一个caffe环境。 其中，只是尝试着搭建了一个CPU版本的caffe， Ubuntu16.04中自带了python 2.7。 在安装的过程中，真的会出现各种各样的报错，但是... 感慨天朝的实力... 每一个bug都能搜索到如何解，所以... 不要担心，百度、谷歌一起教你装caffe。 —————————————————————————————————————————————— 本篇内容为两个：caffe安装流程+报错举例 一、caffe安装流程：安装依赖、配置python、配置caffe、 配置caffe的makefile文件、 配置python caffe 二、报错举例：linux系统的报错问题、caffe报错问题、python报错问题 、虚拟机问题 ————————————————————————————————— 一、caffe安装流程 caffe安装流程：安装依赖

Java运行时数据区： Java虚拟机在执行Java程序的过程中会将其管理的内存划分为若干个不同的数据区域，这些区域有各自的用途、创建和销毁的时间，有些区域随虚拟机进程的启动而存在，有些区域则是依赖用户线程的启动和结束来建立和销毁。Java虚拟机所管理的内存包括以下几个运行时数据区域，如图： 1、程序计数器：指向当前线程正在执行的字节码指令。线程私有的。 2、虚拟机栈：虚拟机栈是Java执行方法的内存模型。每个方法被执行的时候，都会创建一个栈帧，把栈帧压人栈，当方法正常返回或者抛出未捕获的异常时，栈帧就会出栈。 （1）栈帧：栈帧存储方法的相关信息，包含局部变量数表、返回值、操作数栈、动态链接 a、局部变量表：包含了方法执行过程中的所有变量。局部变量数组所需要的空间在编译期间完成分配，在方法运行期间不会改变局部变量数组的大小。 b、返回值：如果有返回值的话，压入调用者栈帧中的操作数栈中，并且把PC的值指向 方法调用指令 后面的一条指令地址。 c、操作数栈：操作变量的内存模型。操作数栈的最大深度在编译的时候已经确定（写入方法区code属性的max_stacks项中）。操作数栈的的元素可以是任意Java类型，包括long和double，32位数据占用栈空间为1，64位数据占用2。方法刚开始执行的时候，栈是空的，当方法执行过程中，各种字节码指令往栈中存取数据。 d、动态链接

专题： Linux内存管理专题 关键词： malloc、brk、VMA、VM_LOCK、normal page、special page 。 每章问答： malloc()函数是C函数库封装的一个核心函数，对应的系统调用是brk()。 1. brk实现 要了解brk的实现首先需要知道进程用户空间的划分，以及struct mm_struct结构体中代码段、数据段、堆相关参数。 然后brk也是基于VMA，找到合适的虚拟地址空间，创建新的VMA并插入VMA红黑树和链表中。 首先看看mm_struct中代码段、数据段相关参数，和 Linux内存管理框架图 结合看。 由于栈向低地址空间增长，堆向高地址空间增长，所以栈的起始地址start_stack和堆的结束地址brk会改变。在栈和堆之间是 struct mm_struct { ... unsigned long start_code, end_code, start_data, end_data;-----代码段从start_code到end_code；数据段从start_code到end_code。 unsigned long start_brk, brk, start_stack;--------------------堆从start_brk开始，brk表示堆的结束地址；栈从start_stack开始。 unsigned long arg

一.简介 最近又复习下jvm相关内容，理解下思想，吸收下前辈经验，本文jdk 1.7/1.8 二.引用计数法与可达性分析 垃圾回收，便是将已经分配出去的的，但却不再使用的内存回收回来，以便能够再次分配。在Java虚拟机的语境下，垃圾指的是死亡对象所占据的堆空间。这里便涉及了一个关键问题：如何辨别一个对象死亡。 2.1 引用计数法 给个对象添加引用计数器，每当有一个地方引用它，计数器值就加1；当引用失效时，计数器值就减一；任何时刻计数器为0的对象就是不再被使用。 引用计数法有个重大的漏洞，无法处理循环引用的对象。 public class ReferenceCountingGC { public Object instance = null; private static final int _1MB = 1024*1024; //占内存 private byte[] bigSize = new byte[2 *_1MB]; public static void testGC(){ ReferenceCountingGC objA = new ReferenceCountingGC(); ReferenceCountingGC objB = new ReferenceCountingGC(); objA.instance = objB; objB.instance = objA;

1.java虚拟机的生命周期 当启动一个java程序时，一个虚拟机实例也就生成了，当该程序关闭退出，这个虚拟机实例也就随之消亡。 java虚拟机内部有两种线程 ，守护线程和非守护线程，守护线程是执行垃圾收集的线程，而java程序中的初始线程-就是开始于main（）方法的那个，是非守护线程。当该程序中的所有非守护线程都终止时，虚拟机实例将自动退出。 2.java虚拟机的体系结构 类装载子系统，执行引擎，运行时数据区 （方法区，堆，java栈，pc寄存器，本地方法栈）。每个java虚拟机实例都有一个方法区以及一个堆，它是所有线程共享的。当虚拟机装载一个class文件时，它会从这个class文件包含的二进制数据中解析类型信息，然后把类型信息放到方法区中，堆里面放的是对象。 当一个新线程被创建时，它将得到它自己的pc寄存器（程序计数器）以及一个java栈，pc寄存器的值总是指示下一条将被执行的指令，而它的java栈则总是存储该线程中java方法的调用状态（包括局部变量，被调用时传进来的参数，它的返回值，以及运算的中间结果）。 3.类装载器子系统 java虚拟机有两种类装载器 ：启动类装载器和用户自定义类装载器， 4.方法区 　　类的类型信息，类型的常量池，字段信息，方法信息，除了常量以外的所有类变量，一个到类classLoader的引用，一个到class类的引用 　　 a。常量池 　　　

一、Hadoop部署方式 本地模式 伪分布模式 集群模式 二、伪分布模式安装步骤 关闭防火墙 修改ip 修改hostname 设置ssh自动登录 安装JDK 安装Hadoop 三、配置初级环境 　　　 1.配置centos环境下的ip 　　　　首先打开终端，输入脚本命令查看虚拟机的地址 1 ifconfig 　　　　然后可以通过两种方式给虚拟机配置ip，一种是通过界面操作，这里主要介绍第二种，通过使用vim编辑器修改centos的配置文件的方法 1 vim /etc/sysconfig/network-scriprts/ifcfg-eth0 //打开配置文件 　　　　使用简单vim编辑器的方法与修改ip的具体操作我会在另一篇文章中具体讲述 　　 2.修改主机名（hostname） 　　通过修改centos的配置文件的方法（依旧使用Vim编辑器） 1 vim /etc/sysconfig/network 　　配置文件中会显示如下格式内容 1 NETWORKING=yes 2 3 　　　　HOSTNAME=******** 　　只要修改“********”处的名称即可 　　 3、修改映射的主机名 　　通过vim编辑器修改配置文件达到目的 1 vim /etc/hosts 　　在文件中写入虚拟机之前修改的ip地址，以及映射名（ip地址用ip代替在下面给大家演示）如下 1 ip