info

一、 问题 Apache官网上提供的hadoop本地库是32位的，如果我们的Linux服务器是64位的话，就会出现问题。 我们在64位服务器执行hadoop命令时，则会报以下错误： WARNutil.NativeCodeLoader: Unable to load native-hadoop library for yourplatform... using builtin-java classes where applicable 原因是hadoop-2.6.0.tar.gz安装包是在32位机器上编译的，64位的机器加载本地库.so文件时出错，不影响使用。 为了解决上述问题，我们就需要自己编译一个64位的hadoop版本。 二、编译hadoop2.6.1需要的软件 jdk 1.7 gcc 4.4.5 | gcc-c++ maven 3.3.3 protobuf 2.5.0 （google序列化工具） cmake 2.8.12.2 make ant 1.9.6 finbugs(可选择) 注意： finbugs不是编译所必须的软件，可以不下载。 三、编译软件的准备工作 1. jdk的安装 解压 tar -zxvf jdk-7u79-linux-x64.tar.gz 配置环境变量，编辑/etc/profile文件 export JAVA_HOME=/opt/jdk1.7.0_25

Hadoop不提供64位编译好的版本，只能用源码自行编译64位版本。学习一项技术从安装开始，学习hadoop要从编译开始。 1.操作系统编译环境 yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst 2.安装JDK 下载JDK1.7，注意只能用1.7，否则编译会出错 http://www.Oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html tar zxvf jdk-7u75-linux-x64.tar.gz -C /app export JAVA_HOME=/app/jdk1.7.0_75 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar PATH=$PATH:$JAVA_HOME/bin 注：在安装protobuf前需要安装C编译器，运行以下命令： yum install autoconfautomake libtool cmake ncurses-devel openssl

CentOS 6.4 64位 源码编译hadoop 2.2.0 搭建环境:Centos 6.4 64bit 1、安装JDK 参考这里 2、安装maven maven官方下载地址，可以选择源码编码安装，这里就直接下载编译好的 wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.zip 解压文件后，同样在/etc/profie里配置环境变量 vim /etc/profie export MAVEN_HOME=/opt/maven3.1.1 export PATH=$PATH:$MAVEN_HOME/bin source /etc/profile 验证配置是否成功: mvn -version Apache Maven 3.1.1 (0728685237757ffbf44136acec0402957f723d9a; 2013-09-17 23:22:22+0800) Maven home: /opt/maven3.1.1 Java version: 1.7.0_45, vendor: Oracle Corporation Java home: /opt/jdk1.7/jre Default locale: en_US, platform encoding: UTF

相信各位读者们在运行Hadoop时或多或少的都会遇到一些很让人费解的警告，举个栗子： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 大家应该不陌生。之所以会出现这个问题是因为没有使用本地编译的Hadoop二进制文件运行Hadoop，而是使用了官网下载的预编译的Hadoop。虽然运行起来没有什么问题，但是每次启动的时候都显示这一句警告很不爽有木有？ 废话不多说，我们现在开始。 本人是用的 CentOS 6.8 64bit 版本的Linux系统来运行Hadoop集群的。 首先，下载编译所需要的软件包 ： apache-ant-1.9.4-bin.tar.gz findbugs-3.0.0.tar.gz protobuf-2.5.0.tar.gz apache-maven-3.0.5-bin.tar.gz 最后，还有Hadoop得到源码包，如hadoop-2.4.0-src.tar.gz 安装编译所需软件： 解压apache-maven-3.0.5-bin.tar.gz 把Maven的环境变量配到/etc/profile中，随后source /etc/profile使修改生效

如果语言学习也做一个"流失率统计",那么有多少人是在编译环节放弃的呢?按下F6就完成编译,F5就可以运行,这样的好日子不再了,你能接受么? 我们今天要说的就是Erlang的编译. 在Windows环境中编译Erlang代码并没有想象中那么繁琐， [Erlang 0002] Erlang IDE 这篇文章里面介绍的一些工具比如Eclipse 和Netbeans都是可以通过简单的点击一下按钮就可以编译erlang文件的。下面重点介绍的是：不依赖IDE如何编译，以及在项目中如果使用 Emakefile来管理复杂的编译行为。 不依赖IDE如何编译 当前路径的问题？有文章介绍添加.erlang文件来解决这个问题的，实际上并没有这么复杂，在你的hello.erl文件所在文件夹新建一个cmd文件 ， 使用下面的命令行： "C:\Program Files (x86)\erl5.8.2\bin\erl.exe" -name zen@192.168.1.199 -setcookie abc 前面是erlang的安装路径，后面指定了启动的节点名和magic cookie，然后就可以直接使用c(hello)来编译hello.erl. 如果要添加代码路径，也比较简单，添加启动参数就可以： "C:\Program Files (x86)\erl5.8.2\bin\erl.exe" - pa D:\code\

今天创建maven项目build时出现”[ERROR] No compiler is provided in this environment. Perhaps you are running on a JRE rather than a JDK?“我很郁闷，以前创建普通项目时没有遇到这个问题啊，为什么创建maven项目时却会创想JDK的问题呢？ 错误信息如下： [ INFO ] Scanning for projects . . . [ INFO ] [ INFO ] -- -- -- -- -- -- -- -- -- -- -- -- - < Promaven : Promaven > -- -- -- -- -- -- -- -- -- -- -- -- -- [ INFO ] Building Promaven 0.0 .1 - SNAPSHOT [ INFO ] -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- [ jar ] -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- - [ INFO ] [ INFO ] -- - maven - clean - plugin : 2.5 : clean ( default - clean ) @ Promaven -- - [

一、测试源程序： 【 list.h 文件 】 1 #ifndef _LIST_HEAD_ 2 #define _LIST_HEAD_ 3 4 /* 链表节点结构 */ 5 struct list_head { 6 struct list_head *prev; 7 struct list_head *next; 8 }; 9 10 /* 初始化链表 */ 11 #define LIST_HEAD_INIT(name) \ 12 {&(name), &(name)} 13 14 /* 创建链表并初始化 */ 15 #define LIST_HEAD(name) \ 16 struct list_head name = LIST_HEAD_INIT(name) 17 18 /* 得到结构体头至某成员的偏移量 */ 19 #define offsetof(type, member) \ 20 ((void*)(&((type*)0)->member)) 21 22 /* 由成员地址得到结构体首地址 */ 23 #define container_of(ptr, type, member) \ 24 ((type*)((void*)ptr-offsetof(type, member))) 25 26 /* 链表中插入新节点 */ 27 static inline void _list

用maven也大几年了，也一直在用阿里云的中央仓库。 不喜欢在maven的settings.xml里改，更喜欢直接在pom.xml里改，因为受git管理，小伙伴们拉下来即可。 然而网上的大部分技术文章都只会指导你这么配置： < repositories > < repository > < id > aliyun </ id > < url > https://maven.aliyun.com/repository/public </ url > < releases > < enabled > true </ enabled > </ releases > < snapshots > < enabled > false </ enabled > </ snapshots > </ repository > </ repositories > 如果你只是配置了repositories，那么你会发现在mvn在下载依赖的时候，一部分从阿里云下载，一部分还是从默认的仓库（https://repo.maven.apache.org ）下载。 # mvn clean install [INFO] Scanning for projects... Downloading from aliyun: http://maven.aliyun.com/nexus/content/groups

ZooKeeper有三种安装模式：单机安装(standalone)、伪集群模式、集群模式： standalone模式：只在一台机器上安装ZooKeeper，并只启动一个ZooKeeper实例。 伪集群：在一台机器上开启多个ZooKeeper实例来模拟集群。通过加载不同配置文件，分配不同数据目录来实现这种模式。因为在同一机器上运行，所以机器宕机，整个ZooKeeper就挂了。基本上不会布置这样的ZooKeeper集群。 集群模式：在至少3台机器上安装ZooKeeper构成集群，只要故障节点数量在一定范围内就能保证ZooKeeper服务的可用性。 真正布置的基本上都是集群模式，standalone偶尔用来做些测试，它有单点故障，伪集群模式也有单点故障。 集群模式并非一定至少3台机器，但用2台机器比1台机器更危险，因为随便故障一台都无法满足"大多数"的要求，都会阻塞整个ZooKeeper服务。而2台机器的故障几率是1台机器的2倍。所以，也建议采用奇数台机器来部署ZooKeeper。 ZooKeeper下载：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/ 我下载的是3.4.14版本。 1.安装jdk ZooKeeper运行在java环境下，所以需要先安装jdk，且要求版本高于1.6。 jdk下载：http:/

C:\Java\jdk8\bin\java.exe -agentlib:jdwp = transport = dt_socket,address = 127.0.0.1:61122,suspend = y,server = n -XX:TieredStopAtLevel = 1 -noverify -Dspring.output.ansi.enabled = always -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port = 61121 -Dcom.sun.management.jmxremote.authenticate = false -Dcom.sun.management.jmxremote.ssl = false -Djava.rmi.server.hostname = localhost -Dspring.liveBeansView.mbeanDomain -Dspring.application.admin.enabled = true -javaagent:C:\JetBrains\IntelliJIDEA\lib\rt\debugger-agent.jar = file:/C:/Users/UYUN/AppData/Local/Temp/capture.props -Dfile