lib

Hive整合Hbase

旧街凉风 提交于 2019-11-28 17:34:56
Hive整合Hbase hive 和 hbase 对比 应用场景及编译安装 hive 和 hbase 对比 Hive 数据仓库: Hive 的本质其实相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射的关系,以方便使用 HQL 去管理查询。 用于数据分析、清洗 Hive 适用于离线的数据分析和清洗,延迟较高。 基于 HDFS、MaoRedce Hive 存储的数据依旧在 DataNode 上,编写的 HQL 语句转换为 MapReduce 代码执行。 HBase 数据库 是一种面向列存储的非关系型数据库。 用于存储结构化和非结构化的数据 适用于单表非关系型数据库的数据 基于 HDFS 适用于单表非关系型数据库的数据,不适合做关联查询,类似 JOIN 等操作。 延迟较低,接入在线业务使用 面对大量的企业数据,Hbase 可以直接单表大量数据的存储,同时提供了高效的数据访问速度。 应用场景及编译安装 Hbase 作为 Hive 的数据源 构建低延时的数据仓库 重新编译 hive 的jar包,使其兼容hbase。 Hbase 与 Hive 的集成在最新的两个版本中无法兼容。所以,我们只能重新编译:hive-hbase-handler-1.2.2.jar ,并把编译好的 jar 包放到 hive 的 lib 目录下。 下载 Hive 源码地址 单击进入http:/

centos jdk 的安装以及配置

佐手、 提交于 2019-11-28 17:30:53
从官网下载相应的版本( 点击去oracle ),我下载的是 jdk-6u45-linux-x64.bin,我的服务器环境是 centos5.10 版本 拷贝到要安装JDK的目录下(我的为 /usr/local/soft 目录下) 修改为可执行:chmod 755 jdk-6u45-linux-x64.bin 执行安装:./jdk-6u45-linux-x64.bin ( 安装完成,就可以看到./jdk1.6.0_45 目录了,jdk-6u45-linux-x64.bin文件可删除 ) vi /etc/profile 通常在最后一行后面加上 # hebad start ... # jdk config export JAVA_HOME=/usr/local/soft/jdk1.6.0_45 export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar PATH=$PATH:$JAVA_HOME/bin 6. 保存退出VI编辑器,执行 source /etc/profile 命令即可,执行java -version验证是否成功 以上为 centos5.10 + jdk1.6 ------------------------------------------------------------

logstash启动时找不到自定义的JAVA_HOME环境变量

懵懂的女人 提交于 2019-11-28 17:26:52
logstash java 版本问题 配置logstash收集应用日志时出现报错,说是找不到JAVA_HOME环境变量,但是明明已经设置了 logstash要求java 1.8以上,查看生产环境: [root@localhost ~]# echo ${JAVA_HOME} /usr/local/jdk-12 [root@localhost ~]# java -version openjdk version "12" 2019-03-19 OpenJDK Runtime Environment (build 12+33) OpenJDK 64-Bit Server VM (build 12+33, mixed mode, sharing) 查看logstash启动脚本,没有关于java_home之类的相关配置,但是有一项: "$(cd `dirname $SOURCEPATH`/..; pwd)/bin/logstash.lib.sh" logstash启动过程会引入lib文件bin/logstash.lib.sh 查看logstash.lib.sh setup_java() { if [ -z "$JAVACMD" ] ; then if [ -n "$JAVA_HOME" ] ; then JAVACMD="$JAVA_HOME/bin/java" else JAVACMD=

PHP包含文件---set_include_path

♀尐吖头ヾ 提交于 2019-11-28 15:38:24
今天用的set_include_path和get_include_path,刚开始有些困惑,总结查询到的资料,得到如下结论: 1 . get_include_path 该函数用于获取当前include_path 的值 。 string get_include_path ( void ) 例如windos下使用XAMPP输出: .;D:\xampp\php\PEAR 2. set_include_path set_include_path ()函数在脚本里动态地对 PHP.ini 中 include_path 修改。 include_path可以针对include和require的路径范围进行限定(预定义)。 (1)若没设置inc lude_path 值,则需要写完全的路径 ,但是这样 这样会引入很多外部文件 例如: include ( '123/test1.php' ); include ( '123/test2.php' ); (2)若设置 inc lude_path 值 可用下面代码代替。 set_include_path (' 123 /') ; include ( 'test1 .php') ; include ( 'test2 .php') ; 因为,执行include或require时,会去include_path指定路径查找要引入文件,虽然不知道性能是否优化

环境变量

依然范特西╮ 提交于 2019-11-28 15:27:37
ldconfig 参考:http://man.linuxde.net/ldconfig https://blog.csdn.net/chenzixun0/article/details/56278632 主要是在默认搜寻目录/lib和/usr/lib以及动态库配置文件/etc/ld.so.conf内所列的目录下,搜索出可共享的动态链接库(格式如lib*.so*),进而创建出动态装入程序(ld.so)所需的连接和缓存文件,缓存文件默认为/etc/ld.so.cache,此文件保存已排好序的动态链接库名字列表。linux下的共享库机制采用了类似高速缓存机制,将库信息保存在/etc/ld.so.cache,程序连接的时候首先从这个文件里查找,然后再到ld.so.conf的路径中查找。为了让动态链接库为系统所共享,需运行动态链接库的管理命令ldconfig,此执行程序存放在/sbin目录下。 ldconfig命令参数: -v或–verbose:ldconfig将显示正在扫描的目录及搜索到的动态链接库,还有它所创建的连接的名字 -f CONF:此选项指定动态链接库的配置文件为CONF,系统默认为/etc/ld.so.conf -p或–print-cache:此选项指示ldconfig打印出当前缓存文件所保存的所有共享库的名字。 -V:此选项打印出ldconfig的版本信息,而后退出。

C_动态库和静态库

可紊 提交于 2019-11-28 14:36:28
1、 静态库 创建 工程属性配置中设置为lib静态库,编辑.h文件和.c文件,生成即可。 使用 方法一: 添加工程的头文件目录:工程---属性---配置属性---c/c++---常规---附加包含目录:加上头文件存放目录。 添加文件引用的lib静态库路径:工程---属性---配置属性---链接器---常规---附加库目录:加上lib文件存放目录。 然后添加工程引用的lib文件名:工程---属性---配置属性---链接器---输入---附加依赖项:加上lib文件名。 方法二: #pragma comment(lib,"./mylib.lib") 方法三: 像添加 .h 和 .c 文件一样,把lib文件添加到工程文件列表中去。 切换到”解决方案视图“,--->选中要添加lib的工程-->点击右键-->"添加"-->"现有项"-->选择lib文件-->确定。 2、 动态库 创建 工程属性配置中设置为dll静态库,编辑 .h 文件和 .c 文件; 头文件中声明为__declspec(dllexport) 函数声明; ​ 例:__declspec(dllexport) int MyNum(int a, int b) 使用 方法一: #pragma comment(lib,"./mydll.lib") 方法二: HANDLE hDll; hDll = LoadLibrary("mydll

elasticSearch学习笔记2 mget

烈酒焚心 提交于 2019-11-28 14:07:51
GET /_mget { "docs":[ { "_index":"lib", "_id":"user" }, { "_index":"lib", "_id":"aaa" }, { "_index":"lib", "_id":"1", "_source":["age","first_name"] } ] }    GET lib/_mget { "docs":[ { "_id":"user" }, { "_id":"aaa" }, { "_id":"1", "_source":["age","first_name"] } ] }   两种方式一个意思 GET lib/_mget { "ids":["1","user","aaa"] }    来源: https://www.cnblogs.com/dennylau/p/11410160.html

elasticSearch学习笔记

為{幸葍}努か 提交于 2019-11-28 14:06:39
1 GET _search 2 { 3 "query": { 4 "match_all": {} 5 } 6 } 7 GET _all/_settings 8 PUT lib/_create/aaa 9 { 10 "first_name":"denny", 11 "age":20, 12 "interesta":["music"] 13 } 14 15 16 17 POST lib/_doc/user 18 { 19 "first_name":"denny1", 20 "age":20, 21 "interesta":["music"] 22 } 23 24 GET lib/_doc/aa?_source=age 25 26 GET lib/_doc/aa 27 28 PUT lib/_doc/aa 29 { 30 "first_name":"denny", 31 "age":20, 32 "interesta":["music"] 33 } 34 POST lib/_doc/aa 35 { 36 "age":111 37 } 38 39 DELETE lib/_doc/aa 40 41 DELETE lib2 来源: https://www.cnblogs.com/dennylau/p/11410142.html

GLIBCXX_3.4.9' not found - 解决办法

走远了吗. 提交于 2019-11-28 12:28:12
在Linux中安装交叉编译器arm-linux-gcc 4.4.3,然后编译mini2440内核出错: /usr/lib/libstdc++.so.6: version GLIBCXX_3.4.9' not found: 在RHEL5中安装交叉编译器arm-linux-gcc 4.4.3,然后编译mini2440内核出错: /usr/lib/libstdc++.so.6: version GLIBCXX_3.4.9’ not found 分析: 执行strings /usr/lib/libstdc++.so.6 | grep GLIBC 返回结果没有GLIBCXX_3.4.9 GLIBCXX_3.4 GLIBCXX_3.4.1 GLIBCXX_3.4.2 GLIBCXX_3.4.3 GLIBCXX_3.4.4 GLIBCXX_3.4.5 GLIBCXX_3.4.6 GLIBCXX_3.4.7 GLIBCXX_3.4.8 GLIBC_2.0 GLIBC_2.3 GLIBC_2.4 GLIBC_2.3.4 GLIBC_2.1 GLIBC_2.1.3 GLIBC_2.2 GLIBCXX_FORCE_NEW GLIBCXX_DEBUG_MESSAGE_LENGTH 执行ls -l /usr/lib/libstdc++.so.6 发现/usr/lib/libstdc++.so.6 ->

Linux下C语言编程

自闭症网瘾萝莉.ら 提交于 2019-11-28 11:37:20
安装gcc sudo apt update sudo apt install build-essential gcc --version gcc的常用命令 gcc -c gcc -o gcc -o program program.c -L. -lfoo   // -L.表示在当前目录下查找函数库 ar crv : 将两个.o文件合并成一个库函数文件 nm命令: 查看那些函数包含在目标文件, 函数库或可执行文件 ldd命令: 查看一个可执行程序所需要的共享库 (base) asgter@asgter-TM1613:~/Linux/C/funclib$ ldd program linux-vdso.so.1 => (0x00007ffe2cfb8000) libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fdd6b74d000) /lib64/ld-linux-x86-64.so.2 (0x00007fdd6bb17000) C语言的3种格式 1 .c或.h 结尾的文件就是字符串形式的文本   .c 结尾的文件中带有main函数的, 是程序会执行的文件; 不带main的就是函数库文件了   .h 结尾的文件, 是前面.c文件定义的函数的函数声明 2 .o 结尾的文件就是二进制字节, 其中可能把引用的头文件添加到二进制字节中了 3