命令行

基于OGG的Oracle与Hadoop集群准实时同步介绍

房东的猫 提交于 2019-12-07 19:01:03
版权声明:本文由王亮原创文章,转载请注明出处: 文章原文链接: https://www.qcloud.com/community/article/220 来源:腾云阁 https://www.qcloud.com/community Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入,这里以此案例做以介绍。 Oracle作为商业化的数据库解决方案,自发性的获取数据库事务日志等比较困难,故选择官方提供的同步工具OGG(Oracle GoldenGate)来解决。 安装与基本配置 环境说明 软件配置 角色 数据存储服务及版本 OGG版本 IP 源服务器 OracleRelease11.2.0.1 Oracle GoldenGate 11.2.1.0 for Oracle on Linux x86-64 10.0.0.25 目标服务器 Hadoop 2.7.2 Oracle GoldenGate for Big Data 12.2.0.1 on Linux x86-64 10.0.0.2 以上源服务器上OGG安装在Oracle用户下,目标服务器上OGG安装在root用户下。 注意 Oracle导出到异构的存储系统,如MySQL,DB2,PG等以及对应的不同平台,如AIX,Windows

Linux下Make编译结果输出到文件

喜夏-厌秋 提交于 2019-12-07 17:26:54
Linux系统下执行make命令,编译比较大一点的工程或者文件的时候,在命令行下错误和警告信息直接就把我们的实现覆盖了。 把编译日志输出到文件是个选择,执行如下命令即可达到目的。 make > build.log 2>&1 来源: CSDN 作者: faithzzf 链接: https://blog.csdn.net/faithzzf/article/details/72466420

Oracle 用数据泵导入导出数据

与世无争的帅哥 提交于 2019-12-07 15:54:26
oracle expdp导出数据 expdp username/password@orcl dumpfile=1.dmp 在数据库服务器的命令行中执行上面的命令,会在app\hisense_jtpt\admin\orcl\dpdump生成一个1.dmp文件 其中orcl是SID名称 oracle impdp导入数据 impdp newUser/newPwd@orcl dumpfile=1.dmp remap_schema=oldUser:newUser 来源: oschina 链接: https://my.oschina.net/u/1789475/blog/326694

Kafka基础——常用命令行操作

房东的猫 提交于 2019-12-07 15:34:28
目录 集群启动 集群启动 启动zookeeper集群 cd /usr/app/zookeeper/bin ./zkServer.sh start 依次启动。 启动kafka集群 cd /usr/app/kafka bin/kafka-server-satrt.sh -daemon config/server.properties(隐藏后台启动) bin/kafka-server-satrt.sh config/server.properties(带后台启动,无法做其他操作) 依次启动 关闭集群 cd /usr/app/kafka bin/kafka-server-stop.sh stop 依次关闭 获取当前集群全部主题 kafka目录下 bin/kafka-topics.sh --zookeeper 192.168.25.10:2181 --list 创建主题 bin/kafka-topics.sh --zookeeper 192.168.25.10:2181 --create --replication-factor 3 --partitions 1 --topic topic1 topic --主题名称 partitions --分区数(可多于节点,不推荐) replication-factory --副本数(不可多于节点,例如有三个broker节点,副本数最多可为三)

在Eclipse中使用Docker Tools入门

馋奶兔 提交于 2019-12-07 14:19:40
来源: http://dockone.io/article/437 Docker tooling旨在提供一个至少相同基本功能的命令行界面,同时通过提供一个完整成熟的UI来提供更多优于命令行的功能。 安装Docker Tools插件 下载并安装 JBoss Developer Studio 9.0 Nightly ,默认设置安装即可。也可以下载 Eclipse Mars latest build 并通过 http://download.jboss.org/jbos ... mars/ 配置JBoss Tools插件。 打开JBoss Developer Studio 9.0 Nightly或者Eclipse Mars 通过菜单项添加新的站点,步骤是:Help > Install New Software… > Add…。注明名字为:Docker Nightly,地址为: http://download.eclipse.org/li ... htly/ 。 展开Linux Tools,选择Docker Client和Docker Tooling 一路点击Next,然后同意它的协议,然后点击Finish。这就完成了插件的安装,重启IDE即可生效。 Docker Explorer Docker Explorer提供了一个向导来简历一个连接到Docker daemon

docker-tags 命令行获取docker远程仓库上指定镜像的tag列表

泪湿孤枕 提交于 2019-12-07 14:14:28
docker-tags 命令行获取docker远程仓库上指定镜像的tag列表 说明 用于命令行获取docker远程仓库上指定镜像的所有tag列表,支持版本号模糊搜索,可与docker search配合搜索。 1.脚本 #!/bin/bash API = "https://registry.hub.docker.com/v1/repositories" DEFAULT_NAME = "nginx" DEFAULT_TIMEOUT = 3 function Usage ( ) { cat << HELP Usage: docker-tags NAME[:TAG] docker-tags list all tags for docker image on a remote registry. Example: docker-tags (default nginx) docker-tags nginx docker-tags nginx:1.15.8 docker search nginx | docker-tags docker search nginx | docker-tags :1.15.8 echo nginx | docker-tags echo nginx | docker-tags :1.15.8 HELP } ARG = $1 if [ [ " $ARG " = ~ "

Windows 命令行Git的安装与配置

倾然丶 夕夏残阳落幕 提交于 2019-12-07 12:37:45
1. Git官网下载安装文件: https://git-scm.com/download/win 2. 安装Git。如图: 3. 添加环境变量。 将git的安装路径(例如:C:\Program Files (x86)\Git\bin)添加到PATH环境变量中。 4. 测试git命令行。 打开命令行,输入git,如图: 至此windows 命令行 git 安装成功。 来源: CSDN 作者: Summer329 链接: https://blog.csdn.net/xiaxinxx/article/details/52846739

VirtualBox 命令行下添加U盘到虚拟机

左心房为你撑大大i 提交于 2019-12-07 08:19:25
本次添加U盘的虚拟机名称是Win7 启用USB VBoxManage modifyvm Win7 --usb on VBoxManage modifyvm Win7 --usbehci on VBoxManage modifyvm Win7 --usbxhci on 添加一个USB过滤,也就是加了一个设备 【因为之前没添加过,所以add 后面是 0,不清楚这个,请自己查一下VBoxManage的帮助】帮助地址https://my.oschina.net/lwkai/blog/3016205 VBoxManage usbfilter add 0 -target Win7 --name Print --action hold -product "HP LaserJet MFP M427fdn" 查看宿主机有哪些设备 VBoxManage list usbhost 服务器显示如下(只贴了部分内容) UUID: dd6821fd-219b-431f-9e8d-2e861c211b5b VendorId: 0x03f0 (03F0) ProductId: 0x5a2a (5A2A) Revision: 1.0 (0100) Port: 0 USB version/speed: 2/High Manufacturer: Hewlett-Packard Product: HP LaserJet

Linux命令行下运行Hadoop单元测试

半世苍凉 提交于 2019-12-07 04:14:30
最近在学习Hadoop,在虚拟机上面的Centos系统下搭建了一个单机的Hadoop系统,对照《Hadoop权威指南 》一边看一边运行里面的例子。由于 大部分程序员都是用Eclipse来开发Hadoop程序,但我习惯于用命令行形式来写代码和运行程序。在Hadoop里面做单元测试时,用Eclipse网上倒是有很多的实例,当如何在命令行下运行单元测试确实让我犯难了,难为了我好几天。晚上在Junit官网上看了相关资料,在Java环境下运行单元测试为: java -cp .:/usr/share/java/junit.jar org.junit.runner.JUnitCore [test class name] 将上面的命令行进行改造,移植到hadoop后为: hadoop jar /usr/share/java/junit.jar org.junit.runner.JUnitCore [test class name] ######################################################## 在本 机测试记录如下: 设置CLASSPATH CLASSPATH包含hamcrest和junit的jar文件的完整目录,例如我的CLASSPATH为: .:/opt/jdk1.6.0_45/lib:/opt/jdk1.6.0_45/jre/lib:

七、管道命令符、命令行的通配符、常用的转义字符、重要的环境变量、Vim文本编辑器

限于喜欢 提交于 2019-12-07 01:16:38
管道命令符 细心的读者肯定还记得在2.6节学习tr命令时曾经见到过一个名为管道符的东西。同时按下键盘上的Shift+\键即可输入管道符,其执行格式为“命令A | 命令B”。管道命令符的作用也可以用一句话来概括“把前一个命令原本要输出到屏幕的标准正常数据当作是后一个命令的标准输入”。在2.8节讲解grep文本搜索命令时,我们通过匹配关键词/sbin/nologin找出了所有被限制登录系统的用户。在学完本节内容后,完全可以把下面这两条命令合并为一条: 找出被限制登录用户的命令是grep "/sbin/nologin" /etc/passwd; 统计文本行数的命令则是wc -l。 现在要做的就是把搜索命令的输出值传递给统计命令,即把原本要输出到屏幕的用户信息列表再交给wc命令作进一步的加工,因此只需要把管道符放到两条命令之间即可,具体如下。这简直是太方便了! [root@linuxprobe ~]# grep "/sbin/nologin" /etc/passwd | wc -l 33 这个管道符就像一个法宝,我们可以将它套用到其他不同的命令上,比如用翻页的形式查看/etc目录中的文件列表及属性信息(这些内容默认会一股脑儿地显示到屏幕上,根本看不清楚): [root@linuxprobe ~]# ls -l /etc/ | more total 1400 drwxr-xr-x. 3