info

本文主要参照HBase官网： http://hbase.apache.org/cygwin.html 中《HBase On Windows》的安装步骤说明 1、安装介质： Java，下载地址： http://www.oracle.com/technetwork/java/javase/downloads/index.html Cywin，下载地址： http://www.cygwin.com/ HBase，下载地址： http://www.apache.org/dyn/closer.cgi/hbase/ 2、安装Java，并配置环境变量，可直接在系统变量Path中添加jre路径 3、安装CYGWIN，之后启动 4、执行“ LN -s /cygdrive/c/Program\ Files/Java/ <jre name> /usr/local/ <jre name> ”，创建Java链接，之后可通过执行javac命令查看链接是否创建成功。 5、执行“ssh-host-config”安装SSH服务，安装完成之后 ，执行“net start sshd”启动SSH服务，重新启动另一个cygwin客户端，ssh localhost，查看SSH服务是否安装并成功启动 6、安装HBASE，执行命令“tar -xvf hbase-0.94.20.tar.gz”解压HBASE文件 7、修改

进程之间的通信 预备知识： 1、用户态和内核态，当一个进程在执行用户自己的代码时处于用户运行态（用户态）；当一个进程因为系统调用陷入内核代码中执行时处于内核运行态（内核态）。 2、进程之间的通信（Inter Processs Communication- IPC ）实现机制有：管道、消息队列、信号值、信号、共享内存、共享映射文件、套接字等。 3、及时通信：信号（类似中断）；非及时通信：共享内存、邮箱、管道、套接字、 4、常见的信号：终止信号、定时器信号、用户自定义信号等 5、信号： 用户、系统或者进程 发送给 目标进程 的 信息 ，以通知目标进程某个 状态的改变 或 系统异常 。 6、 PCB（progress control block- 进程控制块），系统通过PCB，描述进程和控制进程。在Linux系统下，PCB是 task_struct结构体（进程描述符） 。 　　1、 进程状态 ：记录进程是处于运行状态还是等待状态 　　2、 调度信息 ：进程由哪个函数调度，具体怎样调度等 　　3、进程之间的 通讯状况 　　4、进程之间的 亲属关系 ：在父进程和子进程之间有task_struct类型的指针，将父进程和子进程联系起来 　　5、 时间数据信息 ：每个进程执行所占用CPU的时间 　　6、 进程的标志 　　7、 进程的标识符 ：该进程唯一的标识符用来区别其他进程 　　8、

Docker安装Kafka-Manager（docker-compose.yml） 前置条件 请先安装Docker 创建docker-compose.yml # Docker compose to have Zookeeper, Kafka, and Kafka Manager running for development. # Provided by @chris-zen zookeeper: image: confluent/zookeeper ports: - "2181:2181" kafka: image: wurstmeister/kafka:0.9.0.0-1 ports: - "9092:9092" links: - zookeeper:zk environment: - KAFKA_ADVERTISED_HOST_NAME - KAFKA_ADVERTISED_PORT=9092 - KAFKA_DELETE_TOPIC_ENABLE=true - KAFKA_LOG_RETENTION_HOURS=1 - KAFKA_MESSAGE_MAX_BYTES=10000000 - KAFKA_REPLICA_FETCH_MAX_BYTES=10000000 - KAFKA_GROUP_MAX_SESSION_TIMEOUT_MS=60000 - KAFKA_NUM

flatMap 与map类似，区别是原RDD中的元素经map处理后只能生成一个元素，而原RDD中的元素经flatmap处理后可生成多个元素来构建新RDD。 举例：对原RDD中的每个元素x产生y个元素（从1到y，y为元素x的值） val b = a.flatMap(x => 1 to x) 根据a中的每个元素的值从1开始每次累加1，直到等于该元素值，生成列表。例如：元素是1，列表是1；元素是2，列表是1、2； 例如： scala> val a = sc.parallelize(1 to 4, 2) 1.生成4个列表： 1 1、2 1、2、3 1、2、3、4 2.合并4个列表 1、1、2、 1、2、3、 1、2、3、4 scala> val a = sc.parallelize(1 to 4, 2) scala> val b = a.flatMap(x => 1 to x) scala> b.collect res12: Array[Int] = Array(1, 1, 2, 1, 2, 3, 1, 2, 3, 4) scala> val a = sc.parallelize(1 to 4, 2) a: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[73] at parallelize at <console>:22

序 本文主要研究一下flux的map与flatMap的区别 map @Test public void test Map() throws InterruptedException { Flux.just(1, 2, 3, 4) .log() .map(i -> { try { TimeUnit.SECONDS.sleep(1); } catch (InterruptedException e) { e.printStackTrace(); } return i * 2; }) .subscribe(e -> LOGGER.info( "get:{}" ,e)); } 复制代码 这里头的map是纯元素转换 输出 10:53:57.058 [main] INFO reactor.Flux.Array.1 - | onSubscribe([Synchronous Fuseable] FluxArray.ArraySubscription) 10:53:57.062 [main] INFO reactor.Flux.Array.1 - | request(unbounded) 10:53:57.063 [main] INFO reactor.Flux.Array.1 - | onNext(1) 10:53:58.067 [main] INFO com.example.demo

版权声明：本文由王亮原创文章，转载请注明出处: 文章原文链接： https://www.qcloud.com/community/article/220 来源：腾云阁 https://www.qcloud.com/community Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。 Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG（Oracle GoldenGate）来解决。 安装与基本配置 环境说明 软件配置 角色 数据存储服务及版本 OGG版本 IP 源服务器 OracleRelease11.2.0.1 Oracle GoldenGate 11.2.1.0 for Oracle on Linux x86-64 10.0.0.25 目标服务器 Hadoop 2.7.2 Oracle GoldenGate for Big Data 12.2.0.1 on Linux x86-64 10.0.0.2 以上源服务器上OGG安装在Oracle用户下，目标服务器上OGG安装在root用户下。 注意 Oracle导出到异构的存储系统，如MySQL，DB2，PG等以及对应的不同平台，如AIX，Windows

12306 快速抢票购票程序 目录 特性 环境 使用 贡献 特性 1.支持多人、多座位、多车次智能选票。 2.支持手动自动识别图片验证码。 3.支持代理,防止ip被拉黑。 4.配置简单，使用方便。 环境 shell script System: Windows\Max\Linux Python: 3.6 使用 程序只支持Python3.x，运行程序需要有一个Python环境推荐使用虚拟环境。 下载项目 shell script git clone https://github.com/janlle/12306.git 12306 cd 12306 安装依赖 ```shell script python install -r requirements.txt 3.配置项目的配置文件 `ticket_config.py` coding:utf-8 ====================== 必填项 ====================== 12306账号 ACCOUNT = 'wealip' 12306密码 PASSWORD = '12306FF0' 出发站 FROM_STATION = '武昌' 到达站 TO_STATION = '长沙' 出发时间,例如: 2019-10-15. DATE = '2019-12-29' 乘车人 (12306账号必须添加下列乘客信息) USER

1. WildFly介绍: WildFly，前身是JBoss AS，从V8开始为区别于JBoss EAP，更名为WildFly. 由红帽 （Red Hat）开发，是另一个功能齐全且经过认证的应用服务器. Wildfly是一个开源的基于JavaEE的轻量级应用服务器。可以在任何商业应用中免费使用。 WildFly是一个灵活的、轻量的、强大管理能力的应用程序服务器。Wildfly是一个管理EJB的容器和服务器，但JBoss核心服务不包括支持servlet/JSP的WEB容器，一般与Tomcat或Jetty绑定使用。 特点 无与伦比的速度：快速启动，无限的网络性能和可扩展性。 非常的轻量级：瘦内存管理，运行时间可定制化。 强大的管理功能：统一的配置和管理。 下载安装 wildfly下载地址： https://wildfly.org/downloads/ 目前，最新版本是18.0.1.Final，选择“Java EE Full & Web Distribution”项对应的ZIP版本，点击下载即可。 安装java环境要求Java8或更高版本。下载好后, 直接解压, 放到一个目录下, standalone目录下存放的应用将单独占用进程，可单独启动和关闭，之间没有关联性。旗下有许多xml文件可供启动时选择。 domain目录下的应用之间有关联性，managing multiple

Docker采用Dockerfile方式构建Tomcat容器镜像 2017年07月07日 09:51:13 阅读数：4722 标签： docker ubuntu tomcat 更多 个人分类： Docker 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/boonya/article/details/74626431 开启Tomcat远程部署设置 tomcat-users.xml <role rolename="manager-gui"/> <role rolename="manager-script"/> <user username="tomcat" password="password" roles="manager-gui, manager-script"/> 1 2 3 Dockerfile配置 FROM ubuntu:14.04 MAINTAINER boonya <boonya@sina.com> # now add java and tomcat support in the container ADD jdk-8u121-linux-x64.tar.gz /usr/local/ ADD apache-tomcat-8.5.16.tar.gz /usr/local/ ADD tomcat-users.xml /usr

下面介绍以sun_jdk 1.8、tomcat 8.5、ubuntu 18.04环境为例介绍如何定制tomcat镜像。 一、准备工作 创建tomcat_jdk文件夹，下载jdk压缩包并解压，下载tomcat压缩包并解压，创建Dockerfile文件和run.sh文件： root@ubuntu:/# mkdir tomcat_jdk root@ubuntu:/# root@ubuntu:/# cd tomcat_jdk/ root@ubuntu:/tomcat_jdk# root@ubuntu:/tomcat_jdk# root@ubuntu:/tomcat_jdk# touch Dockerfile run.sh root@ubuntu:/tomcat_jdk# root@ubuntu:/tomcat_jdk# root@ubuntu:/tomcat_jdk# wget http://mirror.bit.edu.cn/apache/tomcat/tomcat-8/v8.5.38/bin/apache-tomcat-8.5.38-windows-x64.zip root@ubuntu:/tomcat_jdk# root@ubuntu:/tomcat_jdk# unzip apache-tomcat-8.5.38-windows-x64.zip 执行以上操作后，tomcat