JDK

部署Kettle做ETL开发并使用Crontab制作调度系统

本秂侑毒 提交于 2021-01-09 04:56:53
背景说明: 在数据量较小,且数据源和装载地都是关系型数据库时,使用Kettle做ETL较为简便。 由于调度系统产品因为服务器环境方面的因素,而无法部署,故使用Linux的crontab定时器来制作简易调度系统是一个比较简便的解决方案。 本文旨在记录Kettle的部署及配置文件配置注意事项和如何自制简易调度系统,以便处理类似问题时方案的复用。 一、环境与工具 CentOS 6.7 JDK1.8/JDK1.7 pdi-ce-6.1.0.1-196.zip 二、Linux安装Kettle 2.1 安装JDK并配置环境变量 Kettle的运行需要jdk环境,所以需要先安装jdk。jdk的安装方法此处略去。 2.2 创建kettle用户 # useradd -m kettle 2.3 上传Kettle安装包并解压 创建kettle部署目录 # mkdir /opt/kettle 将安装包pdi-ce-6.1.0.1-196.zip上传至/opt/kettle目录下,并解压: # unzip /opt/kettle/pdi-ce-6.1.0.1-196.zip 2.4 更改属主属组和执行权限 # chown -R kettle:kettle /opt/kettle # chmod 755 /opt/kettle/pdi-ce-6.1.0.1-196/data-integration/*.sh

CentOS7部署WeADMIN监控主机交换机和URL(无坑版)

纵然是瞬间 提交于 2021-01-09 04:54:17
一 简介: 概述 IT运营支撑系统(IT Operation Supporting System)即WeADMIN ITOSS,是面向云和移动时代一体化IT运营支撑系统。ITOSS由IT资源管理,网络设备管理,资产管理,运维管理,DOCKER、IP地址管理、远程桌面、身份认证系统、系统设置9大模块组成。各产品基于统一OSGI动态组件基础平台,共享同一数据库、业务逻辑交互一起、UI无缝整合一体,产品之间无缝集成的一体化运维管理平台。实现从业务流程到IT运维以及IT资产统一管理。 WeADMIN ITOSS内置上千种各类专门的监测器,采用插件外挂方式与系统集成,能够对局域网、广域网和互联网上的网络基础架构、应用系统、数据库、中间件的故障监测和性能管理,全面解决在日常IT管理中遇到的问题;可以在几分钟内精准发现客户的网络设备拓扑,并给客户做拓扑展示;能够提供微信、邮件、声音、脚本等警报方式,并能根据用户需求自动生成各种美观的图形、图表分析报表;针对网络设备、服务器、业务应用系统、客户端的pc机进行维护和管理,方便查看设备的资产信息,包括:资产名称、设备类型、资产编号、序列号、设备版本、金额、供应商、配置详细、资产状态、负责人、部门、位置、业务流程、品牌等信息;可以提供基于国际ITIL标准的服务管理包括事件管理、问题管理、变更管理、发布管理、配置管理、知识库管理、服务级别管理

maven nexus 私服搭建 Windows版

自作多情 提交于 2021-01-08 22:59:53
准备工作 已安装jdk,并配置好了环境变量 已安装maven,并配置好了环境变量 下载Nexus Repository OSS: https://www.sonatype.com/download-oss-sonatype 如果无法下载成功,可访问百度网盘: Linux版链接: https://pan.baidu.com/s/1OYTfIfEuIQgD4QDH2d5LLA ,提取码:whwh Windows版链接: https://pan.baidu.com/s/12yfQ4M5bk2G-v-2idLiumA ,提取码:0hx5 验证JDK和MAVEN java - version mvn -v 解压Nexus安装包 将nexus-3.17.01-win64.zip解压到D:\Program Files (x86)\nexus3文件夹下 解压后 查看运行端口 查看D:\Program Files (x86)\nexus3\nexus-3.17.0-01\etc\nexus-default.properties文件中的运行端口 安装为Windows服务 以管理员身份运行cmd 进入nexus3安装目录的bin目录下,通过nexus.exe /install nexus3 命令,安装为名为nexus3的Windows服务 启动、关闭、重启服务 启动服务方式有两种种: 1

集合的学习

烂漫一生 提交于 2021-01-08 20:18:59
JAVA常用的数据结构知识,主要看集合相关。 数组和集合都是用来存储对象的,区别在于数组长度固定,集合的长度可变;数组存储基本数据类型,集合存储对象。 集合特点:只用于存储对象,长度可变,可以存储不同类型的对象。 集合框架体系 Collection接口是List、Set、Queue的父级接口。 Set接口有两个常用的实现类:HashSet和TreeSet。List接口的常用接口有ArrayList和Vector接口。 Map接口有两个常用的实现类:Hashtable和HashMap。 上述类图中,实线边框的是 实现类 ,比如ArrayList,LinkedList,HashMap等,虚线边框的是 抽象类 ,比如AbstractCollection,AbstractList,AbstractMap等,而点线边框的是 接口 ,比如Collection,Iterator,List等。 1、Iterator接口   Iterator接口,这是一个用于遍历集合中元素的接口,主要包含hashNext(),next(),remove()三种方法。它的一个子接口LinkedIterator在它的基础上又添加了三种方法,分别是add(),previous(),hasPrevious()。也就是说如果是先Iterator接口,那么在遍历集合中元素的时候,只能往后遍历,被遍历后的元素不会在遍历到

hashmap嘿嘿嘿

烂漫一生 提交于 2021-01-08 18:31:23
1、jdk1.7 数组加链表 2、链表存放数据:hashcode相同,Entry{key:键 value:值 next:下一个节点} 3、取模算法,计算出存放数组的下标 int index = key.hashCode()%tables.length; 来源: oschina 链接: https://my.oschina.net/u/3142419/blog/2120785

今天才发现,微信左下角连击2下,还有隐藏功能,太实用了

百般思念 提交于 2021-01-08 18:30:55
点击上方“ 程序猿技术大咖 ”,关注加群讨论 微信是我们经常用到的一款聊天工具,已经逐渐代替了电话和短信,我也是今天才发现,微信左下角连击2下,还有隐藏功能,下面就跟着我一起来了解一下吧。 01 查看未读消息 我们打开微信后,经常会看到一些未读的消息,上面有红点和数字,有强迫症的人看到后很不舒服,就想把它点没了。 可是一条一条的,需要翻很多记录,你可以连击2次左下角,就能快速定位到未读消息,然后选择【标记已读】。 02消息全屏提醒 当我们在等待一条重要的消息时,眼睛一直盯着微信特别难受,你可以打开这位好友的聊天详情,开启【强提醒】功能。 在未来的3个小时内,对方发来的第一条消息,只要你打开微信,将会全屏提醒。 03 录音转成文字 微信还自带会议记录神器,在开会的时候,如果领导让你写一份会议纪要,那么直接在小程序中打开 录音转文字助手 。 会议开始时,点击【录音转文字】功能,全程录制会议内容,最终转换成文本,以后开会再也不用手写了。 04 重要事情提醒 如果你记性不好,害怕别人交代你的事情忘记做了,在微信中长按聊天内容,选择【提醒】功能,在下方设置好提醒时间。 等时间到了之后,将会以服务通知的方式提醒你,可以查看具体详情内容,非常的人性化! 05 照片添加语音 视频可以配音,照片如何配音呢?打开微信收藏功能,点击右上角的“+”号,先从相册中添加照片,再点击麦克风进行录音。

教小师妹快速入门Maven,嘿嘿嘿...

纵饮孤独 提交于 2021-01-08 12:38:57
最近,小师妹给我发消息,说她在某个项目中看到了Maven,感觉还挺小巧精致的,很有兴趣深入学习一下,问我有没有什么快速入门的教程~刚好自己也在整理Maven相关的材料,那就拿出来一起交流一下吧。今天主要聊聊Maven的快速入门,很多人可能会觉得很简单,但相信您认真看完的话还是会有新滴收获的。 基本介绍 概念 Maven字面义和准确的发音: Maven是Apache下面的一个java开发的开源项目,官网地址: https://maven.apache.org/ 官方介绍: ❝大致意思是:Maven是一个意第绪(Yiddish),意思是知识的积累者,最初是为了简化Jakarta Turbine项目的构建过程。有几个项目,每个项目都有自己的 Ant 构建文件,它们都略有不同。而JAR文件都由CVS来维护 。我们需要一种标准的方法来构建项目,一个项目组成的清晰定义,一种发布项目信息的简单方法,以及一种跨多个项目共享jar的方法。 ❞ Maven的目标 Maven的主要目标是为了使开发人员在最短的时间内领会项目的所有状态。为了达到这一目标,Maven考虑一下五个方面的内容: 1、使得构建过程更加容易,方便编译、打包、发布 2、为每个项目提供统一的配置 3、提供优质项目信息 4、最佳开发实践 5、安装和更新第三插件透明化 Maven项目的结构和内容是在一个XML文件中声明,pom

Kafka学习之二 Kafka安装和使用

对着背影说爱祢 提交于 2021-01-07 07:56:27
部署环境Linux(Centos 6.5),JDK 1.8.0,zookeeper-3.4.12,kafka_2.11-2.0.0。 1. 单机环境 官方建议使用JDK 1.8版本,因此本文使用的环境都是JDK1.8。如果小于1.8版本,请看我的博客:https://www.cnblogs.com/xuejiale/p/10504845.html 将环境的JDK更新到1.8版本。(PS:我开始使用机器默认安装的JDK 1.7,在启动kafka时会报错)。 由于Kafka依赖zookeeper,kafka通过zookeeper实现分布式系统的协调,所以我们需要先安装zookeeper。下面开始安装zookeeper: (1)安装zookeeper 1)下载zookeeper并解压 下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/,我下载的是 zookeeper-3.4.12.tar.gz 2)创建zookeeper配置文件 在zookeeper解压后的目录下找到conf文件夹,进入后,复制文件zoo_sample.cfg,并命名为zoo.cfg。zoo.cfg中一共四个配置项,可以使用默认配置。注意配置文件里面有一个dataDir可以修改成你自己的目录。 3)启动 zookeeper

Java日期时间API系列10-----Jdk8中java.time包中的新的日期时间API类的DateTimeFormatter

别等时光非礼了梦想. 提交于 2021-01-07 07:09:44
1.DateTimeFormatter final修饰,线程安全,用于打印和解析日期-时间对象的格式化程序。 创建DateTimeFormatter: DateTimeFormatter dateTimeFormatter = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss").withZone(ZoneId.systemDefault()); 2.格式化日期 例如:LocalDateTime      LocalDateTime localDateTime = LocalDateTime.now(); System.out.println(dateTimeFormatter.format(localDateTime)); 输出:2019-12-28 23:06:12 3.解析日期 (1)使用 LocalDateTime.parse 例如:解析 "2019-12-28 23:06:12"      LocalDateTime localDateTime2 = LocalDateTime.parse("2019-12-28 23:06:12" , dateTimeFormatter); System.out.println( "localDateTime2:"+dateTimeFormatter.format

ZGC,一个超乎想象的垃圾收集器

爱⌒轻易说出口 提交于 2021-01-07 04:30:12
  Z Garbage Collector,即ZGC,是一个可伸缩的、低延迟的垃圾收集器,主要为了满足如下目标进行设计:   停顿时间不会超过10ms   停顿时间不会随着堆的增大而增大(不管多大的堆都能保持在10ms以下)   可支持几百M,甚至几T的堆大小(最大支持4T)   停顿时间在10ms以下,10ms其实是一个很保守的数据,在SPECjbb 2015基准测试,128G的大堆下最大停顿时间才1.68ms,远低于10ms,和G1算法相比,也感觉像是在虐菜。   G1算法通过只回收部分Region,避免了全堆扫描,改善了大堆下的停顿时间,但在普通大小的堆里却表现平平,ZGC为什么可以这么优秀,主要是因为以下几个特性。   Concurrent   ZGC只有短暂的STW,大部分的过程都是和应用线程并发执行,比如最耗时的并发标记和并发移动过程。   Region-based   ZGC中没有新生代和老年代的概念,只有一块一块的内存区域page,以page单位进行对象的分配和回收。   Compacting   每次进行GC时,都会对page进行压缩操作,所以完全避免了CMS算法中的碎片化问题。   NUMA-aware   现在多CPU插槽的服务器都是Numa架构,比如两颗CPU插槽(24核),64G内存的服务器,那其中一颗CPU上的12个核,访问从属于它的32G本地内存