IntelliJ IDEA

Spark在MaxCompute的运行方式

泪湿孤枕 提交于 2020-11-24 03:37:28
一、Spark系统概述 左侧是原生Spark的架构图,右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上,该平台可以原生支持开源社区Yarn所支持的计算框架,如Spark等。 二、Spark运行在客户端的配置和使用 2.1打开链接下载客户端到本地 http://odps-repo.oss-cn-hangzhou.aliyuncs.com/spark/2.3.0-odps0.30.0/spark-2.3.0-odps0.30.0.tar.gz?spm=a2c4g.11186623.2.12.666a4b69yO8Qur&file=spark-2.3.0-odps0.30.0.tar.gz 2.2将文件上传的ECS上 2.3将文件解压 tar -zxvf spark-2.3.0-odps0.30.0.tar.gz 2.4配置Spark-default.conf # spark-defaults.conf # 一般来说默认的template只需要再填上MaxCompute相关的账号信息就可以使用Spark spark.hadoop.odps.project.name = spark.hadoop.odps.access.id = spark.hadoop.odps.access.key = # 其他的配置保持自带值一般就可以了 spark.hadoop

同一电脑登录多个github账号

≡放荡痞女 提交于 2020-11-24 02:29:22
使用场景 不知道大家有没有遇到这种场景,在公司连着公司gitlab仓库,你自己本人也有个github仓库。我就遇到这种问题, 在一台电脑上同时向gitlab、github分别提交代码。一台电脑可以生成多个sshkey,然后根据sshkey的不同来区分不同的仓库。 也就是一个sshkey 是唯一的,只要保证这个唯一你就可以愉快的提交代码了。 同一用户提交,比如gitlab 和github 用同一个sshkey,只用tonyOffice生成一个sshkey 不同用户提交,比如gitlab 用github 用不同的sshkey,一个tonyOffice生成,一个用tonyHome生成 第一种举例用tonyOffice生成sshkey 比如我要连接github,本来我的电脑连接的是公司的gitlab的仓库。 执行如下命令 ssh-keygen -t rsa -C "tonyOffice" , 这个tonyOffice是别名你可以随便取,生成好之后去 cd /Users/tonyyang/.ssh ,找到对应的目录。 查看 cat id_rsa.pub 将密钥拷贝好。 将密钥粘贴到github的sshkey栏中 此刻你去你自己的github中拷贝需要下载的仓库,拷贝以SSH key方式的路径。 这个时候你idea 里可以通过git下载远程的仓库了。 HTTPS 方式连接

我还在生产玩 JDK7,JDK 15 却要来了!

巧了我就是萌 提交于 2020-11-24 00:03:08
自从 JDK9 之后,每年 3 月与 9 月 JDK 都会发布一个新的版本,而2020 年 9 月即将引来 JDK15。 恰巧 IDEA 每四五个月会升级一个较大的版本,每次升级之后都会支持最新版本 JDK 引入的新功能。 这几天升级了 IDEA,顺便体验了一下 JDK15 的新特性。 虽然我知道你们可能跟我一样JDK8 都还没用熟,但是无妨,看看新版本 JDK 来酸一下。 Text Blocks 最终定板 之前版本的 JDK,如果我们需要插入 HTML , XML , SQL 或 JSON 片段,非常麻烦,需要对里面符号进行各种转义。 所以我每次都会在其他编辑器将 HTML , XML 等编辑好,然后直接复制到 IDEA 中,IDEA 自动会对这些字符转义。 每次复制进去就变成上图的效果,如果上面字符再多点,阅读起来就会更难,并且难以维护。 所幸 IDEA 提供了一个 Inject Language 功能,我们可以在里面快速方便的编辑。 Java 开发者也关注到这个问题,他们在 JDK13 引入的一个新的预览特性「 Text Blocks 」,可以使用三引号将复杂的字符串赋值,从而让我们从各种转义中解脱出来,可以更加方便的编辑字符串。 这个功能在其他语言还是比较常见的,比如 Python 等。 Text Blocks 新功能在 JDK14 再次以预览功能引入,最终在 JDK15

spring boot 项目打成war包部署到服务器

匆匆过客 提交于 2020-11-24 00:02:44
这是spring boot学习的第二篇了,在上一篇已经整合了spring boot项目了,如果还有小伙伴没有看得可以先去看第一篇 基础整合spring boot项目 到这里的小伙伴应该都是会整合基本的spring boot项目 ,并且可以在本地工具上运行访问了,如果还做不到的,说明你没有用心哦o( ̄ヘ ̄o#) 现在断断续续好像spring boot的名气越来越大了,好像是不会都说不过去了o( ̄ヘ ̄o#)o( ̄ヘ ̄o#) 这几天特地把日常工作做完以后,看了一番spring boot 的资料,再次整理了一番,写出案例,以供大家一起学习; 本来以为都已经把案例写出来了。而且运行出来了,至于打包部署应该是不费吹灰之力的吧O(∩_∩)O哈哈~。。。。。。。。 结果出人意料哈。硬是一个从idea中打包发布的问题搞了几个小时,可能我比较菜^_^,我用的是idea编辑器,所以没研究eclipse的打包方式了。毕竟个人感觉整合spring boot项目的话。还是idea比较快速简单! 首先把项目运行了几次。确保没有问题。是吧,总不能本来项目就跑不起来,你还拿去打包吧。那不是自己没事找事么? 然后, 第一步: 既然是用idea打包发布spring boot项目,那自然首先应该是去找找资料对吧。可别说,找了这些资料,都写的什么乱七八糟的呀,几乎没啥完整的案例。坑很多! 使用idea整合的spring

IDEA 中 Properties 文件乱码显示问题

点点圈 提交于 2020-11-23 07:40:08
最近使用 IDEA 开中中遇到一个小问题,如下 因为 IDEA 的 properties 文件中默认是不会自动进行 unicode 转码 ,所以自己要在工具中设置一下。 首先你可以查看自己文件的编码格式 将文件格式修编码设置为 utf-8 ,然后在 File->Settings->File Encodings 里面设置编码的自动转变即可,在红色框内打钩。 按照上面操作就行了 水平有限,若有问题请留言交流! 互相学习,共同进步 :) 转载请注明出处! 来源: oschina 链接: https://my.oschina.net/u/3198481/blog/1932973

死磕Java内部类

大兔子大兔子 提交于 2020-11-23 07:07:00
Java内部类,相信大家都用过,但是多数同学可能对它了解的并不深入,只是靠记忆来完成日常工作,却不能融会贯通,遇到奇葩问题更是难以有思路去解决。这篇文章带大家一起死磕Java内部类的方方面面。 友情提示:这篇文章的讨论基于JDK版本 1.8.0_191 开篇问题 我一直觉得技术是工具,是一定要落地的,要切实解决某些问题的,所以我们通过先抛出问题,然后解决这些问题,在这个过程中来加深理解,最容易有收获。 so,先抛出几个问题。(如果这些问题你早已思考过,答案也了然于胸,那恭喜你,这篇文章可以关掉了)。 为什么需要内部类? 为什么内部类(包括匿名内部类、局部内部类),会持有外部类的引用? 为什么匿名内部类使用到外部类方法中的局部变量时需要是final类型的? 如何创建内部类实例,如何继承内部类? Lambda表达式是如何实现的? 为什么需要内部类? 要回答这个问题,先要弄明白什么是内部类?我们知道Java有三种类型的内部类 普通的内部类 public class Demo { // 普通内部类 public class DemoRunnable implements Runnable { @Override public void run() { } } } 复制代码 匿名内部类 public class Demo { // 匿名内部类 private Runnable

Java学习路线 之 javase学习路线

风流意气都作罢 提交于 2020-11-23 02:49:43
学习java已经有三年左右了,最近在复习数据结构的知识,同时也在总结我个人的学习路线,以及方式这里我将这些年我是如何进行java学习的,我是如何坚持下去的。请慢慢看下去吧。 javase学习篇 : 2016年冬12月我大一上学期的枯燥的生活结束了。放寒假回家后买了台电脑,我书顺便给我哥要了套视频,拿到视频后有个java学习路线,我就是按照那个进行学习的不过在后来我也是有所改变。具体的学习方式可以去我上篇的文章。下面我将每个学习的章节技术点以黑体加粗展示 先是从 认识面向对象 开始,因为我学过了C语言但是不是特别的熟练,而C语言没有对象的概念,他是面向过程的语言,所以就是认识什么是对象对象,java编程思想中有这样一句 “一切皆对象”,也就是在使用语言时可以把每一个部分当做对象。其实主要了解什么是对象,自己心中有这个概念就可以。 开发环境,工具 是学习任何一门语言的必备的技能,你要想搞明白这个语言的使用,“工欲善必先利器” 你就必须先把环境搭建起来,好多人工作了几年都不能把jdk给正确的安装下来,还需要baidu,这个是基础的技能,所以当我们学习的时候一定熟练掌握,比如最简单的就是把jdk的bin目录直接配置到path目录下。开发工具,你可能看的视频很多开始都是在记事本上给你演示的,其实在真正的开发中是不可能这样使用的,你想想一个个项目有时沉淀了四五年,那代码量是多么的多

推荐几个IDEA插件,Java开发者撸码利器。

冷暖自知 提交于 2020-11-22 21:38:26
作者:纪莫 链接:www.cnblogs.com/jimoer 这里只是推荐一下好用的插件,具体的使用方法不一一详细介绍。 JRebel for IntelliJ 一款热部署插件,只要不是修改了项目的配置文件,用它都可以实现热部署。收费的,破解比较麻烦。不过功能确实很强大。算是开发必备神器了。热部署快捷键是control+F9/command+F9。 .ignore git提交时过滤掉不需要提交的文件,很方便,有些本地文件是不需要提交到Git上的。 CamelCase 将不是驼峰格式的名称,快速转成驼峰格式,安装好后,选中要修改的名称,按快捷键shift+alt+u。 Lombok plugin 开发神器,可以简化你的实体类,让你i不再写get/set方法,还能快速的实现builder模式,以及链式调用方法,总之就是为了简化实体类而生的插件。 Mybatis plugin 可以在mapper接口中和mapper的xml文件中来回跳转,就想接口跳到实现类那样简单。 codehelper.generator 可以让你在创建一个对象并赋值的时候,快速的生成代码,不需要一个一个属性的向里面set,根据new关键字,自动生成掉用set方法的代码,还可以一键填入默认值。 GenAllSetter 特性 在Java方法中, 根据 new 关键词, 为Java Bean 生成所有Setter方法。

一款上班摸鱼神器!还不会被老板发现

匆匆过客 提交于 2020-11-22 13:44:28
点击“ 开发者技术前线 ”,选择“星标🔝” 让一部分开发者看到未来 来自:GitHub精选 这款摸鱼神器有 PC 端和 VS Code 插件版。 今天推荐的这个项目是「 thief-book-idea 」,是一款上班摸鱼神器,一款 IDEA 小说阅读器插件,让你在不想干活的时候愉快的摸鱼,还不被老板发现。 是不是迫不及待了,先看一下长什么样子。 之前是这样的: 最近作者进行了优化,现在长这样: 使用教程: 1、到 release 中下载 jar 包; 2、打开 IDEA 找到 setting 中的 plugin,点击 Install Plugin from disk 选择下载的 jar 包,安装并重启 IDEA; 3、进入 IDEA 的 Setting 页面,找到 Other Settings\Thief-Book Config 选项,选择 txt 文件; 4、愉快的摸鱼吧。 除了图中展示的功能,还有: 1、阅读进度是实时保存的; 2、进度栏是可以输入的,回车跳转到输入的行数; 3、精简模式下会隐藏上下翻页按钮; 4、当你不小心将窗口关闭时,可以在 Window 菜单下选择 show thief 重新打开; 请叫我雷锋,点击阅读原文,查看更多内容。 开源项目地址 : https://github.com/yisier/thief-book-idea 开源项目作者 :yisier

一款上班摸鱼神器!还不会被老板发现

醉酒当歌 提交于 2020-11-22 12:55:28
这款摸鱼神器有 PC 端和 VS Code 插件版。 今天推荐的这个项目是「 thief-book-idea 」,是一款上班摸鱼神器,一款 IDEA 小说阅读器插件,让你在不想干活的时候愉快的摸鱼,还不被老板发现。 是不是迫不及待了,先看一下长什么样子。 之前是这样的: 最近作者进行了优化,现在长这样: 使用教程: 1、到 release 中下载 jar 包; 2、打开 IDEA 找到 setting 中的 plugin,点击 Install Plugin from disk 选择下载的 jar 包,安装并重启 IDEA; 3、进入 IDEA 的 Setting 页面,找到 Other Settings\Thief-Book Config 选项,选择 txt 文件; 4、愉快的摸鱼吧。 除了图中展示的功能,还有: 1、阅读进度是实时保存的; 2、进度栏是可以输入的,回车跳转到输入的行数; 3、精简模式下会隐藏上下翻页按钮; 4、当你不小心将窗口关闭时,可以在 Window 菜单下选择 show thief 重新打开; 开源项目地址感兴趣的 点击免费获取一份 来源: oschina 链接: https://my.oschina.net/u/4288740/blog/4732880