yarn

参考文章： 在idea里面怎么远程提交spark任务到yarn集群 spark任务运行的几种模式: 1,本地模式,在idea里面写完代码直接运行. 2,standalone模式,需要把程序打jar包,上传到集群,spark-submit提交到集群运行 3,yarn模式(local,client,cluster)跟上面的一样,也需要打jar包,提交到集群运行 如果是自己测试的话,用上面几种方法都比较麻烦,每次改完代码都需要打包上传到集群,然后spark-submit提交到集群运行,也非常浪费时间,下面就介绍怎么在本地idea远程提交到yarn集群 直接看下面的demo(代码写的比较简单) package spark import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies} import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.{SparkConf} import spark.wordcount

课程分析了主流企业的大数据架构、带领大家构建自己的通用型大数据平台。从企业需求入手，构建集数据采集、数据存储、数据处理与分析、BI应用、权限管理、系统监控等于一体的大数据应用平台，内容涵盖各类开源组件基础知识、优化技巧、应用场景和常见面试问题等，帮助我们快速掌握大数据平台开发技术，迅速建立大数据技术的宏观的认识。最后实现了可视化展示。非常适合想要通揽大数据全貌、了解企业级开发的你 第1章 课程导学与学习指南 本章中将向大家介绍课程能学到什么、解决什么实际问题、项目成果展示，课程整体安排以及如何学习更高效。 第2章 认识企业中的大数据平台 为什么要有大数据平台？大数据平台究竟是为了解决什么问题产生的？如何判断一个大数据平台的好坏？在设计一个数据平台时，需要注意哪些，有什么步骤。各大企业现有的解决方案有哪些，常见的技术栈有哪些，我们自己设计的这个通用的大数据平台是什么结构。... 第3章 大数据平台 —— 数据仓库之离线&实时 你真的理解数据仓库是什么吗？数据仓库如何进行分层，为什么要分层呢？分层一定好吗？带你理解数据仓库，逐步掌握离线数仓工具Hive。对比离线数仓和实时数仓，了解实时数仓常见架构。 第4章 大数据平台——数据仓库之权限管理 解决三大问题：数仓安全问题，对比常见权限认证框架，使用Ranger开发数仓权限模块；数据来源问题，对常用数据采集工具进行介绍

b站经验获取 如何获得经验值？ 投币前 投币后 csrf对应的cookie字段 投币和点赞需要重写headers中的referer, 不然会出错, 即请求是由视频页面发出的 投币 // 投币 export async function coin(aid, multiply = 1, select_like = 0) { const url = "https://api.bilibili.com/x/web-interface/coin/add" headers['referer'] = `https://www.bilibili.com/video/${enc(aid)}` const data = { aid, // av的id号 multiply, // 硬币数目 select_like, // 是否同时喜欢 cross_domain: true, // 跨域 csrf } let resp = await axios.post( url, data, {headers}, ) return resp.data } 点赞 // 点赞 export async function like(aid, like = 1) { headers['referer'] = `https://www.bilibili.com/video/${enc(aid)}` const data = {

整理 | 高赟、程鹤群 Review | 王治江 Flink 1.11 版本即将正式宣告发布！为满足大家的好奇与期待，我们邀请 Flink 核心开发者对 1.11 版本的功能特性进行解读与分享。Flink 1.11 在 1.10 的基础上对许多方面进行了完善和改进，并致力于进一步提高 Flink 的可用性及性能。 本文将详细介绍 1.11 版本的新功能、改进、重要变化及未来的发展计划。更多信息可以参考相应的 FLIP 或 Jira 页面，并关注我们后续的专题直播。 集群部署与资源管理 在集群部署方面 1.[FLIP-85] Flink 支持 Application Mode 目前 Flink 是通过一个单独的客户端来创建 JobGraph 并提交作业的，在实际使用时，会产生下载作业 jar 包占用客户端机器大量带宽、需要启动单独进程（占用不受管理的资源）作为客户端等问题。为了解决这些问题，在 Flink-1.11 中提供了一种新的 Application 模式，它将 JobGraph 的生成以及作业的提交转移到 Master 节点进行。 用户可以通过 bin/flink run-application 来使用 application 模式。目前 Application 模式支持 Yarn 和 K8s 的部署方式，Yarn Application

单元测试的好处是啥? 重构、重构、重构，重要的事情说三遍 TDD（测试驱动开发）的具体实现就是通过红灯->绿灯->重构不断重复，一步一步去健壮我们的代码，保证今后重构代码的时候测试的准确，可以在重构中准确的定位到问题。同时也为以后的开发提供支持，在测试的基础上我们可以重构结构和业务功能。 单元测试是最好的注释 测试会提示你哪些步骤是可以通过、如何使用的最好文档。更详细的规范了测试目标的边界值与非法值。 定位bug，减少bug 单元测试可以通过不同的条件来发现问题在哪里，在一些弱类型的语言中也避免了一些类型检查的低级错误，当然这个现在我们都用TypeScript做到了。 被迫的规范组织结构 可能平时我们会把一个方法写的很复杂、一个类写的很大，没有想过如何去组织结构，但如果你想到你即将的测试要如何写的时候，那可能你在开发前必须要想想哪些部分可以提出来了。这样会慢慢养成很好的思维。 好了,不多BB,看看怎么用吧!!! 我用的是jest测试哦!!! 1.看一下我的jest.config.js中 testMatch ,告诉我需要在lib文件夹中创建个目录 __tests__ , __tests__ 的目录里面 xxxx.unit.(js|jsx|ts|tsx) 这样的文件就是测试文件 加入我们642830685，领取最新软件测试大厂面试资料和Python自动化、接口、框架搭建学习资料！

作者：宋辛童（五藏） 整理：王文杰（Flink 社区志愿者） 摘要：本文根据 Apache Flink 系列直播整理而成，由阿里巴巴高级开发工程师宋辛童分享。文章主要从基本概念、当前机制与策略、未来发展方向等三个方面帮助开发者深入理解 Flink 的资源管理机制。 基本概念 当前机制与策略 未来发展方向 Tips： 点击「下方链接」可查看更多数仓系列视频～ https://ververica.cn/developers/flink-training-course-data-warehouse/ 1. 基本概念 1.1 相关组件 我们今天介绍的主要是与 Flink 资源管理相关的组件，我们知道一个 Flink Cluster 是由一个 Flink Master 和多个 Task Manager 组成的，Flink Master 和 Task Manager 是进程级组件，其他的组件都是进程内的组件。 图1. Flink 资源管理相关组件 如图1所示，一个 Flink Master 中有一个 Resource Manager 和多个 Job Manager ，Flink Master 中每一个 Job Manager 单独管理一个具体的 Job ，Job Manager 中的 Scheduler 组件负责调度执行该 Job 的 DAG 中所有 Task ，发出资源请求

目录 前置准备 查看本地网络信息 查看网络连接状态 更改网络信息 更改主机名 对虚拟机进行克隆得到slave1和slave2节点 配置slave1和slave2的参数信息 建立主机名到ip的映射 配置ssh免密登录 关闭防火墙与SELinux 安装JDK 创建新用户 hadoop环境配置 下载与安装 环境配置 更改配置文件 进行传输与连接 运行Wordcount程序 前置准备 首先，打开自己的虚拟机，我使用的是centos7的系统，但是不同系统操作差别不大。 查看本地网络信息 进入虚拟网络编辑器 进入NAT设置，查看以下信息 查看网络连接状态 可以看到网络成功连接 输入ifconfig命令发现没有eth0(如果就是eth0可以跳过该步骤),不符合我们的习惯。而且也无法远程ssh连接 cd / etc / sysconfig / network - scripts / mv ifcfg - ens33 ifconfig - eth0 更改网络信息 如果有eth0的从这里执行即可 进入管理员模式，因为不进入的话会显示无法保存。 su vim / etc / sysconfig / network - scripts / ifcfg - eth0 对以下信息进行更改， 注意这里的ip和网关需要用你上面自己记录的。 重启网卡，可以看到更改生效 service network restart

 根据最新的统计显示，仅在过去的两年中，当今世界上90％的数据都是在新产生的，每天创建2.5万亿字节的数据，并且随着新设备，传感器和技术的出现，数据增长速度可能会进一步加快。 从技术上讲，这意味着我们的大数据处理将变得更加复杂且更具挑战性。而且，许多用例（例如，移动应用广告，欺诈检测，出租车预订，病人监护等）都需要在数据到达时进行实时数据处理，以便做出快速可行的决策。这就是为什么分布式流处理在大数据世界中变得非常流行的原因。 如今，有许多可用的开源流框架。有趣的是，几乎所有它们都是相当新的，仅在最近几年才开发出来。因此，对于新手来说，很容易混淆流框架之间的理解和区分。在本文中，我将首先大致讨论流处理的类型和方面，然后比较最受欢迎的开源流框架：Flink，SparkStreaming，Storm，KafkaStream。我将尝试（简要地）解释它们的工作原理，它们的用例，优势，局限性，异同。 ## **什么是流/流处理：** 流处理的最优雅的定义是：一种数据处理引擎，其设计时考虑了无限的数据集。 与批处理不同，批处理以工作中的开始和结束为界，而工作是在处理有限数据之后完成的，而流处理则是指连续不断地处理天