topology

前言 前段时间，蚂蚁金服的热度可不小，互联网圈人人都在讨论它上市的事情，实际上蚂蚁金服上市是迟早的事情。这一下，蚂蚁的员工含金量上升了不少，那我之前蚂蚁提前批这波面经，也是时候分享了。 这次面试，可以说是一波三折，波涛汹涌了，原本我是一个挺自信的人的，所以在面试前我算是处于一个斗志昂扬的状态，奈何在经历一面二面意志力被消磨了不少，虽然三面准备充足，但整体下来对自己表现不满意，所以以为是没戏了，没想到意外接来了HR面的通知，于是就这么意外的拿到了offer。 下面就对这次蚂蚁金服的面试体验进行一个分享，由于面试题比较多，所以只挑选了一些有针对性的核心题放在这里解析，如果你需要完整pdf版，只需要添加小助理vx：mxzFAFAFA即可！！ 蚂蚁金服意外的第一面 1、讲一讲ArrayList和LinkedList区别？ ArrayList 是一个可改变大小的数组。当更多的元素加入到ArrayList中时，其大小将会动态地增长。内部的元素可以直接通过get与set方法进行访问，因为ArrayList本质上就是一个数组， LinkedList 是一个双链表，在添加和删除元素时具有比ArrayList更好的性能.但在get与set方面弱于ArrayList。 当然，这些对比都是指数据量很大或者操作很频繁的情况下的对比,如果数据和运算量很小，那么对比将失去意义。 2、什么情况会造成内存泄漏？

Apache Ignite 介绍 Ignite是什么呢？先引用一段官网关于Ignite的描述： Ignite is memory-centric distributed database , caching , and processing platform for transactional, analytical, and streaming workloads delivering in-memory speeds at petabyte scale 直接翻译就是，Ignite是以内存为中心的分布式的数据库，缓存和处理平台。它可以在数据量达到PB级别，依然为事务性处理，数据分析和流式任务提供了内存级的操作速度。 再从官网借用一张架构图，从下面这张图也可以看出来Ignite提供了哪些能力： 图中红色部分属于Ignite提供的组件，我们依次从下往上看： 持久化层：Ignite同时支持原生持久化和用第三方存储做持久化，比如RMDBMS，HDFS等。虽然Ignite有以内存为中心的存储，但是毕竟内存中数据在节点出现故障的时候都有丢失的可能性。 因此持久化层为Ignite提供了故障恢复的能力。另外有了持久化能力，可以让冷热数据更合理使用内存。比如在内存足够情况下，数据可以全部加载到内存中。 而当内存紧张时，可以只加载热数据至内存中，冷数据就留在硬盘上。 Ignite内存存储层

传感器基础知识 因为超大规模集成电路 (VLSI) 以及微机电系统科技 (MEMS technology) 等硬件基础以及radio frequency (RF) 技术的进步，使得传感器的发展越来越快。 传感器具有的优势： 可以放置在任何环境，任何时间都可以工作，并且不需要太多的人力来进行管理。 具有更好的容错能力，局部出现故障仍然能较好的完成工作。 获取的数据更精确。通过多个传感器获取的信息更加可靠准确。 成本低以及容易部署。 Due to WSNs’reliability, self-organization, flexibility, and ease of deployment, their existing and potential applications vary widely. As well, they can be applied to almost any environment, especially those in which conventional wired sensor systems are impossible or unavailable, such as in inhospitable terrains, battlefields, outer space, or deep oceans.

EIGRP解释 1.Enhanced Interior Gateway Routing Protocol 即增强内部网关路由协议。EIGRP同内部网关路由选择协议(IGRP)一样，是Cisco公司的私有协议。 　　Cisco公司是该协议的发明者和唯一具备该协议解释和修改权的厂商。 EIGRP结合了链路状态和距离矢量型路由选择协议的Cisco专用协议，采 　　用弥散修正算法（DUAL）来实现快速收敛，可以不发送定期的路由更新信息以减少带宽的占用，支持Appletalk、IP和NetWare等多种网络层协议。 2.增强IGRP(EIGRP)是一个无类、增强的距离矢量协议。如同IGRP，EIGRP也使用了自治系统的概念来描述相邻路由器的集合，集合中的路由器使用相同的 　　路由选择协议并共享相同的路由选择信息。但与IGRP不同的是，EIGRP在它的路由更新中包含了子网掩码。子网掩码信息的通告使得在设计网络时可以 　　使用可变长子网掩码(VLSM)及汇总！ 　　有时EIGRP也被称为是混合型路由选择协议，因为它同时拥有距离矢量和链路状态两种协议的特性。例如，EIGRP不会像OSPF那样发送链路状态数据包， 　　相反，它发送传统的距离矢量更新，在此更新中会包含有网络信息及从发出通告的路由器达到这些网络的开销。并且EIGPR也拥有链路状态的特性， 　　即它也在启动时同步相邻路由器间的路由表

strom简介 官方网址： http://storm.apache.org/ 是一个免费，开源的分布式实时计算系统，使用它可以轻松实现数据流的实时处理，Strom很简单，可以用任何编程语言 storm用例：实时在线分析 机器学习，连续计算，分布式RPC，ETL等。 Strom的特点：快速：基准时钟在超过一百万元组（可以理解为数据包）每秒处理的每个节点 简单的设置：有可扩展性，容错性，保证了数据的处理能力，并且易于设置和操作 storm实时流式计算系统 storm集群与hadoop集群（MapReduce）对比 MapReduce是批处理流程 //hadoop处理海量历史任务，不能做到实时 storm没有缓冲区原数据源源不断的进入处理系统，这是流处理 //实时流计算，一直运行直到停止。 Topology（拓扑）与 Mapreduce 一个关键的区别是： 一个MapReduce job 最终会结束， 而一个topology 永远会运行（除非你手动kill 掉） Nimbus（作业控制和资源管理 master进程） 与ResourManager 在Storm 的集群里面有两种节点： 控制节点（master node）和工作节点（worker node）。控制节点上面运行一个叫Nimbus 后台程序，它的作用类似Hadoop 里面的JobTracker /

前置 必须得搞搞odl了 安装 环境 root@vpp-test:~# java --version openjdk 11.0.8 2020-07-14 OpenJDK Runtime Environment (build 11.0.8+10-post-Ubuntu-0ubuntu118.04.1) OpenJDK 64-Bit Server VM (build 11.0.8+10-post-Ubuntu-0ubuntu118.04.1, mixed mode, sharing) root@vpp-test:~# cat /etc/issue Ubuntu 18.04.4 LTS \n \l #odl Magnesium-SR2 下载 https://docs.opendaylight.org/en/latest/downloads.html 安装java apt install openjdk-11-jre-headless 设置JAVA_HOME 编辑/etc/profile export JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64/" 加载 root@vpp-test:~# source /etc/profile root@vpp-test:~# echo $JAVA_HOME /usr/lib/jvm/java-11

文章目录 前言 Ozone Streaming的实现背景：Ratis Streaming Ozone Streaming方式写过程 参考资料 前言 在Ozone目前数据写出的过程，是基于从对象文件的block，再从block到chunk粒度进行数据的写出的。每次Ozone写完一个chunk后，对应着会触发一次write chunk的RPC call。当我们写入的数据文件对象很大的时候，过程中将会涉及到很多次write chunk PRC的操作调用。这个RPC call的频繁调用意味着相应更多的transaction的发生。对于Ozone Datanode里使用Raft协议做数据一致性同步过程的影响而言，则意味着更多的raft log需要被apply以及对应Ratis snapshot的take操作也会变得更加频繁。在一定程度上，这会影响到Datanode节点本身的数据写出操作。最近社区提出了利用Ratis Streaming的特性来优化Ozone数据写出的流程。本文笔者来简单聊聊Ozone Streaming这种全新方式的数据写出过程，目前此功能处于有一个初步的设计方案阶段。 Ozone Streaming的实现背景：Ratis Streaming 首先我们来聊聊Ozone Streaming的一个大的背景，Ozone Streaming想法的提出源自于Ratis

这个周末基于windows10单机版学习Flume+kafka+storm的简单集成，目的是加深对应基本概念的认识。这里不具体介绍flume，kafka，storm的原理，只对基本概念只做简单说明。 1.1 准备阶段 操作系统：windows 10家庭版 在官方网站下载下载编译后的软件，本人学习对应的软件版本如下： apache-flume-1.9.0-bin apache-storm-1.0.5 kafka_2.11-1.1.1 zookeeper-3.4.10 1.2 学习目标 （1） 使用Flume基于spooling directory和netcat采集日志数据，作为Kafka的Producer； （2） 使用Kafka的客户端输入日志作为Kafka的Producer； （3） 使用storm消费Kafka的日志，读取的日志数据保存到文件系统。 如下图： 1.3 Flume 1.3.1 基本概念 Flume是一个分布式、可靠、高可用的海量日志采集、聚合、传输的系统。核心是把数据从数据源（source）收集过来，在将收集到的数据送到指定的目的地（sink）。为了保证输送的过程一定成功，在送到目的地（sink）之前，会先缓存数据（channel）,待数据真正到达目的地（sink）后，Flume再删除自己缓存的数据。 基本概念： Source：