stage

文章目录 1. 目标检测问题定义 1.1 目标检测定义 1.2 目标检测vs图像分类 1.3 目标检测vs目标分割 2. 目标检测问题方法 2.1 传统目标检测方法到深度学习目标检测方法的变迁 2.2 算法基本流程 2.3 传统目标检测方法 2.4 深度学习目标检测方法 2.5 传统目标检测方法VS深度学习目标检测方法 2.6 目标检测应用场景 3. 传统目标检测算法 3.1 综述 3.2 Viola-Jones 3.3 HOG+SVM 3.4 DPM 3.5 NMS（非极大值抑制算法） 4. 基于深度学习的目标检测算法 4.1 Two-stage基本介绍 4.1.1 概述 4.1.2 two-stage基本流程： 4.1.3 two-stage常见算法 4.2 Two-stage核心组件 4.2.1 CNN网络 4.2.2 RPN网络 4.3 One-stage基本介绍 4.3.1 One-stage 综述 4.3.2 One-stage基本流程 4.3.3 One-stage常见算法 4.4 One-stage核心组件 4.4.1 CNN网络 4.4.2 回归网络 4.4.3 回归网络预测过程 4.5 One-stage VS Two-stage 1. 目标检测问题定义 1.1 目标检测定义 目标检测是在图片中对 可变数量 的目标进行分类和查找。 主要难点： 目标种类与数量问题

通过 .gitlab-ci.yml配置任务 此文档用于描述.gitlab-ci.yml语法，.gitlab-ci.yml文件被用来管理项目的runner 任务。 如果想要快速的了解GitLab CI ，可查看 快速引导 。 .gitlab-ci.yml 从7.12版本开始，GitLab CI使用 YAML 文件(.gitlab-ci.yml)来管理项目配置。该文件存放于项目仓库的根目录，它定义该项目如何构建。 开始构建之前YAML文件定义了一系列带有约束说明的任务。这些任务都是以任务名开始并且至少要包含 script 部分： job1: script: "execute-script-for-job1" job2: script: "execute-script-for-job2" 上面这个例子就是一个最简单且带有两个独立任务的CI配置，每个任务分别执行不同的命令。 script 可以直接执行系统命令(例如：./configure;make;make install)或者是直接执行脚本(test.sh)。 任务是由 Runners 接管并且由服务器中runner执行。更重要的是，每一个任务的执行过程都是独立运行的。 用下面这个例子来说明YAML语法还有更多复杂的任务： image: ruby:2.1 services: - postgres before_script: -

hive实战 - qiang.xu - 博客园 hive实战 1. 安装hive 2. hive实战 3. hive存储模型 4. 深入hql查询语言 5. 参考资料及代码下载 <1>. 安装hive 下载hive，下载地址 http://mirror.bjtu.edu.cn/apache//hive/ ，解压该文件： xuqiang@ubuntu:~/hadoop/src/hive$ tar zxvf hive-0.7.0-bin.tar.gz 设置环境变量： xuqiang@ubuntu:~/hadoop/src/hive$ cd hive-0.7.0-bin/ xuqiang@ubuntu:~/hadoop/src/hive/hive-0.7.0-bin$ export HIVE_HOME=`pwd` 添加HIVE_HOME到环境变量PATH中： xuqiang@ubuntu:~/hadoop/src/hive$ export PATH=$HIVE_HOME/bin:$PATH; 在运行hive之前，请确保变量HADOOP_HOME已经设置，如果没有设置，可以使用export命令设置该变量。 然后需要在hdfs上创建如下的目录来保存hive相关的数据。 xuqiang@ubuntu:~ / hadoop / src / hive $ $ HADOOP_HOME / bin /

1）DAG有向无环图 DAG（Directed Acyclic Graph）有向无环图是由点和线组成的拓扑图形，该图形具有方向，不会闭环。例如，DAG记录了RDD的转换过程和任务的阶段。 2）RDD任务切分中间分为：Application、Job、Stage和Task （1）Application：初始化一个SparkContext即生成一个Application； （2）Job：一个Action算子就会生成一个Job； （3）Stage：Stage等于宽依赖的个数加1； （4）Task：一个Stage阶段中，最后一个RDD的分区个数就是Task的个数。 注意：Application->Job->Stage->Task每一层都是1对n的关系。 Stage任务划分 YarnClient运行模式介绍 3）代码实现 object Stage01 { def main(args: Array[String]): Unit = { //1.创建SparkConf并设置App名称 val conf: SparkConf = new SparkConf().setAppName("SparkCoreTest").setMaster("local[*]") //2. Application：初始化一个SparkContext即生成一个Application； val sc:

1 spark on yarn(cluster模式)框架 图1- 1 1.1 yarn组件概念 ResourceManager ：负责集群的资源管理和分配。 NodeManager ：每个节点的资源和任务管理器。 Application Master ：YARN中每个Application对应一个AM进程，负责与RM协商获取资源，获取资源后告诉NodeManager为其分配并启动Container。 Container ：YARN中的抽象资源。 1.2 spark组件概念 Driver ：进行资源申请、任务分配并监督其运行状况等。 DAGScheduler ：将spark job转换成DAG图。 TaskScheduler ：负责任务(task)调度 2 spark shuffle 2.1 窄依赖与宽依赖 理解shuffle之前，需要先理解窄依赖和宽依赖。 窄依赖： 父RDD的每个分区都只被子RDD的一个分区依赖 例如map、filter、union等操作会产生窄依赖。 宽依赖： 父RDD的分区被子RDD的多个分区依赖 例如 groupByKey、reduceByKey、sortByKey等操作会产生宽依赖，会产生shuffle过程，也是划分stage依据。 图2- 1 2.2 Shuffle过程 图2- 2 Shuffle过程包括：shuffle write与shuffle

目录 运行结构图 & 常用术语 消息通信原理 运行流程图 调度算法 容错及HA 监控 一、运行结构图 & 常用术语 Application: Appliction都是指用户编写的Spark应用程序，其中包括一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码 SparkContext: Spark应用程序的入口，负责调度各个运算资源，协调各个Worker Node上的Executor Driver: Spark中的Driver即运行上述Application的main函数并创建SparkContext，创建SparkContext的目的是为了准备Spark应用程序的运行环境，在Spark中有SparkContext负责与ClusterManager通信， 进行资源申请、任务的分配和监控 等，在执行阶段，Driver会将Task和Task所依赖的file和jar序列化后传递给对应的Worker机器。当Executor部分运行完毕后，Driver同时负责将SparkContext关闭，通常用SparkContext代表Driver Cluter Manager： 指的是在集群上获取资源的外部服务。目前有三种类型 Standalone : spark原生的资源管理，由Master负责资源的分配 Apache Mesos:与hadoop

转载请注明出处： https://www.cnblogs.com/darkknightzh/p/12150637.html 论文 HRNet：Deep High-Resolution Representation Learning for Human Pose Estimation https://arxiv.org/abs/1902.09212 HRNetV2：High-Resolution Representations for Labeling Pixels and Regions https://arxiv.org/abs/1904.04514 官方代码： https://github.com/HRNet 包括如下内容 1 简介 论文指出，有两种主要的计算高分辨率特征的方式：1 从ResNet等网络输出的低分辨率特征恢复高分辨率特征，同时可以得到中分辨率特征，如Hourglass、SegNet、DeconvNet、U-Net、encoder-decoder等。此时，可以使用上采样网络得到高分辨率特征，上采样网络应当和下采样网络互为对称网络（也有不对称的上采样过程，如RefineNet等）。2 通过高分辨率特征及并行的低分辨率特征来保持高分辨率特征。另一方面，空洞卷积可以用于计算中分辨率的特征。 HRNet能够保持高分辨率的特征，而不是从低分辨率的特征恢复高分辨率的特征。 2