stage

接上文，经过了openpose的原理简单的解析，这一节我们主要进行code的解析。 CODE解析 我们主要参考的代码是https://github.com/tensorboy/pytorch_Realtime_Multi-Person_Pose_Estimation，代码写的很好，我们主要看的是demo/picture_demo.py 首先我们看下效果， 作图表示输入的图片，酷酷的四字弟弟，右图是出来的关键点，我们根据demo中的单张图片的前向过程讲解下模型的inference阶段，在简单的过一下训练的过程。 而在inference的阶段中，我们主要看这几个关键的函数，我们把这几个函数扒出来单独介绍下。其中相对重要的几个函数，我们主要进行了标红，其中权重文件，在这个git里面有相关的下载连接。 咱们主要看这这几部分 1. model = get_model('vgg19') 表示在上面所述的网络的示意图中，那个F使用的是vgg19，提取到的feature maps。此函数在lib/network/rtpose_vgg.py之中。 1 """CPM Pytorch Implementation""" 2 3 from collections import OrderedDict 4 5 import torch 6 import torch.nn as nn 7 import

转自： https://www.cnblogs.com/donghaojun/p/10906981.html 开发常用git指令： git init # 初始化本地git环境 git clone xxx # 克隆一份代码到本地 git config --globa user.name/user.email # 修改全局的用户名称和邮箱 git checkout -b xxx # 基于当前分支创建xxx分支并切换到xxx分支 git checkout xxx # 切换到xxx分支 git checkout -d xxx # 删除本地xxx分支 git push origin --delete xxx # 删除远端xxx分支 git push origin xxx:xxx # 将本地xxx分支推送到远端 git branch -a/-r # 查看全部分支/查看远端分支 git branch -d # 删除本地分支 git remote prune origin #删除远端不存在的分支 git pull origin xxx # 将远端xxx分支拉取到当前分支（将git fetch 和 git merge 合并为一步） git fetch origin xxx # 将远端分支更新到当前分支（单独进行下载和合并是一个好的做法，你可以先看看下载的是什么，然后再决定是否和本地代码合并。git

算子调优一：mapPartitions 普通的map算子对RDD中的每一个元素进行操作，而mapPartitions算子对RDD中每一个分区进行操作。如果是普通的map算子，假设一个partition有1万条数据，那么map算子中的function要执行1万次，也就是对每个元素进行操作。 如果是mapPartition算子，由于一个task处理一个RDD的partition，那么一个task只会执行一次function，function一次接收所有的partition数据，效率比较高。 比如，当要把RDD中的所有数据通过JDBC写入数据，如果使用map算子，那么需要对RDD中的每一个元素都创建一个数据库连接，这样对资源的消耗很大，如果使用mapPartitions算子，那么针对一个分区的数据，只需要建立一个数据库连接。 mapPartitions算子也存在一些缺点：对于普通的map操作，一次处理一条数据，如果在处理了2000条数据后内存不足，那么可以将已经处理完的2000条数据从内存中垃圾回收掉；但是如果使用mapPartitions算子，但数据量非常大时，function一次处理一个分区的数据，如果一旦内存不足，此时无法回收内存，就可能会OOM，即内存溢出。 因此，mapPartitions算子适用于数据量不是特别大的时候

在使用spark-submit提交一个Spark应用之后，Driver程序会向集群申请一定的资源来启动东若干个Executors用来计算，当这些Executors启动后，它们会向Driver端的SchedulerBackend进行注册，告诉Driver端整个每一个Executor的资源情况。 那么在一个Spark Application中的一旦一个RDD触发了Action API后，就会触发一个job的提交，job的提交步骤如下： 1、DAGScheduler根据RDD的依赖来划分并创建Stage，划分Stage的原则是碰到宽依赖就进行Stage的划分，划分好的所有Stage之间也有父子关系。调度Stage的时候先调度没有父亲的Stage 2、将没有父亲的Stage转成Taskset提交给TaskScheduler进行调度，每一个Stage对应着一个Taskset，一个Taskset包含了若干个Task，如果RDD有几个分区，那么这个Taskset中就有几个Task 3、TaskScheduler接收到Taskset之后，先创建一个TasksetManager，用于调度和管理这个Taskset中所有Task，然后将这个TasksetManager放到TasksetManager Pool中(这个Pool的功能就是使得我们可以使用不同的策略来调度TasksetManager)。 4

I want to modify the index of one (text) file without having to change the working tree file state. Is this possible? Another take on "changing file in index without altering working dir" is to apply a patch to index only. This is often the way GUI git clients stage only selected lines from a given file. You start out by (if you want) clearing out the changes from index for that file: git reset path/to/file Then extracting the full patch for it git diff path/to/file > /path/to/tmpfile Edit the patch file to include only the changes you want to apply, and apply just the edited patch: git apply

注意：如果Driver写好了代码，eclipse或者程序上传后，没有开始处理数据，或者快速结束任务，也没有在控制台中打印错误，那么请进入spark的web页面，查看一下你的任务，找到每个分区日志的stderr，查看是否有错误，一般情况下一旦驱动提交了，报错的情况只能在任务日志里面查看是否有错误情况了 1 、 Operation category READ is not supported in state standby org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby 此时请登录Hadoop的管理界面查看运行节点是否处于standby 如登录地址是： http://192.168.50.221:50070/dfshealth.html#tab-overview 如果是，则不可在处于StandBy机器运行spark计算，因为该台机器为备分机器 2 、配置 spark.deploy.recoveryMode 选项为 ZOOKEEPER 如果不设置spark.deploy.recoveryMode的话，那么集群的所有运行数据在Master重启是都会丢失

In my Flash Application (AS3), I want to get the stage size and use that so my objects (which the user controls) can't go outside of the screen. However, when I use: stage.stageWidth; stage.stageHeight; The values I get aren't actually what I want. They give me the stage size, but if I resize the window, the numbers change as well. Now, in a html page, I don't think that will matter, because the user can't resize it... however, I'd like for it to be more solid than relying on the window size. I also tried to use: stage.width; stage.height; However, those gave me "801" and "601", one greater

I recently uploaded Play application on server. Problem is that I can ran application through command activator run it compiles and runs fine. When I try to do activator clean stage it also compiles but after target/universal/stage/bin/name_of_myapp it throws an error like Oops, cannot start the server. Configuration error: Configuration error[Cannot register class [models.Movie] in Ebean server] at play.api.Configuration$.play$api$Configuration$$configError(Configuration.scala:94) at play.api.Configuration.reportError(Configuration.scala:743) at play.Configuration.reportError(Configuration

Spark(一): 基本架构及原理 Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求 官方资料介绍Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍，甚至能够将应用在磁盘上的运行速度提升10倍 目标： 架构及生态 spark 与 hadoop 运行流程及特点 常用术语 standalone模式 yarn集群 RDD运行流程 架构及生态： 通常当需要处理的数据量超过了单机尺度(比如我们的计算机有4GB的内存，而我们需要处理100GB以上的数据)这时我们可以选择spark集群进行计算，有时我们可能需要处理的数据量并不大，但是计算很复杂，需要大量的时间，这时我们也可以选择利用spark集群强大的计算资源，并行化地计算，其架构示意图如下： Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的 Spark

Gitlab CI/CD 前言 纵观人类历史的发展以及三次工业革命，你会发现利用机器来替代部分人力劳动，将重复的工作自动化从而解放生产力都是发展的必然趋势，在软件工程领域也不例外，其中 CI/CD 就是其中一项，那么什么是 CI/CD 呢，网上的解释不要太多，这里我就直接放一幅 Gitlab 官网的工作流程图好了： 准备条件 Gitlab runner .gitlab-ci.yml Gitlab runner Gitlab runner 是整个 CI/CD 的执行器，它是执行你写的 .gitlab-ci.yml 文件的虚拟机。 Gitlab runner 分为两种： 特定的 runner：只能当前项目使用 共享的 runner：所有项目都可以使用 找到你的项目在 设置 > Runners 里 你可以看到如下界面： 左侧就是特定的 runners 右侧就是共享的 runners，只要确保有其一就行。 关于 runner 的安装我不想过多赘述，官网写的很清楚，只要按照步骤一步一步搭建就好了。 .gitlab-ci.yml 当你有了 runner 就可以开始着手写 .gitlab-ci.yml 文件了，.gitlab-ci.yml 文件是对于整个 CI/CD 流程的描述文件，它告诉 runner 应该怎样执行具体的操作。 在具体介绍配置之前，我想先明确整个 .gitlab-ci.yml