运算速度

1 batch size太小，导致模型的并行化程度太低。还有你的cpu、内存/显存带宽性能不足。 2 因为记录日志需要频繁的进行写入操作，导致运算变慢！所以提高GPU利用率一定要小心日志 3 GPU 的 memory 分为 三种，io速度从快到慢排序为： local memory shared memory global memory Reference 1 https://blog.csdn.net/u012436149/article/details/77221417 2 GPU共享内存小结---pycuda 来源： https://blog.csdn.net/tony2278/article/details/100540003

hadoop学习笔记——NO.6_MapReduce_1 1.MapReduce原理篇（1） MapReduce是一个分布式运算程序的编程框架，是用户开发”基于hadoop的数据分析应用”的核心框架。 Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。 1.1 为什么要MAPREDUCE 1、海量数据在单机上处理因为硬件资源限制，无法胜任 2、而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度 3、引入mapreduce框架后，开发人员可以将绝大部分工作集中在业务逻辑的开发上，而将分布式计算中的复杂性交由框架来处理 设想一个海量数据场景下的wordCount需求： 单机版： 内存受限，磁盘受限，运算能力受限 分布式： 1、文件分布式存储（HDFS） 2、运算逻辑需要至少分成2个阶段（一个阶段独立并发，一个阶段汇聚） 3、运算程序如何分发 4、程序如何分配运算任务（切片） 5、两阶段的程序如何启动？如何协调？ 6、整个程序运行过程中的监控？容错？重试？ 可见在程序由单机版扩成分布式时，会引入大量的复杂工作。为了提高开发效率，可以将分布式程序中的公共功能封装成框架，让开发人员可以将精力集中于业务逻辑。 而mapreduce就是这样一个分布式程序的通用框架

每秒浮点运算次数 [ 编辑 ] 维基百科，自由的百科全书 跳到导航 跳到搜索 此条目 需要补充更多 来源 。 ( 2018年2月28日) 请协助添加多方面 可靠来源 以 改善这篇条目 ， 无法查证 的内容可能会因为 异议提出 而移除。 每秒浮点运算次数 （亦称 每秒峰值速度 ）是每秒所执行的 浮点 运算次数（ 英语： Floating-point operations per second；缩写： FLOPS ）的简称，被用来估算 电脑效能 ，尤其是在使用到大量浮点运算的科学计算领域中。因为FLOPS字尾的那个S代表 秒 ，而不是 复数 ，所以不能够省略。 浮点运算 实际上包括了所有涉及浮点数的 运算 ，在某类应用软件中常常出现，比较整数运算更用时间。现今大部分的 处理器 中都有 浮点运算器 。因此每秒浮点运算次数所量测的实际上就是浮点运算器的执行速度。而最常用来测量每秒浮点运算次数的基准程式（benchmark）之一，是 Linpack 。 目录 1 评价 2 换算 3 其他 3.1 FLOPS 3.2 MFLOPS 3.3 GFLOPS 3.4 TFLOPS 3.5 PFLOPS 3.6 EFLOPS 4 参见 5 注释 6 外部链接 评价 [ 编辑 ] 许多专家 [谁？] 对每秒浮点运算次数颇多微词，认为它并不是一个有意义的量度

原文: http://blog.gqylpy.com/gqy/418 置顶：来自一名75后老程序员的武林秘籍——必读 （博主推荐） 来，先呈上武林秘籍链接： http://blog.gqylpy.com/gqy/401/ 你好，我是一名极客！一个 75 后的老工程师！ 我将花两分钟，表述清楚我让你读这段文字的目的！ 如果你看过武侠小说，你可以把这个经历理解为，你失足落入一个山洞遇到了一位垂暮的老者！而这位老者打算传你一套武功秘籍！ 没错，我就是这个老者！ 干研发 20 多年了！我也年轻过，奋斗过！我会画原理图，会画 PCB，会模拟，会数字！玩过 PLC，玩过单片机，会用汇编，会用 C！玩过 ARM，比如 PLC，STM32，和时下正在起飞的 NXP RT1052！搞过 DSP，比如 TMS320F28335！搞过 FPGA，不管 Xilinx 还是 Altera，也不管是 Verilog 还是 VHDL，或者直接画数字电路图！我懂嵌入式系统，比如 uCOS 和 Linux！我懂开源的硬件，比如 Arduino 和树莓派!我也搞软件，学了一堆上位机的语言C#，JAVA，Python，Kotlin，Swift！会写爬虫工具，又自学写APP，不管Android 还是 IOS！ 可是这一切有什么用呢？土鸡瓦狗！不值一提！干技术的永远就是最苦逼的那个人！ 我相信看到这里的你，应该是个 IT

shell学习 不退出vim执行 ::!bash change_ip.sh 10.190.172.6 10.190.172.7 VIM 中执行 Shell 命令，有以下几种形式： 1. :!command 不退出 vim ，并执行 shell 命令 command ，将命令输出显示在 vim 的命令区域，不会改变当前编辑的文件的内容 例如： :!ls -l ， 如果你正在编辑一个脚本 ,vim ErrorMail.sh, 代码基本写完，你想测试一下你不用保存退出，你可以先保存 :w! 然后再执行这个脚本 :!sh ErrorMai.sh. 此时你并没有退出 vim 编辑器，返回结果后，你只要回车一下可以继续编辑 2. :r!command 将 shell 命令 command 的结果插入到当前行的下一行 . 例如： :r!date ，读取系统时间并插入到当前行的下一行。 3. :起始行号,结束行号 !command 将起始行号和结束行号指定的范围中的内容输入到 shell 命令 command 处理，并将处理结果替换起始行号和结束行号指定的范围中的内容 . 例如 :62,72 !sort ，将 62 行到 72 行的内容进行排序 , 可以只指定起始行，例如 :62 !tr [a-z] [A-Z] ，将 62 行的小写字母转为大写字母 linux shell 脚本输入参数解析 #!

http://hi.baidu.com/hieda/blog/item/6afab113b8985127dc540179.html 1 引言 　　OFDM（正交频分复用）是一种多载波数字调制技术，被公认为是一种实现高速双向无线数据通信的良好方法。在OFDM系统中，各子载波上数据的调制和解调是采用FFT（快速傅里叶变换）算法来实现的。因此在OFDM系统中，FFT的实现方案是一个关键因素。其运算精度和速度必须能够达到系统指标。对于一个有512个子载波，子载波带宽20 kHz的OFDM系统中，要求在50 μs内完成512点的FFT运算。 　　硬件实现FFT算法的主要方案有：DSP（通用数字信号处理器）；FFT专用芯片；FPGA（现场可编程门阵列）。DSP具有纯软件实现的灵活性，适合用于流程复杂的算法，例如在通信系统中的信道编、解码，QAM映射等算法。如果在DSP中完成FFT运算，不仅要占用大量D SP的运算时间，使整个系统的数据吞吐率降低，也无法发挥DSP软件实现的灵活性。因此，前端的FFT运算应由ASIC或FPGA完成。采用专用的FFT处理芯片，虽然速度能达到要求，但其可扩展性差。FPGA具有硬件结构可重构的特点。适合于算法结构固定、运算量大的前端数字信号处理。新近推出的FPGA产品都采用多层布线结构，更低的核心电压，更丰富的IO管脚，容量可达到100 k个逻辑单元（LES）

http://hi.baidu.com/hieda/blog/item/3613b6bf6f4dd00e18d81f78.html 基于XC2V1000型FPGA的FIR抽取滤波器的设计 摘要 ：介绍XC2V1000型现场可编程门阵列(FPGA)的主要特性和FIR抽取滤波器的工作原理，重点阐述用XC2V1000实现FIR抽取滤波器的方法，并给出仿真波形和设计特点。 关键词 ：FIR抽取滤波器；流水线操作；XC2V1000；现场可编程门阵列 1 引言 抽取滤波器广泛应用在数字接收领域，是数字下变频器的核心部分。目前，抽取滤波器的实现方法有3种：单片通用数字滤波器集成电路、DSP和可编程逻辑器件。使用单片通用数字滤波器很方便，但字长和阶数的规格较少，不能完全满足实际需要。使用DSP虽然简单，但程序要顺序执行，执行速度必然慢。现场可编程门阵列(FPGA)有着规整的内部逻辑阵列和丰富的连线资源，特别适用于数字信号处理，但长期以来，用FPGA实现抽取滤波器比较复杂，其原因主要是FPGA中缺乏实现乘法运算的有效结构。现在，FPGA集成了乘法器，使FPGA在数字信号处理方面有了长足的进步。本文介绍用Xilinx公司的XC2V1000型FPGA实现FIR抽取滤波器的设计方法。 2 XC2V1000简介 Virtex-Ⅱ系列是Xilinx公司近几年研发的具有高性能、高速度和低功耗特点的新一代FPGA

im2col：将卷积运算转为矩阵相乘 发表于 2019-04-26 更新于 2019-05-15 分类于 深度学习 阅读次数： 28 本文字数： 2.9k 博客： blog.shinelee.me | 博客园 | CSDN im2col实现 如何将卷积运算转为矩阵相乘？直接看下面这张图，以下图片来自论文 High Performance Convolutional Neural Networks for Document Processing ： im2col 上图为3D卷积的传统计算方式与矩阵乘法计算方式的对比，传统卷积运算是将卷积核以滑动窗口的方式在输入图上滑动，当前窗口内对应元素相乘然后求和得到结果，一个窗口一个结果。 相乘然后求和恰好也是向量内积的计算方式 ，所以可以 将每个窗口内的元素拉成向量，通过向量内积进行运算 ，多个窗口的向量放在一起就成了矩阵，每个卷积核也拉成向量，多个卷积核的向量排在一起也成了矩阵，于是，卷积运算转化成了矩阵运算 >>> ： 现在是卷积 -> 矩阵乘法？能否尝试各种矩阵乘法，反推卷积形式？ deformable conv 对应的是什么矩阵乘法？ 下图为转化后的矩阵尺寸，padding为0： EmzaRO.png 代码上怎么实现呢？这里参看一下 SeetaFaceEngine/FaceIdentification/src/conv_net.cpp

云计算的概念 云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。 很多朋友都想问，云计算是什么？听起来好像很厉害欸！我先举一个很抽象化的近似于生活的例子来初步告诉大家什么是云计算。 比如说，在大街上面，有一个人叫你，你可以轻松地应他一声“哎”，现在，大街上有三个人叫你，你也可以分别对着三个人的方向回答他们“哎，哎，哎”。但是，如果大街上有一百个人同时叫你，你还能准确地答应他们吗？我表示我 应该 连头转哪边都不清楚了。如果现在街上有几万人、几十万人、几亿人叫你呢？这，就是云计算需要处理的问题了。再想象一下，如果你会分身，你分身成无数个人来处理叫你的人的数据，这些分身最后再将所有处理好的数据交付给你，然后你再负责处理接下来的数据，那运算起来，不就简单多了吗？没错，云计算正是实现了这一想法。 那么，很多人就想问了，云计算是怎么实现这一想法的呢？我就拿一项技术来举例说明吧。 语音识别技术

Python中numpy的使用: Numpy: numpy 是 python 的一个扩展库,支持大量的维度数组和矩阵计算,此外,也针对数组运算提供大量的数学函数库. numpy 可用来存储和处理大量矩阵,比 python 自带列表结构要高效的多. numpy是一个运行速度非常快的数学库,主要用于计算数组,包含: 一个强大的N组数组对象 ndarry 广播功能函数 整合 C/C++/Fortran 代码工具 线性代数,傅里叶变换,随机数生成等功能 ndarray: numpy 最重要的一个对象是其 N 维数组对象 ndarray ,它是一系列同类型的数据集合,可以使用基于0的索引访问集合中项目. ndarray 对象是用于 存放同类型元素 的多维数组. ndarray 中每个元素在内存中使用 相同存储大小的区域 , ndarray 中每个元素是数据类型对象的对象( dtype ) 创建一个ndarray只需要调用numpy的array函数,语法: numpy.array(object,dtype = None,ndmin = 0,copy = True,order = None,subok = False) 一般只有object,dtype和ndmin参数常用 参数 描述 object 数组或嵌套的数列 dtype 数组或元素的数据类型,可选 ndmin 指定生成数组的最小维度