memory

tensorflow2.1GPU显存限制

拥有回忆 提交于 2020-03-11 01:22:01
tensorflow2.1显存限制 查了一下午,查到的方法全都无法解决,在绝望的时候从 API 中找到了正解 1.tensorflow v1使用如下用法 opts = tf . GPUOptions ( per_process_gpu_memory_fraction = 0.5 ) sess = tf . Session ( config = tf . ConfigProto ( gpu_options = opts ) ) 2.tensorflow v2.0α版本使用如下用法 tensorflow . config . gpu . set_per_process_memory_fraction ( 0.75 ) tensorflow . config . gpu . set_per_process_memory_growth ( True ) 但是该用法很快被替换掉,解决方法向下看 3.tensorflow v2.1版本使用如下用法 gpus = tf . config . experimental . list_physical_devices ( 'GPU' ) #获取GPU列表 tf . config . experimental . set_virtual_device_configuration ( gpus [ 0 ] , [ tf . config .

redis Cannot allocate memory 异常

荒凉一梦 提交于 2020-03-10 11:52:46
redis 报异常 fork:Cannot allocate memory 解决方法: 直接修改内核参数 vm.overcommit_memory = 1, Linux内核会根据参数vm.overcommit_memory参数的设置决定是否放行。 vm.overcommit_memory = 1,直接放行 vm.overcommit_memory = 0:则比较 此次请求分配的虚拟内存大小和系统当前空闲的物理内存加上swap,决定是否放行。 vm.overcommit_memory = 2:则会比较进程所有已分配的虚拟内存加上此次请求分配的虚拟内存和系统当前的空闲物理内存加上swap,决定是否放行。 资料 https://www.jianshu.com/p/d03216c0150b https://www.cnblogs.com/iuwai/p/4331795.html https://blog.csdn.net/tototuzuoquan/article/details/81129808 https://blog.csdn.net/tototuzuoquan/article/details/81129808 https://www.cnblogs.com/godfather007/p/10167849.html https://blog.csdn.net/baiducheng

【原创】大叔经验分享(51)docker报错Exited (137)

非 Y 不嫁゛ 提交于 2020-03-10 11:15:40
docker container启动失败,报错:Exited (137) *** ago,比如 Exited (137) 16 seconds ago 这时通过docker logs查不到任何日志,从mesos上看stderr相关的只有一句 I0409 16:56:26.408077 8583 executor.cpp:736] Container exited with status 137 通过docker inspect查看container状态为 "State": { "Status": "exited", "Running": false, "Paused": false, "Restarting": false, "OOMKilled": true, "Dead": false, "Pid": 0, "ExitCode": 137, "Error": "", "StartedAt": "2019-04-09T08:50:48.058583459Z", "FinishedAt": "2019-04-09T08:50:55.456317695Z" }, 可见是因为OOMKilled,通过journalctl查看oom日志如下: # journalctl -k | grep -i -e memory -e oom Apr 09 16:00:14 cdp-test-server

Python查看变量占用内存情况

六月ゝ 毕业季﹏ 提交于 2020-03-09 18:25:49
def show_memory ( unit = 'KB' , threshold = 1 ) : '''查看变量占用内存情况 :param unit: 显示的单位,可为`B`,`KB`,`MB`,`GB` :param threshold: 仅显示内存数值大于等于threshold的变量 ''' from sys import getsizeof scale = { 'B' : 1 , 'KB' : 1024 , 'MB' : 1048576 , 'GB' : 1073741824 } [ unit ] for i in list ( globals ( ) . keys ( ) ) : memory = eval ( "getsizeof({})" . format ( i ) ) // scale if memory >= threshold : print ( i , memory ) if __name__ == '__main__' : a = [ i for i in range ( 10000 ) ] show_memory ( ) # a 85 10000条数字的列表占用内存85KB 来源: CSDN 作者: XerCis 链接: https://blog.csdn.net/lly1122334/article/details/104757467

Upload Large File In asp.net or website in Windows Azure .

我怕爱的太早我们不能终老 提交于 2020-03-09 08:42:42
What is the approch of Upload file in asp.net used to do. The answer is using a Form to upload file . you can use the form and file http element . and you also can work with the asp.net ui component. like HtmlInputFile. When you try to use the HtmlInputFile control to upload a large file, the file may not be uploaded. This problem occurs because the default value for the maxRequestLength parameter in the <httpRuntime> section of the Machine.config file is 4096 (4 megabytes). As a result, files that are larger than this value are not uploaded by default. To resolve this problem, use one of the

分布式消息队列Kafka学习笔记

故事扮演 提交于 2020-03-09 07:59:40
Kafka概述 a distributed streaming platform Kafka架构和核心概念 producer, 生产者,生产馒头。 consumer, 消费者,吃馒头。 broker, 篮子。 topic, 主题,给馒头带一个标签,topica的馒头是给你吃的,topicb的馒头是给你弟弟吃。 Zookeeper集群部署 安装包解压 , 1 tar -xzvf zookeeper-3.4.5.tar.gz -C / export /servers zookeeper配置文件修改 , 1 cp zoo_sample.cfg zoo.cfg 2 vi zoo.cfg 3 #数据目录. 可以是任意目录,其中的dataDir目录和dataLogDir需要提前建立好 4 #注意 应该谨慎地选择日志存放的位置,使用专用的日志存储设备能够大大地提高系统的性能,如果将日志存储在比较繁忙的存储设备上,那么将会在很大程度上影响系统的性能。 5 dataDir=/ export /servers/data/zookeeper 6 #log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置,其中的dataDir目录和dataLogDir需要提前建立好 7 #注意 应该谨慎地选择日志存放的位置,使用专用的日志存储设备能够大大地提高系统的性能

Rabbitmq之Memory

自作多情 提交于 2020-03-07 19:56:30
默认内存阈值设置为 已安装RAM的40% ;默认情况下,当RabbitMQ服务器使用超过40%的已安装RAM时, 它会引发内存警报并阻止所有正在发布消息的连接 。一旦内存警报清除(例如,由于 服务器将消息分页到磁盘或将其传递给仅消耗的客户端 ),正常服务将恢复。 1.临时修改占用内存比例 示例: #rabbitmqctl set_vm_memory_high_watermark 0.6 2.永久修改占用内存 示例: 在rabbitmq配置文件中修改vm_memory_high_watermark配置项;但是rabbitmq不提供主配置文件,需要自己编写; 编写文件如下: #vi rabbitmq.config 来源: https://www.cnblogs.com/llwxhn/p/12436238.html

又又一款抓dmp工具---ProcDump

核能气质少年 提交于 2020-03-07 09:25:12
简介 ProcDump是一个命令行实用程序,其主要目的是监视应用程序的CPU峰值,并在峰值期间生成崩溃转储,管理员或开发人员可以使用该转储来确定峰值的原因。ProcDump还包括挂起窗口监视(使用与Windows和任务管理器使用的相同的窗口挂起定义)、未处理的异常监视,并且可以基于系统性能计数器的值生成转储。它还可以作为一个通用的进程转储实用程序,可以嵌入到其他脚本中。 使用ProcDump procdump [-a] [[-c|-cl CPU usage] [-u] [-s seconds]] [-n exceeds] [-e [1 [-b]] [-f <filter,...>] [-g] [-h] [-l] [-m|-ml commit usage] [-ma | -mp] [-o] [-p|-pl counter threshold] [-r] [-t] [-d <callback DLL>] [-64] <[-w] <process name or service name or PID> [dump file] | -i <dump file> | -u | -x <dump file> <image file> [arguments] >] [-? [ -e] Parameter Description -a Avoid outage. Requires -r. If

最简单的方法是使用标准的 Linux GUI 程序之一: i-nex 收集硬件信息,并且类似于 Windows 下流行的 CPU-Z 的显示。 HardInfo 显示硬件具体信息,甚至包括一组八个的流行的性能基准程序,你可以用它们评估你的系统性能。 KInfoCenter 和 Lshw 也能够显示硬件的详细信息,并且可以从许多软件仓库中获取。

南楼画角 提交于 2020-03-06 12:48:22
最简单的方法是使用标准的 Linux GUI 程序之一: i-nex 收集硬件信息,并且类似于 Windows 下流行的 CPU-Z 的显示。 HardInfo 显示硬件具体信息,甚至包括一组八个的流行的性能基准程序,你可以用它们评估你的系统性能。 KInfoCenter 和 Lshw 也能够显示硬件的详细信息,并且可以从许多软件仓库中获取。 或者,你也可以拆开计算机机箱去查看硬盘、内存和其他设备上的标签信息。或者你可以在系统启动时,按下 相应的按键 进入 UEFI 和 BIOS 界面获得信息。这两种方式都会向你显示硬件信息但省略软件信息。 你也可以使用命令行获取硬件信息。等一下… 这听起来有些困难。为什么你会要这样做? 有时候通过使用一条针对性强的命令可以很轻松的找到特定信息。也可能你没有可用的 GUI 程序或者只是不想安装这样的程序。 使用命令行的主要原因可能是编写脚本。无论你是使用 Linux shell 还是其他编程语言来编写脚本通常都需要使用命令行。 很多检测硬件信息的命令行都需要使用 root 权限。所以要么切换到 root 用户,要么使用 sudo 在普通用户状态下发出命令: sudo < the_line_command > 并按提示输入你的密码。 这篇文章介绍了很多用于发现系统信息的有用命令。文章最后的快速查询表对它们作出了总结。 硬件概述

Nginx启动报错Cannot allocate memory

假装没事ソ 提交于 2020-03-06 10:09:47
本文转载自: https://www.93bok.com 前言 今天改了nginx的一个配置参数,所以就reload了一下,我去,竟然报错了Cannot allocate memory起不来,日志报错如下: 报错如下图 [alert] 21470#0: mmap(MAP_ANON|MAP_SHARED, 536870912) failed (12: Cannot allocate memory) 解决 1. 查看一下内存还剩多少 free -m total used free shared buff/cache available Mem: 992 427 77 81 487 314 Swap: 0 0 0 2. 修改配置文件 vim /etc/nginx/nginx.conf fastcgi_cache_path /data/www/wordpress/fastcgi/ngx_fcgi_cache levels=2:2 keys_zone=ngx_fcgi_cache:500m inactive=30s max_size=5g; 把上边的500m改成free内存的数量即可,但是也不要一点不剩,这里我改成了50m 3. 修改完配置文件之后测试一下配置文件是否通过检测 nginx -t nginx: the configuration file /etc/nginx/nginx