epoch

【pytorch-ssd目标检测】训练自己创建的数据集

半城伤御伤魂 提交于 2020-04-22 19:00:55
制作类似pascal voc格式的目标检测数据集: https://www.cnblogs.com/xiximayou/p/12546061.html 代码来源:https://github.com/amdegroot/ssd.pytorch 拷贝下来的代码好多坑要踩。。。 我将其上传到谷歌colab上,当前目录结构如下: 需要说明的是,虽然我们只有2类,但是,要加上背景一类,所以总共我们有3类。 首先我们要读取自己的数据集 在config.py中 # config.py import os.path # gets home dir cross platform # HOME = os.path.expanduser("~") HOME = os.path.expanduser("/content/drive/My Drive/pytorch_ssd/") # for making bounding boxes pretty COLORS = ((255, 0, 0, 128), (0, 255, 0, 128), (0, 0, 255, 128 ), (0, 255, 255, 128), (255, 0, 255, 128), (255, 255, 0, 128 )) MEANS = (104, 117, 123 ) mask = { 'num_classes': 3, 'lr

【pytorch-ssd目标检测】训练自己创建的数据集

核能气质少年 提交于 2020-04-22 12:21:44
制作类似pascal voc格式的目标检测数据集: https://www.cnblogs.com/xiximayou/p/12546061.html 代码来源:https://github.com/amdegroot/ssd.pytorch 拷贝下来的代码好多坑要踩。。。 我将其上传到谷歌colab上,当前目录结构如下: 需要说明的是,虽然我们只有2类,但是,要加上背景一类,所以总共我们有3类。 首先我们要读取自己的数据集 在config.py中 # config.py import os.path # gets home dir cross platform # HOME = os.path.expanduser("~") HOME = os.path.expanduser("/content/drive/My Drive/pytorch_ssd/") # for making bounding boxes pretty COLORS = ((255, 0, 0, 128), (0, 255, 0, 128), (0, 0, 255, 128 ), (0, 255, 255, 128), (255, 0, 255, 128), (255, 255, 0, 128 )) MEANS = (104, 117, 123 ) mask = { 'num_classes': 3, 'lr

好程序员Java教程之ZooKeeper面试题梳理汇总

吃可爱长大的小学妹 提交于 2020-04-22 01:50:15
  好程序员Java教程之ZooKeeper面试题梳理汇总,随着疫情的好转,各大企业开始以远程面试的形式进行人才招聘,而Java行业依旧是需求量最大的人群,但招聘要求却有很大提高。有学员担心无法通过企业面试,其实只要你技能过关、表现良好,高薪就不是问题。接下来的好程序员Java就业指导小编就给大家分享ZooKeeper相关的面试题。   ZooKeeper是什么?   ZooKeeper是一个开放源码的分布式协调服务,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户。   分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。Zookeeper保证分布式一致性特性:顺序一致性、原子性、单一视图、可靠性、实时性(最终一致性)。   ZooKeeper负载均衡和nginx负载均衡区别   ZooKeeper   1)不存在单点问题,zab机制保证单点故障可重新选举一个leader;   2)只负责服务的注册与发现,不负责转发,减少一次数据交换(消费方与服务方直接通信);   3)需要自己实现相应的负载均衡算法。   nginx   1))存在单点问题,单点负载高数据量大

用PaddlePaddle实现图像分类-DisResNet(动态图版)

帅比萌擦擦* 提交于 2020-04-22 01:19:42
项目简介 本项目基于paddle 动态图机制实现了图像分类模型 ResNet的训练和预测,建议使用GPU来训练,具体介绍如下。 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu 模型简介 ResNet(Residual Neural Network)由微软研究院的Kaiming He等四名华人提出,通过使用ResNet Unit成功训练出了152层的神经网络,并在ILSVRC2015比赛中取得冠军,在top5上的错误率为3.57%,同时参数量比VGGNet低,效果非常突出。ResNet的结构可以极快的加速神经网络的训练,模型的准确率也有比较大的提升。同时ResNet的推广性非常好,甚至可以直接用到InceptionNet网络中。 ResNet的主要思想是在网络中增加了直连通道。此前的网络结构是对输入做一个非线性变换,而Highway Network则允许保留之前网络层的一定比例的输出。ResNet的思想和Highway Network的思想非常类似

基于PaddlePaddle的NeXtVLAD视频分类模型 Fork 18 收藏

怎甘沉沦 提交于 2020-04-22 00:46:34
算法介绍 NeXtVLAD模型是第二届Youtube-8M视频理解竞赛中效果最好的单模型,在参数量小于80M的情况下,能得到高于0.87的GAP指标。该模型提供了一种将桢级别的视频特征转化并压缩成特征向量,以适用于大尺寸视频文件的分类的方法。其基本出发点是在NetVLAD模型的基础上,将高维度的特征先进行分组,通过引入attention机制聚合提取时间维度的信息,这样既可以获得较高的准确率,又可以使用更少的参数量。详细内容请参考 NeXtVLAD: An Efficient Neural Network to Aggregate Frame-level Features for Large-scale Video Classification 。 这里实现了论文中的单模型结构,使用2nd-Youtube-8M的train数据集作为训练集,在val数据集上做测试。 本例采用的是YouTube-8M 2018年更新之后的数据集。使用官方数据集,并将TFRecord文件转化为pickle文件以便PaddlePaddle使用。Youtube-8M数据集官方提供了frame-level和video-level的特征。本例挂靠的数据集为预处理后的数据集, 该数据集为YouTUbe 8M数据集的子集,仅包含5个视频文件,并且训练和测试使用的数据一样,主要用途是模型示例。 下载安装命令 ##

2020最新Java工程师面试题-ZooKeeper篇(附答案)

雨燕双飞 提交于 2020-04-22 00:42:16
持续更新内容涵盖:Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、Spring Boot、Spring Cloud、RabbitMQ、Kafka、 Linux 等技术栈(滴滴滴.会持续更新哦,记得点赞、关注、分享三连击哈). 1. ZooKeeper 面试题? ZooKeeper 是一个开放源码的分布式协调服务,它是集群的管理者,监视着集群 中各个节点的状态根据节点提交的反馈进行下一步合理操作。 最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户。 分布式应用程序可以基于 Zookeeper 实现诸如数据发布/订阅、负载均衡、命名 服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能. Zookeeper 保证了如下分布式一致性特性 : 1、顺序一致性 2、原子性 3、单一视图 4、可靠性 5、实时性(最终一致性) 客户端的读请求可以被集群中的任意一台机器处理, 如果读请求在节点上注册了 监听器,这个监听器也是由所连接的 zookeeper 机器来处理 。 对于写请求,这些 请求会同时发给其他 zookeeper 机器并且达成一致后,请求才会返回成功. 因此, 随着 zookeeper 的集群机器增多,读请求的吞吐会提高但是写请求的吞吐会下降。

好程序员Java教程之ZooKeeper面试题梳理汇总

一世执手 提交于 2020-04-21 18:33:29
   好程序员 Java 教程 之 ZooKeeper 面试题梳理汇总 , 随着疫情的好转,各大企业开始以远程面试的形式进行人才招聘,而 Java 行业依旧是需求量最大的人群,但招聘要求却有很大提高。有学员担心无法通过企业面试,其实只要你技能过关、表现良好,高薪就不是问题。接下来的 好程序员 Java 就业指导小编就给大家分享 ZooKeeper 相关的面试题。   ZooKeeper 是什么 ?   ZooKeeper 是一个开放源码的分布式协调服务,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户。   分布式应用程序可以基于 Zookeeper 实现诸如数据发布 / 订阅、负载均衡、命名服务、分布式协调 / 通知、集群管理、 Master 选举、分布式锁和分布式队列等功能。 Zookeeper 保证分布式一致性特性:顺序一致性、原子性、单一视图、可靠性、实时性 ( 最终一致性 ) 。   ZooKeeper 负载均衡和 nginx 负载均衡区别   ZooKeeper   1) 不存在单点问题, zab 机制保证单点故障可重新选举一个 leader;   2) 只负责服务的注册与发现,不负责转发,减少一次数据交换 ( 消费方与服务方直接通信 );   3)

LSTM-航班人数预测

大憨熊 提交于 2020-04-21 17:17:42
小书匠 深度学习 LSTM 郑重声明,文章大部分翻译自: Time Series Prediction with LSTM Recurrent Neural Networks in Python with Keras 本文目录: * 1.导入相应库文件及数据情况 * 2.标准化数据,划分数据 * 3.生成样本 * 4.构建LSTM网络 * 5.查看模型效果 * 6.预测未来的数据 * 7.扩展 数据: 1949到1960共12年,每年12个月的数据,一共 144 个数据,单位是 1000, 原文数据下载在 这里 目标: 预测国际航班未来 1 个月的乘客数 1.导入相应库文件及数据情况 #导入相应的库 import numpy import matplotlib.pyplot as plt from pandas import read_csv import math from keras.models import Sequential from keras.layers import Dense from keras.layers import LSTM from keras.utils import plot_model from sklearn.preprocessing import MinMaxScaler from sklearn.metrics import mean

LSTM-航班人数预测

拈花ヽ惹草 提交于 2020-04-21 14:47:07
小书匠 深度学习 LSTM 郑重声明,文章大部分翻译自: Time Series Prediction with LSTM Recurrent Neural Networks in Python with Keras 本文目录: * 1.导入相应库文件及数据情况 * 2.标准化数据,划分数据 * 3.生成样本 * 4.构建LSTM网络 * 5.查看模型效果 * 6.预测未来的数据 * 7.扩展 数据: 1949到1960共12年,每年12个月的数据,一共 144 个数据,单位是 1000, 原文数据下载在 这里 目标: 预测国际航班未来 1 个月的乘客数 1.导入相应库文件及数据情况 #导入相应的库 import numpy import matplotlib.pyplot as plt from pandas import read_csv import math from keras.models import Sequential from keras.layers import Dense from keras.layers import LSTM from keras.utils import plot_model from sklearn.preprocessing import MinMaxScaler from sklearn.metrics import mean

Redis 5.0 redis-cli --cluster help说明

天涯浪子 提交于 2020-04-21 08:22:56
背景: Redis Cluster 在5.0之后取消了ruby脚本 redis-trib.rb 的支持(手动命令行添加集群的方式不变),集合到redis-cli里,避免了再安装ruby的相关环境。直接使用redis-clit的参数--cluster 来取代。为方便自己后面查询就说明下如何使用该命令进行Cluster的创建和管理,关于Cluster的相关说明可以查看 官网 或则 Redis Cluster部署、管理和测试 。 环境: 系统版本:Ubuntu 14.04 Redis版本: 5.0 . 5 机器IP: 192.168 . 163.132 说明: redis-cli --cluster help redis-cli -- cluster help Cluster Manager Commands: create host1:port1 ... hostN:portN #创建集群 --cluster-replicas <arg> #从节点个数 check host:port #检查集群 --cluster-search-multiple- owners #检查是否有槽同时被分配给了多个节点 info host:port #查看集群状态 fix host:port #修复集群 --cluster-search-multiple- owners #修复槽的重复分配问题