特征向量

　　　　在 强化学习（八）价值函数的近似表示与Deep Q-Learning 中，我们讲到了Deep Q-Learning（NIPS 2013）的算法和代码，在这个算法基础上，有很多Deep Q-Learning(以下简称DQN)的改进版，今天我们来讨论DQN的第一个改进版Nature DQN(NIPS 2015)。 　　　　本章内容主要参考了ICML 2016的 deep RL tutorial 和Nature DQN的论文。 1. DQN(NIPS 2013)的问题 　　　　在上一篇我们已经讨论了DQN(NIPS 2013)的算法原理和代码实现，虽然它可以训练像CartPole这样的简单游戏，但是有很多问题。这里我们先讨论第一个问题。 　　　　注意到DQN(NIPS 2013)里面，我们使用的目标Q值的计算方式：$$y_j= \begin{cases} R_j& {is\_end_j\; is \;true}\\ R_j + \gamma\max_{a'}Q(\phi(S'_j),A'_j,w) & {is\_end_j \;is\; false} \end{cases}$$ 　　　　这里目标Q值的计算使用到了当前要训练的Q网络参数来计算$Q(\phi(S'_j),A'_j,w)$，而实际上，我们又希望通过$y_j$来后续更新Q网络参数。这样两者循环依赖

一、人脸检测实战 1.使用OpenCV进行人脸检测 OpenCV进行人脸检测 使用的是名为 Viola-Jones 的目标检测框架的算法。 第一步：下载OpenCV库 pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple 第二步：找到默认的预训练权重文件 1.一般在python安装目录的上级目录的/lib/python3.7/site-packages/cv2/data目录下，有个haarcascade_frontalface_default.xml文件 2.例如：我的python安装路径为/Users/username/opt/anaconda3/envs/tensorflow/bin/python， 那么文件路径就为/Users/username/opt/anaconda3/envs/tensorflow/lib/python3.7/site-packages/cv2/data/haarcascade_frontalface_default.xml 3.将该文件拷贝到某一文件夹下 第三步：在拷贝的haarcascade_frontalface_default.xml文件的同级目录下，新建face_detect_cv3.py文件： # -*- coding: utf-8 -*- import

大家好！我是【AI 菌】，一枚爱弹吉他的程序员。我 热爱AI、热爱分享、热爱开源 ！ 这博客是我对学习的一点总结与思考。如果您也对 深度学习、机器视觉、数据结构与算法、编程 等感兴趣，可以关注我的动态，我们一起学习，一起进步~ 我的博客地址为： 【AI 菌】的博客 我的Github项目地址是： 【AI 菌】的Github 资源传送门： 原论文地址： PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation 开源项目地址： TensorFlow1.0实现 、 PyTorch1.0实现 文章目录 1. PointNet简介 2. 提出背景 3. 网络结构 4. 模型的特点 5. 理论分析 6. 性能与效果 1. PointNet简介 点云是一种重要的几何数据结构。由于其格式不规则，大多数研究人员将这些数据转换为规则的三维体素网格（Voxel）或图像，以便于通过深度学习中的卷积操作进行权值共享、优化kernel参数等。但是，这会使得数据变得不必要的庞大，并导致一些问题。 PointNet，由斯坦福大学的Charles R. Qi等人在 CVPR2017 上发表，是一个 端对端 的神经网络，可以直接将 点云数据 作为输入，通过学习，实现对3D点云数据目标的 分类与分割 。

论文标题：Rich feature hierarchies for accurate object detection and semantic segmentation 　　标题翻译：丰富的特征层次结构，可实现准确的目标检测和语义分割 论文作者：Ross Girshick Jeff Donahue Trevor Darrell Jitendra Mali 论文地址： http://fcv2011.ulsan.ac.kr/files/announcement/513/r-cnn-cvpr.pdf RCNN的GitHub地址 : https://github.com/rbgirshick/rcnn 参考的RCNN翻译博客：https://blog.csdn.net/v1_vivian/article/details/78599229 声明：小编翻译论文仅为学习，如有侵权请联系小编删除博文，谢谢！ 小编是一个机器学习初学者，打算认真研究论文，但是英文水平有限，所以论文翻译中用到了Google，并自己逐句检查过，但还是会有显得晦涩的地方，如有语法/专业名词翻译错误，还请见谅，并欢迎及时指出。 摘要 　　过去几年，在权威数据集PASCAL上，物体检测的效果已经达到了一个稳定水平。效果最好的方法是融合了多种低维图像特征和高维上下文环境的复杂融合系统。在这篇论文里

仔鞠偬卸厮遗捉恼删桨滩晃钢氛坎下额外增加了时序特征来弥补卷积网络对时序特征抽取能力不足的缺陷。论文中的做法是为每个词拼接两个固定维度的位置向量，分别表示词距离两个关键实体的相对位置信息。如“中国 的 首都 是 北京”，“的”与“中国”的距离大小为 1，与“北京”的距离大小为 -3，再将 1 和 -3 在 Position Embedding 层中查表得到，Position Embedding 层是随机初始化的，并且参与到模型训练当中 将上述的 Word Features 与 Position Features 拼接，输入到卷积网络中，再用Max Pooling 层把每个卷积核的输出进行池化操作。再将池化结果通过一个全连接层，激活函数为 tanh，将其看作一个更高层次的特征映射，得到最终的句子级别的特征向量 g将词汇级别特征与句子级别特征直接拼接，即f=[l;g]，最终将其送入分类器进行分类。 来源： oschina 链接： https://my.oschina.net/pWdPcLmM/blog/4507853

饶猛冶罩粗衫肆妨县凑揭胰苏底上拔额外增加了时序特征来弥补卷积网络对时序特征抽取能力不足的缺陷。论文中的做法是为每个词拼接两个固定维度的位置向量，分别表示词距离两个关键实体的相对位置信息。如“中国 的 首都 是 北京”，“的”与“中国”的距离大小为 1，与“北京”的距离大小为 -3，再将 1 和 -3 在 Position Embedding 层中查表得到，Position Embedding 层是随机初始化的，并且参与到模型训练当中 将上述的 Word Features 与 Position Features 拼接，输入到卷积网络中，再用Max Pooling 层把每个卷积核的输出进行池化操作。再将池化结果通过一个全连接层，激活函数为 tanh，将其看作一个更高层次的特征映射，得到最终的句子级别的特征向量 g将词汇级别特征与句子级别特征直接拼接，即f=[l;g]，最终将其送入分类器进行分类。 来源： oschina 链接： https://my.oschina.net/eQbUzExI/blog/4507865

囟日善懒鹿腊和仗缆康缀致缎呐斗换额外增加了时序特征来弥补卷积网络对时序特征抽取能力不足的缺陷。论文中的做法是为每个词拼接两个固定维度的位置向量，分别表示词距离两个关键实体的相对位置信息。如“中国 的 首都 是 北京”，“的”与“中国”的距离大小为 1，与“北京”的距离大小为 -3，再将 1 和 -3 在 Position Embedding 层中查表得到，Position Embedding 层是随机初始化的，并且参与到模型训练当中 将上述的 Word Features 与 Position Features 拼接，输入到卷积网络中，再用Max Pooling 层把每个卷积核的输出进行池化操作。再将池化结果通过一个全连接层，激活函数为 tanh，将其看作一个更高层次的特征映射，得到最终的句子级别的特征向量 g将词汇级别特征与句子级别特征直接拼接，即f=[l;g]，最终将其送入分类器进行分类。 来源： oschina 链接： https://my.oschina.net/uWkZpRgU/blog/4507889

屹贩醒热值兔计瞪稻布呜栽诎悼猛猿额外增加了时序特征来弥补卷积网络对时序特征抽取能力不足的缺陷。论文中的做法是为每个词拼接两个固定维度的位置向量，分别表示词距离两个关键实体的相对位置信息。如“中国 的 首都 是 北京”，“的”与“中国”的距离大小为 1，与“北京”的距离大小为 -3，再将 1 和 -3 在 Position Embedding 层中查表得到，Position Embedding 层是随机初始化的，并且参与到模型训练当中 将上述的 Word Features 与 Position Features 拼接，输入到卷积网络中，再用Max Pooling 层把每个卷积核的输出进行池化操作。再将池化结果通过一个全连接层，激活函数为 tanh，将其看作一个更高层次的特征映射，得到最终的句子级别的特征向量 g将词汇级别特征与句子级别特征直接拼接，即f=[l;g]，最终将其送入分类器进行分类。 来源： oschina 链接： https://my.oschina.net/yJhWeYsD/blog/4507895

奈挚耗咏氨瓤酱猿慈撼滓匙眉簇陕副额外增加了时序特征来弥补卷积网络对时序特征抽取能力不足的缺陷。论文中的做法是为每个词拼接两个固定维度的位置向量，分别表示词距离两个关键实体的相对位置信息。如“中国 的 首都 是 北京”，“的”与“中国”的距离大小为 1，与“北京”的距离大小为 -3，再将 1 和 -3 在 Position Embedding 层中查表得到，Position Embedding 层是随机初始化的，并且参与到模型训练当中 将上述的 Word Features 与 Position Features 拼接，输入到卷积网络中，再用Max Pooling 层把每个卷积核的输出进行池化操作。再将池化结果通过一个全连接层，激活函数为 tanh，将其看作一个更高层次的特征映射，得到最终的句子级别的特征向量 g将词汇级别特征与句子级别特征直接拼接，即f=[l;g]，最终将其送入分类器进行分类。 来源： oschina 链接： https://my.oschina.net/jVeNkTdS/blog/4507899

窒故故系辜饰逊驳涡鸥下胖核载戏滥额外增加了时序特征来弥补卷积网络对时序特征抽取能力不足的缺陷。论文中的做法是为每个词拼接两个固定维度的位置向量，分别表示词距离两个关键实体的相对位置信息。如“中国 的 首都 是 北京”，“的”与“中国”的距离大小为 1，与“北京”的距离大小为 -3，再将 1 和 -3 在 Position Embedding 层中查表得到，Position Embedding 层是随机初始化的，并且参与到模型训练当中 将上述的 Word Features 与 Position Features 拼接，输入到卷积网络中，再用Max Pooling 层把每个卷积核的输出进行池化操作。再将池化结果通过一个全连接层，激活函数为 tanh，将其看作一个更高层次的特征映射，得到最终的句子级别的特征向量 g将词汇级别特征与句子级别特征直接拼接，即f=[l;g]，最终将其送入分类器进行分类。 来源： oschina 链接： https://my.oschina.net/fCnShQjJ/blog/4507905