神经网络

点击蓝色“ AI专栏 ”关注我 哟 选择“ 星标 ”，重磅干货，第一时间送达 我喜欢看蓝天白云的景色，心情会变好 ，希望看到的你心情也会变好，让我们一起加油噶 。 这是站长的第 40 篇原创文章 01 PART 立体视觉是什么? 在开始之前，我相信很多站友都会有这个疑问，所以我想先在这里做一下简要的介绍，以方便大家快速地了解这个项目。我们知道，人类通过眼睛感知世界、获取信息。人类获取信息的方式有很多 种，可通过眼睛、耳朵、触觉、嗅觉、味觉等，但我们接受到的绝大部分信息都是通过视觉的方式获取到的。由此可见，视觉系统在人类的生存、生产、发展中起到了极其重要的作用。随着计算机技术、智能机器人等的广泛研究与应用，不少科学家尝试将人类视觉系统功能赋予机器。让机器获取与人类一般的视觉能力，是许多科研工作者长期以来的追求。目前，虽然还不能够使机器获得与人类一模一样的视觉感知能力与认知能力，但自上世纪中叶以来，各种视觉技术理论与图像处理技术得到了飞速的发展，我们正朝着这一目标不断前进。 立体视觉是计算机视觉的重要组成部分，而双目立体视觉又是立体视觉的一个重要分支。它是基于两幅图像的，通过模拟人眼视觉的方式，由两个视点对同一个物体进行观察，具体是由不同位置的两台相机(或一台相机经过旋转和移动)对同一场景进行拍摄，然后通过三角测量的原理来计算空间点在两幅图像中像素间的视差

点击上方 “ 小白学视觉 ”，选择加"星标"或“置顶” 重磅干货，第一时间送达 01 PART 立体视觉是什么? 在开始之前，我相信很多站友都会有这个疑问，所以我想先在这里做一下简要的介绍，以方便大家快速地了解这个项目。我们知道，人类通过眼睛感知世界、获取信息。人类获取信息的方式有很多 种，可通过眼睛、耳朵、触觉、嗅觉、味觉等，但我们接受到的绝大部分信息都是通过视觉的方式获取到的。由此可见，视觉系统在人类的生存、生产、发展中起到了极其重要的作用。随着计算机技术、智能机器人等的广泛研究与应用，不少科学家尝试将人类视觉系统功能赋予机器。让机器获取与人类一般的视觉能力，是许多科研工作者长期以来的追求。目前，虽然还不能够使机器获得与人类一模一样的视觉感知能力与认知能力，但自上世纪中叶以来，各种视觉技术理论与图像处理技术得到了飞速的发展，我们正朝着这一目标不断前进。 立体视觉是计算机视觉的重要组成部分，而双目立体视觉又是立体视觉的一个重要分支。它是基于两幅图像的，通过模拟人眼视觉的方式，由两个视点对同一个物体进行观察，具体是由不同位置的两台相机(或一台相机经过旋转和移动)对同一场景进行拍摄，然后通过三角测量的原理来计算空间点在两幅图像中像素间的视差，根据视差来恢复目标物体的深度信息，最后可以根据深度信息来恢复物体的三维形状。 作为一个完整的计算机视觉三维重建系统必须包含以下几个部分:图像采集

喜欢我们，点击上方 AINLPer ，关注一下，极品干货即刻送达！ 本文主要参考博 客： https://blog.csdn.net/intflojx/article/details/85338778 引言 相信很多小伙伴在看论文的时候，会时不时的遇到注意力机制（Attention）这个关键词。其实 注意力模型最近几年在深度学习各个领域被广泛使用，无论是在图像处理、语音识别还是自然语言处理中，都很容易遇到注意力模型的身影。 它其实是深度学习技术中最值得关注与深入了解的核心技术之一。 了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。 本文概要 1 什么是注意力机制（Attention） 2 Encoder-Decoder框架 3 Attention注意力机制 4 Attention小结 正文开始 1 什么是注意力机制（Attention） 深度学习中的注意力机制借鉴了人类的注意力思维方式。 我们首先人类的视觉注意力机制介绍开始。 举个例子： 比如当你看到一篇论文的时候，你的眼睛会快速的扫描论文第一页，接着首先将注意力集中到论文的标题（如果论文的第一页有图片，你也会去关注第一页中的图片是什么），然后你就会关注论文的摘要是什么，对于摘要区域，你会渐渐投入到更多地注意力，然后读懂摘要，进而了解文章的大概内容。

程序员是一门靠手艺吃饭的工作，最根本的就是技术能力。从初级到高级，从高级到资深，从资深到架构，就像爬楼一样，站的越高需要看到的视野越开阔。30岁前程序员靠体力，30岁后需要靠脑力，需要靠技术视野打开更广阔的职业生涯。程序员们很苦恼，技术层出不穷让人应接不暇，需要不停学习新的技术避免被淘汰，但是仅仅靠学习新技术就好了吗？所谓的技术视野到底是什么，又如何去提升呢？ 1 驱动力 首先需要明白做一件事情一定需要一定的驱动力，那么对于提升技术视野的驱动力在哪呢？ 兴趣 兴趣爱好是最好的老师，所以兴趣是第一驱动力。如果你对一门技术充满好奇心，你一定想尽办法弄清楚它的原理，并且迫不及待的进行实践。 谷歌有一个20%的计划，规定员工可以拿出20%的时间从事自己兴趣爱好的事情。于是从中诞生了Gmail, Google Glass等创新性的产品。这些产品的诞生第一原动力就是兴趣爱好！ 态度与使命 兴趣不等于工作，日常工作往往枯燥乏味让人提不起劲，这时候靠什么支撑，可以多想想自己的态度和使命。每一件事情做完后可以反思，是否用了100%的能力，不要留有遗憾。做事也需要有使命感，比如阿里的"让天下没有难做的生意"、腾讯的"科技向善"、美团的"Eat better, live better"，每一家伟大公司都有一个伟大使命，让你的日常工作和公司使命关联起来，瞬间是不是觉得自己在从事一项拯救地球的事业。

//2019.10.08 神经网络与全连接层 1、logistics regression 逻辑回归的思想是将数据利用 激活函数sigmoid函数转换为0-1的概率 ，然后定义一定的阈值0.5，大于阈值则为一类，小于阈值则为另一类。它主要用来解决的是二分类问题，也可以通过一定的变形解决多分类的问题。 2、对于逻辑回归其实质是分类算法，为什称之为回归， 主要是因为其优化的函数类似于回归问题的loss函数，而将其称之为逻辑主要是因为利用了sigmoid函数。 图 3、回归问题和分类问题的loss函数是不一样： (1)回归问题：MSE (2)分类问题： 1)MSE(P) 2)cross entropy loss 3)Hinge Loss 图 4、 cross entropy loss交叉熵 ：主要是指整体预测的不确定性，即熵的概念，熵的值越大，说明其确定性越低，概率分布越接近；熵的值越小，说明确定性越高，概率预测分布相差越大，越逼近极端的0或者1。 图123 5、 交叉熵函数cross_entropy=softmax+log+null_loss函数 图 6、激活函数主要有以下几种： sigmoid函数、tanh函数、Relu函数，改进版Relu函数，selu函数，softplus函数 7、一个神经网络层结构的搭建组成具体如下所示： 来源： oschina 链接： https://my

[TOC] Outline Matmul Neural Network Deep Learning Multi-Layer Recap out = f(X@W + b) out = relut(X@W + b) Neural Network h = relut(X@W + b) $h_0 = relu(X@W_1 + b_1)$ # Input $h_1 = relu(h_0@W_2 + b_2)$ # Hidden $out = relu(h_1@W_3 + b_3)$ # Output Neural Network in the 1980s 3~5 layers Here comes Deep Learning Deep Learning now $n \approx {1200},layers$ Heros 推动深度学习发展的功臣： BigDATA ReLU Dropout BatchNorm ResNet Xavier Initialization Caffe/TensorFlow/PyTorch ... Fully connected layer import tensorflow as tf x = tf.random.normal([4, 784]) net = tf.keras.layers.Dense(512) out = net(x) out.shape

从深度学习卷积神经网络入手，基于 Github 的开源项目来完成 MovieLens 数据集的电影推荐系统。 什么是推荐系统呢？ 什么是推荐系统呢？首先我们来看看几个常见的推荐场景。 如果你经常通过豆瓣电影评分来找电影，你会发现下图所示的推荐： 如果你喜欢购物，根据你的选择和购物行为，平台会给你推荐相似商品： 在互联网的很多场景下都可以看到推荐的影子。因为推荐可以帮助用户和商家满足不同的需求： 对用户而言：找到感兴趣的东西，帮助发现新鲜、有趣的事物。 对商家而言：提供个性化服务，提高信任度和粘性，增加营收。 常见的推荐系统主要包含两个方面的内容，基于用户的推荐系统（UserCF）和基于物品的推荐系统（ItemCF）。两者的区别在于，UserCF 给用户推荐那些和他有共同兴趣爱好的用户喜欢的商品，而 ItemCF 给用户推荐那些和他之前喜欢的商品类似的商品。这两种方式都会遭遇冷启动问题。 下面是 UserCF 和 ItemCF 的对比： CNN 是如何应用在文本处理上的？ 提到卷积神经网络（CNN），相信大部分人首先想到的是图像分类，比如 MNIST 手写体识别，CAFRI10 图像分类。CNN 已经在图像识别方面取得了较大的成果，随着近几年的不断发展，在文本处理领域，基于文本挖掘的文本卷积神经网络被证明是有效的。 首先，来看看 CNN 是如何应用到 NLP 中的

2021年，发展深度学习技术，需要十分重视的就是深度学习框架。 01 深度学习框架受到高度重视 随着技术的不断前进和应用的大规模增长，产业开发者们面临的挑战，也是日渐地突出。而作为人工智能实现跨越发展的重要突破口， 深度学习框架引起了科技界、产业界的高度重视。 在整个人工智能产业版图中，算法框架是连通硬件、软件、应用场景的“枢纽式”存在。 02 合适的深度学习框架十分重要 深度学习的研究方式和过去传统的研究方式大不相同。 在深度学习领域，已经有很多的科研机构和世界一流的院校开发了多种深度学习工具 ，这些学习工具或者说深度学习库在许多领域大显身手。 如计算机视觉、自然语言处理、自动驾驶等。对于研究者来说，选择合适的框架来解决某一方面的问题是十分必要的。 03 深度学习框架，你是时候该学一学了 深度学习框架则提供了进行深度学习的底层架构和接口，以及大量的神经网络模型，可以 减少开发者重复编程的时间和精力，提高深度学习效率，降低应用开发难度。 那么，我们应该如何学习深度学习框架？ 你是否还在纠结学哪个框架？ PyTorch？、还是Tensorflow？、还是Keras？其实，对于这样的问题，基于现在的形势下，你就不要把着眼点放在这些工具的使用上了， 重要的是要知道它的原理。 为了让更多的人从根本性的掌握AI知识，特为你推出 《用纯Python从零创造自己的深度学习框架》

ICASSP 2021将于2021年6月6日-11日在加拿大多伦多拉开序幕，凭借在语音技术领域的扎实积累和前沿创新，京东科技集团的_3篇_论文已经被 ICASSP 2021接收。 ICASSP全称International Conference on Acoustics, Speech and Signal Processing（国际声学、语音与信号处理会议），是由IEEE主办的全世界最大的，也是最全面的信号处理及其应用方面的顶级学术会议。京东科技集团此次的入选论文，在国际舞台全方位展示了 自身在语音增强、语音合成、多轮对话方面的实力。 01.Neural Kalman Filtering for Speech Enhancement 基于神经卡尔曼滤波的语音增强算法研究 * 论文链接： https://arxiv.org/abs/2007.13962 由于复杂环境噪声的存在，语音增强在人机语音交互系统中扮演重要的角色。基于统计机器学习的语音增强算法通常采用机器学习领域现有的常用模块（如全连接网络、递归神经网络、卷积神经网络等）构建增强系统。然而，如何将传统语音信号处理中基于专家知识的最优化滤波器设计理论，有效地应用到基于机器学习的语音增强系统中仍是一个仍未解决的问题。 京东科技集团入选论文《Neural Kalman Filtering for Speech

点击上方“ 计算机视觉cv ”即可“进入公众号” 重磅干货第一时间送达 预训练网络   想要将深度学习应用于小型图像数据集，一种常用且非常高效的方法是使用预训练网络。预训练网络（pretrained network）是一个保存好的网络，之前已在大型数据集（通常是大规模图像分类任务）上训练好。如果这个原始数据集足够大且足够通用，那么预训练网络学到的特征的空间层次结构可以有效地作为视觉世界的通用模型，因此这些特征可用于各种不同的计算机视觉问题，即使这些新问题涉及的类别和原始任务完全不同。举个例子，你在 ImageNet 上训练了一个网络（其类别主要是动物和日常用品），然后将这个训练好的网络应用于某个不相干的任务，比如在图像中识别家具。这种学到的特征在不同问题之间的可移植性，是深度学习与许多早期浅层学习方法相比的重要优势，它使得深度学习对小数据问题非常有效。   本例中，假设有一个在 ImageNet 数据集（140 万张标记图像，1000 个不同的类别）上训练好的大型卷积神经网络。ImageNet 中包含许多动物类别，其中包括不同种类的猫和狗，因此可以认为它在猫狗分类问题上也能有良好的表现。   我们将使用 VGG16 架构，它由 Karen Simonyan 和 Andrew Zisserman 在 2014 年开发。对于ImageNet，它是一种简单而又广泛使用的卷积神经网络架构