深度学习

数字孪生定义始于商品全生命周期管理方法（PLM），由美国密歇根大学专家教授迈克尔·格里夫斯于2002年明确提出。数字孪生运用最开始产生于航天航空领域，其中，美国国家航空航天局和美国空军实验室是第一批数字孪生运用企业。近些年，数字孪生运用已从航天航空领域向工业各领域全方位扩展，西门子、美国通用电气等工业大佬竞相打造出数字孪生解决方法，并颠覆式创新工业企业。据IDC预测分析，到2022年，70%的生产商将应用数字孪生技术展开流程模拟仿真和情景评定。由此可见，将来数字孪生技术有希望持续在工业界发挥作用，加速促进工业公司完成数字化转型发展。 一、工业数字孪生技术管理体系 工业数字孪生技术并不是最近问世的一项新技术，它是一系列数字化技术的集成化整合和创新性运用，技术管理体系包含了感知操纵、数据集成、模型剖析、人机交互技术四大领域和基础技术、关键技术两大种类。一方面，基础技术是搭建数字孪生数据信息闭环控制的支撑点保障，包含面向感知操纵领域的传感技术和操纵技术，面向数据集成领域的商品数据集成（PLM）和业务流程数据集成（BPM）技术，面向模型剖析领域的物理学模型、数据建模、业务流程模型技术，及其面向人机交互技术领域的AR/VR技术。另一方面，关键技术是数字孪生运用创新性的动力模块，集中在数据集成和模型剖析两个领域，包含数字进程、模型整合、模型调整、管理壳技术。 二 、数字孪生基础技术发展趋向

自然语言处理是一门用于理解人类语言、情感和思想的技术，被称为是人工智能皇冠上的明珠。 随着深度学习发展，自然语言处理技术近年来发展迅速，在技术上表现为BERT、GPT等表现极佳的模型；在应用中表现为chatbot、知识图谱、舆情监控等基于NLP技术的产品在市场上的大规模出现。 基于此，各类公司开始出现NLP算法工程师的需求，待遇在软件工程师岗位中处于 相当 上游的 水平。 基于此，不少同学和工程师有学习NLP的愿望，本文对首先NLP做一个简单的介绍；然后，作为一个过来人，为初学NLP的同学提供一些必要的建议。 文末有我们的公众号的二维码，扫描关注，可以领取 系统的NLP资料。 作者&编辑 | 小Dream哥 1 NLP简介 每次与行外之人谈起自然语言处理（Natural Language Process，NLP），对方往往都是一片茫然。因此，常常感到很苦恼，如何跟一个从未接触过NLP的人，解释NLP到底是什么？毕竟这是一门这么重要的技术（学科），它的发展与应用，会极大的影响这个世界上的每一个行业，每一个人。 那么，到底什么是NLP呢？所谓自然语言处理，就是用计算机（或者其他计算单元，以下类似）来处理人类的自然语言。那么要理解NLP，首先要理解什么是自然语言。所谓“自然语言”，是相对于计算机语言（计算机能够理解的语言，如汇编、C语言等）而言的，人类日常使用的语言，例如我们都讲的中文

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 编者按：本文来自微信公众号“资本侦探”（ID:deep_insights），作者：李婷婷，36氪经授权发布。 核 心 要 点 近几年人工智能风口再起，实际上是技术发展、数据沉淀以及场景延展等多个因素，厚积薄发的结果。 人工智能商业化变现困难的根本原因，仍是底层研究的制约下难以规模化落地的现实。 新基建的加持，对于人工智能底层研究的投入、应用场景的拓展等将大有裨益。 能让马云、马化腾、李彦宏等业界大佬共同看好的方向，除了人工智能，可能很难找到第二个。 在7月9日举行的2020世界人工智能大会云端峰会上，“三马”（马云、马化腾、马斯克）、“二宏”（李彦宏、张文宏）少见地隔空同台。此外，还有包括七位图灵奖得主、一位诺贝尔奖得主在内的550多位业界、学术界嘉宾汇聚一堂。 大会上，以联合国数字合作高级别小组联合主席的身份出席的马云，就疫情期间社会经历的大动荡发表了自己的感悟，他认为，世界已经巨变，技术变革提前并且加速，与其担忧，不如担当，“为活下去而做的创新才是真正最强大和不可阻挡的动力”。 马云有此感叹，一定程度上是因为在疫情危机中，依赖人力、线下运转的传统行业遭受极大冲击，以人工智能为代表的新兴科技彰显出其重要性与必须性。例如，复旦大学附属华山医院感染科主任张文宏提到，

一、 机器学习基础题 1、LSTM的公式 2、RNN为什么出现梯度消失及BPTT的推导 3、DQN的基本原理么 4、GBDT和随机森林有什么区别 5、GBDT的原理，如何做分类和回归 6、随机森林的随机体现在哪方面 7、Wide &Deep的原理 8、GBDT+LR是怎么做的? 9、DQN模型为什么要做经验回放 10、数据之间如果不是独立同分布的会怎样 11、AUC的原理介绍一下 12、XGBOOst和GBDT的区别。 13、强化学习和监督学习的区别 14、神经网络里面的损失函数有哪些 15、机器学习中常见的激活函数有哪些？为什么通常需要零均值？ 16、DeepFM介绍 17、FM推导 18、boosting和bagging的区别？ 19、bagging为什么能减小方差？ 20、交叉熵损失函数，0-1分类的交叉熵损失函数的形式。什么是凸函数？0-1分类如果用平方损失为什么用交叉熵而不是平方损失？ 21、L1和L2有什么区别，从数学角度解释L2为什么能提升模型的泛化能力。 22、深度学习中，L2和dropout有哪些区别？ 23、L1正则化有哪些好处 24、如果有一万个地理坐标，转换成1-10000的数，可以用决策树么？ 25、CART分类树和ID3以及C4.5有什么区别？ 26、树集成模型有哪几种实现方式：Bagging和Boosting，回答过程中又问到了很多细节

为什么我们需要学习函数式编程？或者说函数式编程有什么优势？这个系列中我会用 scala 给你讲述函数式编程中的优势，以及一些函数式的哲学。不懂 scala 也没关系，scala 和 java 是类似的，在每篇的开头我也会先说明这节中用到的 scala 语法。 为什么函数式编程这几年火起来 如 Python 一样，函数式编程（FP，即Functional Programming）也是近几年才逐渐为人们所知，但它并不是一个多么新的概念。 它拥有和面向对象编程（OOP）几乎等长的历史 。但纵观每件事的脉络，总是有原因的， 函数式编程这几年变火的原因是什么呢？ 最主要的原因是摩尔定律的逐渐失效，计算机的发展道路趋向于多核 CPU 与分布式的方向。我们经常使用的面向对象编程的优势在于能够很好得对要解决的问题领域进行建模，但它在多线程编程环境下的同步阻塞调用，以及由此带来的线程安全问题，与函数式编程天然适合分布式并发编程的编程方式相比，当真相形见绌。而未来明显是大数据的时代，故而函数式编程只会越加重要，甚至未来可能是函数式编程的时代。 摩尔定律 ：1965年，英特尔公司创始人戈登·摩尔提出，在至多10年内，集成电路的集成度会每两年翻一番，即摩尔定律。后来这个周期被缩短到了18个月。也就是说，每隔18个月，计算机等IT产品的性能就会翻一番；或者说相同性能的计算机等IT产品，每18个月价钱会降一半

问题总结 当模型准确率已经较高时，如何判断自己的改动是否提升了性能。因为可能每一次准确率变化都不太大，而且每次训练的模型最后准确率也会有波动，多运行几次取准确率平均值做比较吗？ 在想要提高性能的改进过程中，有很多改变可能都对性能的提升有些许的帮助。这个过程是一种一种方法的尝试，不断累积提升了性能的改变吗。比如先改了batch_size，找到了一个合适的大小，然后就固定使用这个大小，再调整优化器损失函数之类的？在调整的时候总有一种虽然当前的尝试没有提高性能，但说不定和别的组合在一起可能会变好的想法，简直要进行排列组合。 代码练习 MobileNet V1 如何判断nn.Conv2d(3, 3)是做的图一运算而不是图二？ 通过Conv2d函数中的groups参数区别。groups取值范围为1 - in_channels。groups=1时做图二运算，groups=3时做图一运算。 若groups=x，则将输入通道分为x份，输出通道分为x份，对应每份分别做全卷积。 举例：nn.Conv2d(in_channels=6, out_channels=6, kernel_size=1, groups=3) 卷积核大小为torch.Size([6, 2, 1, 1]) 参考： 卷积层中的 group 参数理解 pytorch的conv2d函数groups分组卷积使用及理解 MobileNet

第二次作业：卷积神经网络 part 2 【第一部分】 问题总结 在编写网络的时候，bn层是否可以无脑添加？什么时候添加bn层比较好？ conv层的padding，stride怎么计算？什么时候stride=1什么时候=2 有些混乱。。 数据处理时 transforms.Normalize((0.1307,), (0.3081,) 为什么要这样正交化？这两个数是怎么算出来的？ 在之前第二周的作业part1有一个ResNet的代码实现，课程里老师有提到下采样，但没有详细讲解，只说了“stride=1就不下采样，stride=2已经下采样了。“ 这句话我并不是很理解。 shortcut 具体在哪些地方可以使用？我理解的Resnet的f(x) + x = y 是 shortcut是否正确？ 对于计算机视觉专业，有哪些经典的深度学习的项目作为入门练手比较好？ 【第二部分】 代码练习 具体的论文学习在往期作业中，以下仅为代码实现 MobileNet V1 链接 MobileNet V2 链接 HybridSN 高光谱分类 链接 【第三部分】 论文学习 《Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising》 链接 《Squeeze-and-Excitation Networks》 链接

Part Ⅰ 问题总结 1 如何理解卷积神经网络中的1*1卷积？ 在学习MobileNetV2代码中，提到使用1 1实现降维和升维，有一点迷惑，就去查了查资料，发现1 1卷积核真是一个神奇的存在。它存在于各种结构中，比如：残差网络的Bootleneck残差模块里、GoogleNet的Inception模块里··· 当1 1卷积出现时，在大多数情况下它作用是升/降特征的维度，这里的维度指的是通道数（厚度），而不改变图片的宽和高。 同时，还会降低参数的数量，增加了网络的深度。 举个例子，h w 6的feature map,经过一个1 1的卷积核，变成了h w。有5个卷积核，输出就变成了h w*5，实现了降维的操作。升维也是一样的道理。 Part Ⅱ 代码练习 1 MobileNetV1 1.1 MobileNetV1概述 MobileNets基于一种流线型结构使用深度可分离卷积来构造轻型权重深度神经网络。MobileNetV1是一个有效的网络结构以及两组用于构建小型、低延迟模型的超参数，能在移动以及嵌入式视觉应用上轻易匹配设计要求。 1.2 MobileNetV1结构 1.2.1 深度可分离卷积 深度级可分离卷积其实是一种可分解卷积操作，其可以分解为两个更小的操作：depthwise convolution和pointwise convolution。 Depthwise

一、问题总结 在深度学习模型中，为什么每次训练的测试结果不同？ 二、代码练习 1、MobileNetV1 #深度可分离卷积 class Block(nn.Module): def __init__(self, in_planes, out_planes, stride=1): super(Block, self).__init__() # Depthwise 卷积，3*3 的卷积核，分为 in_planes，即各层单独进行卷积 self.conv1 = nn.Conv2d(in_planes, in_planes, kernel_size=3, stride=stride, padding=1, groups=in_planes, bias=False) self.bn1 = nn.BatchNorm2d(in_planes) # Pointwise 卷积，1*1 的卷积核 self.conv2 = nn.Conv2d(in_planes, out_planes, kernel_size=1, stride=1, padding=0, bias=False) self.bn2 = nn.BatchNorm2d(out_planes) def forward(self, x): out = F.relu(self.bn1(self.conv1(x))) out = F.relu

之前虽然也了解一丢丢的 Faster RCNN，但却一直没用过，因此一直都是一知半解状态。这里结合书中描述和 PyTorch 官方代码来好好瞅瞅。 论文: Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks Feature Pyramid Networks for Object Detection 一. 总览 Faster RCNN 从功能模块来看，可大致分为 特征提取 ， RPN ， RoI Pooling ， RCNN 四个模块，这里代码上选择了 ResNet50 + FPN 作为主干网络： model = torchvision.models.detection.fasterrcnn_resnet50_fpn(pretrained=False) 1.1 特征提取 这里不用多说，就是选个合适的 Backbone 罢了，不过为了提升特征的判决性，一般会采用 FPN 的结构（自下而上、自上而下、横向连接、卷积融合）。 1.2 RPN 这部分其实可以看成 One-Stage 检测器的检测输出部分。实际上对于只检测一类目标来说，可以直接拿去用了。RPN 在 Faster RCNN 中的作用是，结合先验的 Anchor，将背景和前景区分开来（二分类），这样的话大量的先验 Anchor