机器学习

Java作为互联网第一语言，能做前、后端，大数据，机器学习... 是入职大厂必备语言 。 但不少同学跟我说入门很难，就算学会了如果没项目，找工作也几乎没戏，让我给支个招。 今天就推荐一个 免费的 Java大学生就业特训营 ，有 理论基础 ，有 落地项目 ，对 拿高薪 非常有帮助，我自己看了一遍也受益匪浅。 建议想找Java岗的同学去一定去学习，但 免费名额我只搞到100个， 所以只能拼手速了！ 由于名额有限，为了把机会留给更有需要的同学，参加学习需满足以下条件： 统招本科及以上学历； 有编程基础或对编程感兴趣； 有志于成为Java方向工程师； 每天至少有 3 小时学习时间。 现在，你可扫描海报上的二维码或点击阅读原文，快速抢占名额！ 本文分享自微信公众号 - Java建设者（javajianshe）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my.oschina.net/u/4138213/blog/4650692

田海立@CSDN 2020-11-21 之前MacBook上TensorFlow只能利用CPU做训练，TF2.4开始可以利用GPU做训练了，并且不管是M1的MacBook Pro，还是Intel架构的MacBook Pro还是Mac Pro都是支持的。 Apple披露这一信息，并且po出性能对比数据 。 MacBook Pro上利用GPU训练 看下面的性能数据，对比了CPU数据、Intel架构的MacBook Pro以及M1架构的MacBook Pro： 结果显示：M1架构的训练性能比CPU提升了7倍；Intel架构的没那么明显。 其中的机器及软件配置： CPU是13-inch Intel架构的Macbook Pro，跑的是TF2.3 Intel架构的GPU加速机器以及M1芯片的GPU加速机器跑的是TF2.4 prerelease Intel架构的13-inch Macbook Pro的配置：1.7GHz 4核 i7 CPU + Intel Iris Plus Graphics 645 GPU + 16GB内存 + 2TB SSD硬盘 M1芯片的13-inch Macbook Pro的配置：M1（4核高性能+4核高效能CPU + 8核GPU + 16核Neural Engine）+ 16GB内存 + 256GB SSD硬盘 只是，M1里有NPU，这个有利用NPU吗，还是仅仅GPU

神经网络的典型处理如下所示： 定义可学习参数的网络结构（堆叠各层和层的设计）； 数据集的制作和输入； 对输入进行处理（由定义的网络层进行处理）,主要体现在网络的前向传播； 计算loss ，由Loss层计算； 反向传播求梯度； 根据梯度改变参数值,最简单的实现方式（SGD）为: weight = weight - learning_rate * gradient 使用pytorch和auto_grad（torch自动求导功能）： import torch #import numpy #from torch.autograd import Variable EPOCH = 500 LEARNING_RATE = 1e - 6 N , D_in , H , D_out = 64 , 1000 , 100 , 10 # N代表的是样本个数，D_in是样本的维度，H是隐藏层的维度,D_out是输出层的维度 X = torch . randn ( N , D_in ) Y = torch . randn ( N , D_out ) # 先用随机值初始化两层神经网络的权重 w1 = torch . randn ( D_in , H , requires_grad = True ) w2 = torch . randn ( H , D_out , requires_grad = True ) ""

向量化编程总结记录 很多时候，我们在实现算法的时候，总会碰到累和的伪代码： 比如下面这个： 为了简单我这里只重复5次，但是原理是一样的。 很显然我们要得到这个结果，非常简单，比如下面的这段python代码： 那么我们有没有更好的办法呢？有的，看到X,Y都是向量，我们很容易想到向量化编程。 比如改成下面这段代码： 啊上面这段代码，其实最关键的就是一行代码，就是np.dot(X_array,Y_array)这句话， 就已经能够代替下面这段代码了： 或者用下面这行代码也行！ res_temp_2 = np.sum(X_array*Y_array) 这俩种形式比较常见！ 贴一下最后的结果截图： 未完待续，后面再碰到的向量化编程也会总结在这。 推荐阅读文章： 隐马尔科夫模型-基本模型与三个基本问题 浅析神经网络中一点优化知识 一文搞懂k近邻（k-NN）算法（一） 近期文章预告： 《隐马尔科夫模型-前向后向算法》 《隐马尔科夫模型-维特比算法》 《深入浅出讲解支持向量机》 全是通俗易懂的硬货！只需置顶~欢迎关注交流~ 来源： oschina 链接： https://my.oschina.net/u/4349795/blog/4740334

机器学习十大经典算法-KNN（最近邻） 最近在学习机器学习，查阅了很多人的博客，受益颇多，因此自己也试着将过学的内容做一个总结，一方面可以提高自己对学习过的算法的认识，再者也希望能帮助到初学者，共勉。。。 1 K-近邻算法原理 K最近邻(kNN，k-NearestNeighbor)分类算法，见名思意： 找到最近的k个邻居（样本），在前k个样本中选择频率最高的类别作为预测类别，什么？怎么那么拗口，没图说个球球，下面举个例子，图解一下大家就会显而易见了，如下图： 我们的目的是要预测某个学生在数学课上的成绩。。。 先来说明几个基本概念：图中每个点代表一个样本（在这里是指一个学生），横纵坐标代表了特征（到课率，作业质量），不同的形状代表了类别（即：红色代表A（优秀），绿色代表D（不及格））。 我们现在看（10，20）这个点，它就代表着：在数学课上，某个学生到课率是10%，交作业质量是20分，最终导致了他期末考试得了D等级（不佳）。同理，这6个点也就代表了6个往届学生的平时状态和最终成绩，称之为训练样本。。。。 现在要来实现我们的预测目的了，想象一下现在一学期快过完了，张三同学马上要考试了，他想知道自己能考的怎么样，他在数学老师那里查到了自己的到课率85%，作业质量是90，那么怎么实现预测呢？ 张三可以看做是（85,90）这个点–也被称之为测试样本，首先，我们计算张三到其他6位同学（训练样本

来源：混沌巡洋舰 小样本学习是当下机器学习界的一个核心课题。大数据是当下深度学习的咽喉，面临收集成本昂贵，甚至根本无法采集的弊端， 小样本学习的实践价值不言而喻。对于众多产业来说， 真正能够收集到大量样本的是极少数情况，比如人脸识别，互联网上的文本等。而更广大的行业， 数据本身收集就很难，一些隐私伦理等障碍难以跨越，比收集数据更难的还有标注，大数据支撑的机器学习基本使用无望。 所谓小样本学习，就是使用远小于深度学习所需要的数据样本量， 达到接近甚至超越大数据深度学习的效果，也即是小样本学习的本质就是学习的效果与数据比值的提升， 或者说单位数据产生的模型收益增大了 。 与之高度相关的课题其实是迁移学习， 元学习， 提高模型泛化性能， 这些方法， 本质是在不对数据使用量进行限定的情况下， 如何让同一模型用到更广泛的数据分布和更多的任务， 因此它们是一颗硬币的两面。多一分泛化能力，就少一点数据成本。 那么， 小样本学习究竟有没有可能？这个问题其实是细思恐极。因为这个命题就像永动机一样， 似乎违反了能量守恒。不应该是有多少数据， 有多少模型效果吗？这里事实上一被忽略的盲点是先验知识， 二被忽略的是盲点是数据利用效率。 如果没有任何先验知识， 当然是有多少数据有多少模型。然而， 如果先验知识是充足的， 那么其实可以数据不足， 知识来凑。另一条路则是提高单位数据的使用效率，

大数据文摘出品 作者：龙葳、mickey “权力、专家、数据，正在向少数几家巨头公司汇集。” 2019年，当图灵奖得主Yoshua Bengio说出这句话的时候，所有人其实都早有感知。 的确， 深度学习时代，学术界计算能力的不平等正在进一步加剧不平等。 但最近，第一次有学者将“人工智能资源的垄断”作为研究对象进行了详细的分析，并且将结果用论文呈现了出来。 这一研究来自弗吉尼亚理工大学和西方大学的人工智能研究人员。作为“非精英大学”的代表，他们分析了60场全球顶级人工智能峰会（包括ACL, ICML, and NeurIPS ）的171394篇论文后得出结论，学术界算理的不平等正在加剧，特别是排名中下的大学，学术资源每年都在被蚕食。 论文给出了几个有意思的结论： 自2012年深度学习的意外增长以来，公司，尤其是大型技术公司和精英大学增加了对主要AI会议的参与；这里的精英大学指的是在QS世界大学排名中排名1-50的大学； 此外，研究人员发现了两种策略，可以通过这些策略来提高公司在人工智能研究领域中的影响力：首先，公司为单独发表人的论文研究发布数量在逐年增多；其次，公司主要与精英大学合作进行论文研究。因此，公司和精英大学在人工智能研究中的不断增长，挤占了排名中等（QS排名201-300）和排名靠后（QS排名301-500）大学的资源。 此外，研究还发现，大批研究人员正离开大学

点击上方“ 迈微电子研发社 ”，选择“ 星标★ ”公众号 重磅干货，第一时间送达 这份 189 页的博士学位论文，凝结了尤洋在快速机器学习训练算法领域的研究心血。 过去十年，深度学习应用领域的数据量迅速增长，使得深度神经网络（DNN）的训练时间拉长。而这已经成为机器学习开发者和研究者面临的瓶颈问题。例如，在 8 个 P100 GPU 上完成 90 个 epoch 的 ImageNet/ResNet-50 训练需要 29 个小时，在 16 个 v3 TPU 芯片上完成 BERT 预训练需要 81 个小时。 因此，如何有效缩短机器学习训练时间，同时完成高质量的训练，对于解决当前的瓶颈问题具有重大意义。 本文将介绍一篇长达 189 页的博士学位论文，作者为加州大学伯克利分校计算机系的尤洋博士。 尤洋的主要研究方向是高性能计算与机器学习的交叉领域，当前研究重点为大规模深度学习训练算法的分布式优化。他曾创造 ImageNet 训练速度的世界纪录，相关研究成果被 Google、Facebook、腾讯等科技巨头在实际中使用。 尤洋曾以一作的身份获得 2018 年国际并行处理大会（ICPP）最佳论文奖，论文《Imagenet training in minutes》所提出的方法刷新了 ImageNet 训练速度的世界纪录。 去年，尤洋和来自谷歌和 UCLA

原理 　　短时傅里叶变换(Short Time Fourier Transform, STFT) 是一个用于语音信号处理的通用工具.它定义了一个非常有用的时间和频率分布类, 其指定了任意信号随时间和频率变化的复数幅度. 实际上,计算短时傅里叶变换的过程是把一个较长的时间信号分成相同长度的更短的段, 在每个更短的段上计算傅里叶变换, 即傅里叶频谱. 短时傅里叶变换通常的数学定义如下: 其中, DTFT (Decrete Time Fourier Transform) 为离散时间傅里叶变换. 其数学公式, 如下所示: 　　其中, x(n) 为在采样数 n 处的信号幅度. ω ~ 的定义如下: 　　实现时, 短时傅里叶变换被计算为一系列加窗数据帧的快速傅里叶变换 (Fast Fourier Transform, FFT)，其中窗口随时间 “滑动” (slide) 或“跳跃” (hop) 。 Python 实现 　　在程序中, frame_size 为将信号分为较短的帧的大小, 在语音处理中, 通常帧大小在 20ms 到 40ms 之间. 这里设置为 25ms, 即 frame_size = 0.025 ; 　　 frame_stride 为相邻帧的滑动尺寸或跳跃尺寸, 通常帧的滑动尺寸在 10ms 到 20ms 之间, 这里设置为 10ms, 即 frame_stride = 0.01

强烈推荐李沐等人的《动手学深度学习》最新版！ 完整中文版 PDF电子书今天终于可以下载啦！ 加我微信好友 马上获取链接 暗号：“书” 内容简介 此书的结构： 以下是主要目录： 01 资源获取方法 PDF资源获取 添加下面的二维码， 加入【AI算法学习社群】 ， 即可获得百度网盘（ 附上PDF）云盘下载链接。 赶快加入【AI算法学习社群】 ，我们旨在打造真正有价值，能交流，一起学习成长的社群，并且每月专业直播公开课，导师指点答疑，职业方向规划，送书福利不断！ 扫码添加好友后，立即进学习群。 加我微信好友 马上进学习群 暗号：“书” 觉得好看就点个在看吧 本文分享自微信公众号 - 机器学习AI算法工程（datayx）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my.oschina.net/u/4585416/blog/4686462