机器学习

点击上方 “ 机器学习与生成对抗网络 ”，关注"星标" 获取有趣、好玩的前沿干货！ 选自arXiv 作者： Yifan Jiang等 机器之心编译 机器之心编辑部 「attention is really becoming『all you need』.」 最近，CV 研究者对 transformer 产生了极大的兴趣并取得了不少突破。这表明，transformer 有可能成为计算机视觉任务（如分类、检测和分割）的强大通用模型。 我们都很好奇：在计算机视觉领域，transformer 还能走多远？对于更加困难的视觉任务，比如生成对抗网络 (GAN)，transformer 表现又如何？ 在这种好奇心的驱使下，德州大学奥斯汀分校的 Yifan Jiang、Zhangyang Wang，IBM Research 的 Shiyu Chang 等研究者进行了第一次试验性研究， 构建了一个只使用纯 transformer 架构、完全没有卷积的 GAN，并将其命名为 TransGAN 。与其它基于 transformer 的视觉模型相比，仅使用 transformer 构建 GAN 似乎更具挑战性，这是因为与分类等任务相比，真实图像生成的门槛更高，而且 GAN 训练本身具有较高的不稳定性。 论文链接：https://arxiv.org/pdf/2102.07074.pdf 代码链接：https:

上次做记录的时候刚刚结束一轮培训放暑假，到现在已经两个月了。 数学建模全国赛结束了，收获有二，一是认识了几个朋友，二是认识了数学之美。 自比赛结束，一直在看机器学习，丛神经网络开始，神经网络是一种基础又有效，易于接受、学习与使用的一种方法。 机器学习是实现人工智能的一种方法，目前基于统计的效果较好，但统计方法使人工智能有举一反三的能力但没有创造力。虽然目前来说，生物学方法效果并不好，我认为，真正达到甚至超越人类的智能水平，这主要还是生物学的事儿。不过在现在乃至长久的未来,统计方法会发挥极为重要的作用，学好统计学乃至其他数学是必要的。 机器学习目前分为两派，一派是计算机科学家，一派是统计学家，主要分歧是方向不同，对于科学流派的不同，我认为各个流派有所开创的人，皆是一群自欺欺人之人，首先自己领悟到一些思想，便是自欺，然后大力宣扬，有人也信了，便是欺人。哲学、信仰、主义什么的也差不多都是这样吧？ 开学这一个月没怎么上课，我一直不想上课，我觉得上课这种方式不大适合我，在某个时间必须学某个课是让人不舒服的，另外，老师讲课几乎没有引导性，学生也没有参与性，没有探索的感觉，最主要的是，学想学的，不要让不想学的挡住脚步。但我有些矛盾，因为不去上课让我有些不能心安，不过后来我终于想通，你课表里的课未必是为你开设的，你要学的未必开设，大学的课就像食堂里的包子，你想吃白菜馅或是豆腐馅的是你的自由

ICASSP 2021将于2021年6月6日-11日在加拿大多伦多拉开序幕，凭借在语音技术领域的扎实积累和前沿创新，京东科技集团的_3篇_论文已经被 ICASSP 2021接收。 ICASSP全称International Conference on Acoustics, Speech and Signal Processing（国际声学、语音与信号处理会议），是由IEEE主办的全世界最大的，也是最全面的信号处理及其应用方面的顶级学术会议。京东科技集团此次的入选论文，在国际舞台全方位展示了 自身在语音增强、语音合成、多轮对话方面的实力。 01.Neural Kalman Filtering for Speech Enhancement 基于神经卡尔曼滤波的语音增强算法研究 * 论文链接： https://arxiv.org/abs/2007.13962 由于复杂环境噪声的存在，语音增强在人机语音交互系统中扮演重要的角色。基于统计机器学习的语音增强算法通常采用机器学习领域现有的常用模块（如全连接网络、递归神经网络、卷积神经网络等）构建增强系统。然而，如何将传统语音信号处理中基于专家知识的最优化滤波器设计理论，有效地应用到基于机器学习的语音增强系统中仍是一个仍未解决的问题。 京东科技集团入选论文《Neural Kalman Filtering for Speech

本次分享从以下几个方面展开，尽可能做到有理有据，希望对读者有所帮助：赛题简介、赛题难点、数据预处理、特征工程、数据增强、模型构建、其他、总结。 1.赛题简介 预测性维护是工业互联网应用“皇冠上的明珠”，实现预测性维护的关键是对设备系统或核心部件的寿命进行有效预测。对工程机械设备的核心耗损性部件的剩余寿命进行预测，可以据此对于相关部件的进行提前维护或者更换，从而减少整个设备非计划停机时间，避免因计划外停机而带来的经济损失，比如导致整个生产现场其他配套设备等待故障设备部件的修复。本赛题由中科云谷科技有限公司提供某类工程机械设备的核心耗损性部件的工作数据，包括部件工作时长、转速、温度、电压、电流等多类工况数据。希望参赛者利用大数据分析、机器学习、深度学习等方法，提取合适的特征、建立合适的寿命预测模型，预测核心耗损性部件的剩余寿命。 2.赛题难点 针对数据量以及划分构造训练集的问题采用以下方案解决： 训练集与测试集的构造： a.一个训练样本按照寿命的一定比例进行构造多个小样本； 这里有两种方法，一是采用固定的比例列表，例如[0.45，0.55，0.63，0.75，0.85]。 二是采用多次选取随机比例构造。 b.测试集不变。 （队友周杰曾尝试过测试集也进行比例划分，有提升） 比如说一个样本的寿命为1000，我们截取450前的数据作为一个训练样本，其剩余寿命为550； 然后截取550前的数据

作者 | Aakash 来源 | Medium 编辑 | 代码医生团队 什么是分类问题？ 对对象进行分类就是将其分配给特定的类别。这本质上是一个分类问题是什么，即将输入数据从一组这样的类别，也称为类分配到预定义的类别。 机器学习中的分类问题示例包括：识别手写数字，区分垃圾邮件和非垃圾邮件或 识别核中的不同蛋白质 。 https://www.kaggle.com/c/jovian-pytorch-z2g 使用的数据集 为了演示分类问题的工作原理，将使用 UrbanSound8K数据集 。该数据集包括 10 种类别的城市声音：空调，汽车喇叭，儿童游戏，狗吠，钻探， enginge_idling ， gun_shot ，手提钻，警笛和 street_music 。 https://urbansounddataset.weebly.com/urbansound8k.html 目的是将数据提供给模型（目前可以将其视为黑匣子），并确定模型预测的准确性。 数据集的结构 该数据集可以作为压缩包使用，大小约为 5.6GB 。与某些机器学习数据集不同，此特定数据集中的音频数据与元数据文件夹一起存在于 10 个不同的文件夹中，元数据文件夹包含名为“ UrbanSound8K.csv ”的文件。 D:\DL\ZEROTOGANS\06-URBAN8K-CLASSIFICATION\DATA

点击上方“ 计算机视觉cv ”即可“进入公众号” 重磅干货第一时间送达 计算机视觉cv 【 导读 】Keras是一个由Python编写的开源人工神经网络库，可以作为Tensorflow、和Theano的高阶应用程序接口，进行深度学习模型的设计、调试、评估、应用和可视化。本系列将教你如何从零开始学Keras，从搭建神经网络到项目实战，手把手教你精通Keras。相关内容参考《Python深度学习》这本书。 初识神经网络   我们先来看一个具体的神经网络示例，使用 Python 的 Keras 库来学习手写数字分类。如果你没用过 Keras或类似的库，可能无法立刻搞懂这个例子中的全部内容。甚至你可能还没有安装 Keras。没关系，可以看个例子先感受下。   我们这里要解决的问题是，将手写数字的灰度图像（28 像素×28 像素）划分到 10 个类别 中（0~9）。我们将使用 MNIST 数据集，它是机器学习领域的一个经典数据集，其历史几乎和这 个领域一样长，而且已被人们深入研究。这个数据集包含 60 000 张训练图像和 10 000 张测试图 像，由美国国家标准与技术研究院（National Institute of Standards and Technology，即 MNIST 中 的 NIST）在 20 世纪 80 年代收集得到。你可以将“解决”MNIST 问题看作深度学习的

来源公众号：机器之心 ↑ 关注 + 星标 ， 后台回复【 大礼包 】送你Python自学大礼 交流群，速进！ 学 Python 怎样才最快，当然是实战各种小项目，只有自己去想与写，才记得住规则。本文是 30 个极简任务，初学者可以尝试着自己实现；本文同样也是 30 段代码，Python 开发者也可以看看是不是有没想到的用法。 Python 是机器学习最广泛采用的编程语言，它最重要的优势在于编程的易用性。如果读者对基本的 Python 语法已经有一些了解，那么这篇文章可能会给你一些启发。作者简单概览了 30 段代码，它们都是平常非常实用的技巧，我们只要花几分钟就能从头到尾浏览一遍。 1、重复元素判定 以下方法可以检查给定列表是不是存在重复元素，它会使用 set() 函数来移除所有重复元素。 def all_unique(lst): return len(lst) == len(set(lst)) x = [1,1,2,2,3,2,3,4,5,6] y = [1,2,3,4,5] all_unique(x) # False all_unique(y) # True 2、字符元素组成判定 检查两个字符串的组成元素是不是一样的。 from collections import Counter def anagram(first, second) : return Counter(first

作者 ： 豆腐 来源：凹凸数据 大家好，我又来了, 我是银牌厨师豆腐！ 我们总是在爬啊爬，爬到了数据难道只是为了做一个词云吗？ 当然不！这次我就利用flask为大家呈现一道小菜。 Flask是python中一个轻量级web框架，相对于其他web框架来说简单，适合小白练手。使用Flask+爬虫，教大家如何实时展示自己爬下来的数据到网页上。 先给大家展示一下这个丑丑的网页 ↓ （给个面子，别笑 ） 演示三个功能 整个流程就是简单的三步： 爬取数据 利用实时爬取数据生成词云 利用热点推荐新闻 爬虫部分： 这次爬虫主要利用多线程方式爬取新浪新闻+网易新闻所有栏目新闻信息。 一共14个栏目，两个网站的页面信息都是通过ajax加载完成的，请求对应的栏目链接后，返回的字符串是这样的，仔细观察会发现我们要看的新闻内容被包含在 data_callback 里面 图2 是一个列表样式， 这时候我们就可以用 eval 函数将这个字符串处理成一个列表格式 def get_wy_teach () : url = 'https://tech.163.com/special/00097UHL/tech_datalist.js?callback=data_callback' headers = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)

信息来源 | 气象杂货铺( meteogs ) 作者 | bugsuse 背景动机 AI，机器学习/深度学习技术（包括深层神经网络，DNN）在许多领域和应用中取得了很大的进展，包括医药、自动驾驶、社交媒体、金融工业等。在私有领域，人工智能的准确性和可用性方面的惊人增长具有显著意义。人工智能在气象学和海洋学领域也取得了显著的进展。然而，直到最近，在环境科学领域只有很少的AI应用开发工作。令人鼓舞的是，AI在这些领域的应用在不断增加，而且取得了令人鼓舞的结果，其中包括预测技能。随着卫星数据的不断增加以及社会依赖的增加，将会持续改善预报准确率和精度。来自高分辨率卫星和传感器，一系列新传感器，以及物联网背景下新观测设备的数据不断增加。这些数据的增加将给这些数据的应用带来极大的挑战，AI已经成为潜在的解决技术。 第四期主要内容 在预报中将数据同化与机器学习结合 通过AI检验气候信号 海洋环境中的视频和图片分析 通过人工智能和机器学习技术生成高时空分辨率的是飓风影像 资源获取 第一期PPT资料获取，后台回复NOAA1 第二期PPT资料获取，后台回复NOAA2 第三期视频获取，后台回复NOAA3 第四期视频获取，后台回复NOAA4 本文分享自微信公众号 - 好奇心Log（Curiosity-log）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”

问题背景： 在测试&部署监控过程中，我们常常会遇到外部接口返回数据不靠谱的时候。最常见的场合是从某个http获取如json和xml等结构化的结果，进行解析并处理，在这时候出现以下这几种常见类型的错误： （1）整个结构不完整。直接无法解析json/xml。 （2）编码错误，常见的gbk/utf8错误 （3）超长数据/非法字符。 （4）数据类型不匹配。需要是数字的给了字符串，该是数组的给了字符串等，对json本身来说没问题，程序处理就会错误或者崩溃。 （5）字段缺失或者为空，这个情况对json本身来说也是没问题的，处理进程固定要去取这里的字段就会出问题，或者进程本身没问题，但实际展现出问题。 例如json描述一个商品最近30天的售价，提供一个数组里有30个数据来画点，json里这个数组为空，从数据格式上来说没问题，但实际画点时展现即为空。 截图是来自一份合作方的数据，箭头指向的是上证指数曲线的点，如果点数据完全缺失（为空）则画曲线的界面会显示为空。在json结构上则仍然验证为合法。 解决问题的现状： 对上述问题，我们有一些简单的自动化监控手段，通过定期抓取http接口再获取其中内容这一步比较简单，接下来我们会验证http状态码（200正常，非200认为是有问题）和长度，如果过短（例如少于20字节）则认为是无效。 还有一些自动化case会先人工看一下接口返回的具体内容