机器学习

最近后台又收到很多粉丝工作不顺、压力山大的苦水： ▎入行两年，薪资8K，涨薪太难...... ▎熬夜做出来的数据，被各种质疑...... ▎公司裁员，数据分析成了第一批...... 今天我们不妨换个角度来聊聊，数据分析岗到 底怎么了 ？ 首先不得不承认，其实大部分的 数据分析师就是民工 ，很多工作岗位只需要懂Excel和SQL就可以开始干活了。 而且现在 很多现成分析工具已经很好用了， 好多公司就用Power BI、 Tableau、 Qlik Sense（可视化）进行数据分析。 那数据分析就不香了吗？ 01 人人都在学 数据分析 数据分析香，太香了！ 以至于公司在招人时都不忘强调一句 ：会数据分析，还要会用使用各种分析工具。 (截图来源招聘网站） 如今企业招进去的人都具备了一定的数据分析能力，已经有一大波人抢我们的饭碗了！ 所以比起各种工具的使用，业务能力 毋庸置疑的成为了当代数据分析岗最需要掌握、最有潜力的能力之一。 02 ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ 会数据分析、懂业务有多香？ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ 一个 动作让老板给你涨薪30% 我上研究生时有个师兄读完了计算机硕士去做房产中介了，但不到两个月时间就和同事拉开差距。 他利用大数据和机器学习为顾客推荐房产

上一条隔空传送给大家SAS全球论坛2020直播视频，各位伙伴是不是也感受到了这场数据分析界大会的热烈气氛， 观摩视频就仿佛与数据大佬齐聚一堂，近距离聆听他们的真知灼见 ，抑或是精妙的思路方法。 不过，由于微信公众号每篇文章只能播放三条视频的限制，上一篇的视频未必能覆盖到你所关注的所有领域或技术点，为此，小赛这里再为您呈现三支重要视频。 1. 用于在线欺诈侦测的7种最流行的机器学习算法及其在SAS中的应用 嘉宾 Patrick Maher 职位 SAS首席解决方案架构师 亮点 如何根据历史数据训练数据集分类新数据 案例演示 19min+ 点击下载该论文 2. 从SAS 9.4向SAS Viya迁移 嘉宾 Mark Schneider 职位 SAS产品经理 亮点 互操作性 内容推广 替换 19min+ 点击下载该论文 3. 如何将Python应用到SAS可视数据挖掘和机器学习里 嘉宾 Jagruti Kanjia 职位 SAS高级分析顾问 亮点 如何在VDMML中集成开源技术 如何用python环境用于数据准备或模型构建 20min+ 点击下载该论文 小赛最后的碎碎念， 近期SAS全球论坛2020视频的观看tips。 哪里可以看到这些视频 · 在本公号中我们会陆续推送系列内容，本期推送的头条、二条文章发布共6个技术视频 · 7月初会陆续放送技术视频 微信公众号观看视频流程

估计有人会说小Dream在偷懒。词向量，网上百度一大把的东西，你还要写。在我看来，词向量在自然语言处理中是非常重要的一环，虽然他在一开始就没有受到大家的重视，但是在神经网络再度流行起来之后，就被当作是自然语言处理中奠基式的工作了。另一方面，网上词向量相关的文章，大多是抄来抄去，能够深入浅出，讲的通俗而又不失深度的少之又少。最后，为了这个系列的系统性和完整性，我还是决定好好讲一下词向量，这个非常基础却又重要的工作。 1.文本向量化 首先，我们提出这样一个问题，一个文本，经过分词之后，送入某一个自然语言处理模型之前该如何表示？例如，“人/如果/没用/梦想/，/跟/咸鱼/还有/什么/差别”，向机器学习模型直接输入字符串显然是不明智的，不便于模型进行计算和文本之间的比较。那么，我们需要一种方式来表示一个文本，这种文本表示方式要能够便于进行文本之间的比较，计算等。最容易想到的，就是对文本进行向量化的表示。例如，根据语料库的分词结果，建立一个词典，每个词用一个向量来表示，这样就可以将文本向量化了。 2.词袋模型 要讲词向量，我们首先不得不说的就是词袋模型。词袋模型是把文本看成是由一袋一袋的词构成的。例如，有这样两个文本： （1）“人/如果/没有/梦想/，/跟/咸鱼/还有/什么/差别” （2）“人生/短短/几十/年/，差别/不大/，/开心/最/重要” 这两个文本，可以构成这样一个词典：{“人”，

点击上方 “ 机器学习与生成对抗网络 ”，关注"星标" 获取有趣、好玩的前沿干货！ 作者：HUST小菜鸡 https://zhuanlan.zhihu.com/p/146130215 文仅交流，未经允许不得转载 之前在看DETR这篇论文中的self_attention，然后结合之前实验室组会经常提起的注意力机制，所以本周时间对注意力机制进行了相关的梳理，以及相关的源码阅读了解其实现的机制 一、注意力机制（attention mechanism） attention机制可以它认为是一种资源分配的机制，可以理解为对于原本平均分配的资源根据attention对象的重要程度重新分配资源，重要的单位就多分一点，不重要或者不好的单位就少分一点，在深度神经网络的结构设计中，attention所要分配的资源基本上就是权重了 视觉注意力分为几种，核心思想是基于原有的数据找到其之间的关联性，然后突出其某些重要特征，有通道注意力，像素注意力，多阶注意力等，也有把NLP中的自注意力引入。 二、自注意力（self-attention） 参考文献：Attention is All you Need 参考资料：https://zhuanlan.zhihu.com/p/48508221 GitHub：https://github.com/huggingface/transformers

2011 年，曾在金融IT领域占据半壁江山，并一度在纽交所上市的东南融通因故退市解散，当时在东南融通从事BI产品研发的吴华夫带领原有的技术骨干独立出来，成立了思迈特软件（Smartbi）。 从成立以来， Smartbi经历国资控股、MBO独立发展，增长速度一直保持稳定，并继续深耕金融领域，服务于众多大型全国性银行，致力于为客户提供包括数据处理、分析和可视化等商业智能（BI）服务。 目前， Smartbi的标准化产品有三种，包括 企业报表平台 、自助分析平台、数据挖掘平台。 企业报表平台 Insight是一个借助Excel的插件设计企业WEB报表的工具软件。针对企业中普遍存在的报表制作的需求，允许用户在Excel中进数据准备、样式设计、数据计算、数据可视化、互动逻辑、共享发布等操作，融合了Excel和传统报表软件的双重优势，提高了报表制作的效率和能力。 自助分析平台 Eagle为企业中的业务人员提供自助式的数据分析工具，将IT人员从繁琐的对业务人员分析需求的技术响应中解放了出来，通过数据查询、OLAP分析、可视化探索等核心能力，缩短了业务人员提出需求到得出分析结果之间的时间周期。 数据挖掘平台 Mining针对企业中的数据科学家、业务分析师、行业咨询师等职能人员的预测性分析需求，将机器学习算法与BI相结合，提供了流式建模、拖拽式操作的可视化建模界面。 立足于 BI产品 的核心能力

从我最近发的实习招聘文章就可以知道，我最近在忙春招的事了，本人也非常“荣幸”，担任了我们团队这次春招的负责人。陆陆续续沟通了很多学生，于是在这个周末抽出了一点时间，跟大家聊聊我对校园实习的一些看法。 就在我发完实习招聘的当天下午，一位同学就联系到了我，非常客气地称呼我为“老师”，从申请好友时的备注中得知其是一位名校的学生，希望找一份暑期实习的工作。由于是第一个加我微信的同学，我兴致很高地跟他沟通了番。 说实话，这位同学虽然学历不错，但交流下来，发现在编程实践经验上差了那么一点，但也能理解，毕竟是学生吗，可能还是以学习学校课本上的知识为主。由于我们是中间件岗位，我又继续跟他聊了下中间件，问他对中间件的了解有多少，他说没了解过，但我可以学，说到这儿，我眉头开始一紧，继续追问他，这你也敢投简历？他回答说，阿里一直是我梦寐以求的公司。一时语塞，让我联想到了当初面试阿里时的自己，貌似也说过同样的话。最后我草草结束了交流，还是将他的简历投递进了系统。 接触过这些大三/研二找实习的学生之后，我不禁回忆起了自己的经历。我大三的时候都没有意识到要找一份实习，甚至觉得公司招聘实习生，就是在招一些廉价劳动力，去干一些脏活累活。直到应届毕业之后，才了解到原来国内这些大公司，几乎不招聘应届生，要么是 3 年工作经验起步，要么是校招实习转正，几乎没有第三种情况！ 很多学生没有实习计划，或者出于对工作的恐惧

通知：这篇文章有6篇论文速递信息，涉及视觉跟踪、Zero-shot Learning、GAN和人员计数等方向（含2篇CVPR论文） [1]《View Extrapolation of Human Body from a Single Image》 CVPR 2018 Abstract：我们研究如何从单个图像合成人体的新视图。尽管最近基于深度学习的方法对于刚性物体很适用，但它们通常在大型关节的物体（如人体）上失败。现有方法的核心步骤是将可观察的视图与CNN的新视图相匹配;然而，人体丰富的发音模式使得CNN很难记忆和插入数据。为了解决这个问题，我们提出了一种新的基于深度学习的pipeline，明确地估计和利用underlying人体的几何形状。我们的pipeline是一个形状估计网络和一个图像生成网络的组合，并且在接口处应用透视变换来生成像素值传输的正向流。我们的设计能够将数据变化的空间分解出来，并使每一步的学习变得更容易。经验上，我们表明姿态变化对象的性能可以大大提高。我们的方法也可应用于3D传感器捕获的实际数据，并且我们的方法生成的流可用于生成高分辨率的高质量结果。 arXiv： https://arxiv.org/abs/1804.04213 视觉跟踪 [2]《VITAL: Visual Tracking via Adversarial Learning》 CVPR 2018

一、基础 疑问1 ：具体使用算法时，怎么通过精准率和召回率判断算法优劣？ 根据具体使用场景而定： 例1 ：股票预测，未来该股票是升还是降？业务要求 更精准的找到能够上升的股票； 此情况下，模型精准率越高越优。 例2 ：病人诊断，就诊人员是否患病？业务要求 更全面的找出所有患病的病人 ，而且尽量不漏掉一个患者；甚至说即使将正常人员判断为病人也没关系，只要不将病人判断成健康人员就好。此情况，模型召回率越高越优。 疑问2 ：:有些情况下，即需要考虑精准率又需要考虑召回率，二者所占权重一样，怎么中欧那个判断？ 方法 ：采用新的评价标准，F1 Score； 二、F1 Score F1 Score ：兼顾降准了和召回率，当急需要考虑精准率又需要考虑召回率，可查看模型的 F1 Score，根据 F1 Score 的大小判断模型的优劣； F1 = 2 * Precision * recall / (precision + recall) ，是二者的调和平均值； F1 是 precision 和 recall 的调和平均值 ； 调和平均值 ：如果 1/a = (1/b + 1/c) / 2，则称 a 是 b 和 c 的调和平均值； 调和平均值特点 ：|b - c| 越大，a 越小；当 b - c = 0 时，a = b = c，a 达到最大值； 具体到精准率和召回率，只有当二者大小均衡时，F1

在国内外新冠疫情持续的特殊形势下，2021年世界经济论坛“达沃斯议程”对话会于1月25日至29日以线上形式举行。此次论坛上，全球70多个国家和地区的1500多位政商界和社会组织领导人围绕“把握关键之年，重建各方信任”这一主题，就如何应对新冠疫情下全球面临的经济、环境、社会、技术等挑战，寻求合作抗疫和推动经济复苏的方案等展开了探讨。 作为人工智能世界级科学家和企业家、达沃斯论坛的常客和重要委员，清华大学智能产业研究院（Institute for AI Industry Research，AIR）张亚勤院长亦受邀出席了此次达沃斯议程对话会，并发表了演讲。 近年来，人工智能一直是计算机领域的热门研究方向，也是达沃斯论坛的焦点议题。 早在2016年，张亚勤博士就曾在达沃斯论坛对人工智能相关议题提出了诸多见解。当时，他指出，人工智能将成为第四次工业革命的技术基石，另一方面，它的发展速度比许多人想象得都要快，但要实现技术的可靠和可控性，需要全世界共同思考解决。同时，当前人们更多是投资弱人工智能，即对人类智能的放大，而不是取代人的智能等。 迄今，包括机器学习、语音识别、图像识别、大数据挖掘、自然语言处理等AI技术已在交通、教育、医疗、金融等众多领域得到了广泛应用，成为各个领域转型升级的核心动力。以此次新冠肺炎疫情为例，随着“无接触”等需求的兴起，人脸识别等人工智能技术大放异彩

开发者社区技术周刊 又和大家见面了，快来看看这周有哪些值得我们开发者关注的重要新闻吧。 Google研究院推出处理文本图像新框架TReCS OpenAI将k8s扩展至7500个节点以支持机器学习 Apache ECharts 5正式发布 WebRTC成为W3C与IETF正式标准 国内首个自主可控区块链技术体系“长安链”发布 京东开源PyTorch人脸识别工具包FaceX-Zoo AAAI 2021丨Graph Diffusion Network提升交通流量预测精度 AAAI 2021丨利用标签之间的混淆关系，提升文本分类效果 行 业 要 闻 1.Google研究院推出处理文本图像新框架TReCS 为创建一种能够在任何语言之间进行翻译的通用神经机器翻译系统，Google 研究人员研发了一种新框架，即 TReCS（Tag-Retrieve-Compose Synthesize system） 。通过改进图像元素的唤起方式以及迹线如何通知其位置，从而显着增强图像生成过程。该系统接受了超过250亿个示例的培训，具有处理103种语言的潜力。其功能使鼠标轨迹与文本描述对齐，并为提供的短语创建可视标签。该框架利用可控的鼠标轨迹作为细粒度的视觉基础，根据用户的叙述生成高质量图像。标记器被用来预测短语中每个单词的对象标签。 2.OpenAI将k8s扩展至7500个节点以支持机器学习 为了满足GPT