workflow

How Python Handles Big Files

久未见 提交于 2020-10-06 06:50:13
The Python programming language has become more and more popular in handling data analysis and processing because of its certain unique advantages. It’s easy to read and maintain. pandas, with a rich library of functions and methods packaged in it, is a fast, flexible and easy to use data analysis and manipulation tool built on top of Python. It is one of the big boosters to make Python an efficient and powerful data analysis environment.   pandas is memory-based. It does a great job when the to-be-manipulated data can fit into the memory. It is inconvenient, even unable, to deal with big data

还在写Bug?GitHub官方代码扫描工具上线,免费查找漏洞

拈花ヽ惹草 提交于 2020-10-05 06:44:38
  机器之心报道    作者:蛋酱    在 GitHub 发布项目之前,你可以用免费的官方代码扫描程序来检查 Bug 了。      编程很难,难就难在常有 Bug 而不自知。有程序员调侃:「我不是在写代码,我是在写 Bug。」   从现在开始,你在 GitHub 上传的代码可以免费使用 Bug 筛查程序了。早发现,早报告,早诊断…… 以及早修复。   去年 9 月,GitHub 收购代码分析平台企业 Semmle,宣布将在 GitHub 的开发者工作流程中引入代码安全性流程。   代码扫描是 GitHub Advanced Security 计划中的一部分。今年 5 月的 Github Satellite 2020 大会,GitHub 率先推出了代码扫描功能的 beta 版,免费提供开源代码扫描功能。启用后,将对每个「git push」进行扫描以查找新的潜在安全漏洞,并将结果直接显示在请求中。   据 GitHub 介绍,在内测阶段,有 12000 个存储库接受了代码扫描,扫描次数达到 140 万次,总共发现了 20000 多个安全问题,包括远程代码执行(RCE)、SQL 注入和跨站脚本(XSS)的漏洞。开发者和维护人员在一个月内修复了 72% 的已报告安全问题,比例远高于业内统计的 32% 的 30 天内修复率。   经过几个月来众多开发者的的测试与反馈,九月的最后一天

智能+,见未来:「易观方舟智能用户运营产品套件」全新升级

蹲街弑〆低调 提交于 2020-08-20 06:57:03
2020年5月18日,数据智能产品、平台和解决方案提供商易观,在线上举办“「易观方舟智能用户运营产品套件」全新升级发布会” 。全新升级后的易观方舟包含 智能分析、智能运营、智能画像 三大核心组件, 拥有 “ 更灵活、更高效、更开放、更安全 ”的特性,帮助企业决胜“ 数据智能+用户运营”,留住下一个用户战场。发布会 同时推出了 “零成本”获得易观方舟智能用户运营解决方案,包含了 智能分析、智能运营两大组件免费版本 及技术服务 。 本次“「易观方舟智能用户运营产品套件」全新升级发布会” 易观邀请了生态合作伙伴腾讯云,客户最佳实践代表欧姆龙、用友、CSDN的数字化业务专家等,分享了与易观在「产业智能+」趋势下的「智能用户运营」方向的合作与应用实践。 易观副总裁、数据产品及服务群组总经理董旭,在题为《 中国「产业智能+」升级观察 》分享中提到,“身处成熟产业的企业,当今面临需求侧和供给侧的匹配鸿沟。流量红利不断消弭,移动互联网用户增速缓慢,代际更替出现新的细分需求和新兴市场机会,下沉市场不断产生的新的个性化需求。‘产业智能+’升级以用户为中心,实践‘产业智能+’将改变现有的商业竞争状态。基于用户数据,形成自动、实时,且具备互动体验的智能用户运营,是数字社会下以客户为中心的企业的必然选择。” 易观分享中国产业智能化阶段探索图 产品迭代,功能、性能全面提升,高效智能运营用户 在发布会上

我们可以用SharePoint做什么

廉价感情. 提交于 2020-08-17 14:47:53
前言   不知不觉作为一个SharePoint的开发人员若干年了,从SharePoint api 开始学习,到了解SharePoint的结构,逐渐一点点了解sharepoint的体系;从SharePoint 的2007到2010到2013到SharePoint Online都接触了一些。本文会从个人的视角给大家展现一下我了解的sharepoint的体系结构,以及介绍一下sharepoint的相关功能,欢迎大家共同讨论拍砖。 SharePoint平台的体系结构 基本平台 : ASP.NET SharePoint平台归根结底是一个ASP.NET程序,因此大家在开发ASP.NET用到的技术SharePoint中都会相应的体现。Master Page, WebPart, WebService , IIS 这些基本的概念大家都耳熟能详了,这些技术在SharePoint中的各处都能体现出来,一些基于ASP.NET的设计思想在SharPoint都能体现。 SQL Server服务 SharePoint作为一个企业级的产品,就必须考虑到如何存储一个站点中相关的数据,随着数据的级别不断的增大,如果解决数据存储问题,如何解决数据的备份问题以及灾难恢复问题,因此SQL Server顺势成为了SharePoint的数据存储后台。因此,使用SharePoint的企业,除了需要SharePoint管理员

Serverless 在大规模数据处理的实践

假如想象 提交于 2020-08-16 04:29:25
简介: Serverless 服务平台可以使您的应用快速水平扩展,并行处理的工作更加有效。本文详细阐述了 Serverless 在大规模数据处理上的实践,并给出了具体的实践案例。 作者 | 西流 阿里云技术专家 前言 当您第一次接触 Serverless 的时候,有一个不那么明显的新使用方式:与传统的基于服务器的方法相比,Serverless 服务平台可以使您的应用快速水平扩展,并行处理的工作更加有效。这主要是因为 Serverless 可以不必为闲置的资源付费,不用担心预留的资源不够。而在传统的使用范式中,用户必须预留成百上千的服务器来做一些高度并行化但执行时长较短的任务,而且必须为每一台服务器买单,即使有的服务器已经不再工作了。 以阿里云 Serverless 产品——函数计算为例,便可以完美解决您上述所有顾虑: 如果您的任务本身计算量不是很大,但是有大量的并发任务请求需要并行处理, 比如多媒体文件处理、文档转换等; 一个任务本身计算量很大,要求单个任务很快处理完,并且还能支持并行处理多个任务。 在这种场景下,用户唯一关注的就是:您的任务是可以分治拆解并且子任务是可以并行处理的,一个需要一个小时才能处理完的长任务,可以分解成 360 个独立的 10 秒长的子任务并行处理,这样,以前您要花一个小时才能处理完的任务,现在只需要 10 秒就可以搞定。由于采用的是按量计费的模型