大数据

这篇文章讲的是Python的 m ap、reduce 两大函数。 这对兄弟是 出现频率极高 且 相当实用 的python函数，初学者会较难理解，看完本文你就能搞定它们喽！ 01 map map()方法会将 一个 函数 映射 到 序列 的每一个 元素 上，生成新序列，包含所有函数返回值。 也就是说序列里每一个元素都被当做x变量，放到一个函数f(x)里，其结果是f(x1)、f(x2)、f(x3)......组成的新序列。 如何使用map函数? map (function_to_apply, list_of_inputs) function_to_apply ： 代表函数 list_of_inputs ： 代表输入序列 注意：python3中 map函数返回的是 迭代器 大多数时候，我们要把列表中所有元素一个个地传递给一个函数，并收集输出。 比方说： items = [1, 2, 3, 4, 5] # 列表 squared = [] for i in items: squared.append(i**2) map函数可以让我们用一种简单而漂亮得多的方式来实现： items = [ 1 , 2 , 3 , 4 , 5 ] squared = list(map(lambda x: x** 2 , items)) 上面使用了匿名函数，也可以自定义函数： items = [ 1 , 2 , 3

我们把完成激活并在一段时间内继续进行使用、浏览、或者购买等关键行为的用户叫做留存用户。我们在做用户增长往往重视了获客，而容易忽略留存。就算我们获取的用户很多，如果留存差，当流失的用户大于获取用户数，我们的用户就会越来越少，用户增长就无法持续。就像一个池子，只有当进水口的水大，而出水口小，水才会在池子里越来越多。用户留存要做的就是想办法堵住池子里的流水口。 尤其是随着流量流量红利的消失，用户的获取变得越来越难，成本越来越高。在流量红利消失时代，我们更应该将更多的精力放在用户的留存上。 如何才能提升留存呢？ 明确用户留存的标准 我们可以看到以上三条用户留存曲线，第一第二条曲线经过用户的流失后，慢慢变得平缓，而最下面一条曲线，用户一直处于下滑状态，直到用户流失趋于0，也就是用户池子里的水基本上全部漏掉了，这样的留存是很差的。 留存曲线 好的留存应该是用户在经过一段时间的下滑后，慢慢变得平缓，而且曲线变平的位置越高，说明我们的留存越好。 比如前面两条曲线，第一条曲线大概在60%左右时候变得平缓，第二条大概在40%时候才变得平缓，我们在做用户留存的时候就是要想办法将变平缓的曲线位置提高。 1. 关注留存率 我们在衡量留存好坏是一定不要仅仅关注留存用户数，留存用户数有价值，但 更有价值的是留存率。 如果我们仅仅关注留存用户数容易造成我们的误区，比如这次活动的带来的用户留存是100万

随着信息革命的深入推进,数据已经成为国家基础性战略资源，各个行业开始重视数据分析，企业不同，数据分析需求当然不一样，如销售行业需要对商品进行销售分析；网站运营需要进行用户、渠道、流量等信息分析；制造行业需要对生产各环节系统数据分析等等，商业智能数据可视化解决方案已经在各行各业中广泛应用。 为了能更直观的查看数据，给大家推荐一款集颜值与才华与一身的数据分析产品——Smartbi，它有很多常用的 BI智能数据 看板，只要将数据整理好，放在excel录入，简单拖拽几下鼠标就可以自动生成属于你自己的 BI看板 ，让大家实现数据自由，探索更多的数据价值。 图：Smartbi销售KPI看板 图：Smartbi销售看板 图:Smartbi HR招聘看板 图:Smartbi HR培训看板 图：Smartbi网站运营周报看板 简单！方便！快捷！数据分析其实并不难，一招就能解决杂、乱、多的数据难题，BI智能数据看板界面沉稳大气，功能模块丰富多样，且能随需调取,看板数据一目了然，交互体验流畅顺滑,可以给大家带来全新的体验。 以上所展示的BI看板仅展现了部分功能，还有很多细节没来得及告诉大家。Smartbi可以搭建服务于不同的业务场景业务看板，利用沉淀下来一套完整的分析思路和分析架构，功能强大，设计精美，大家还可以根据自己的分析需求创建不同类型的图表，Smartbi全功能模块长期免费试用

对于大中型企业来说，数据处理和分析就是一个深不见底的巨坑。因为经过多年的经营和信息化建设，系统里早就积累了大量冗杂的数据，如何从这些数据中抽丝剥茧，对关键数据进行处理分析，是每个数据分析人必须思考的问题。 大家都知道 Excel可以处理数据，可如果要处理一个企业级的海量数据呢？Excel就显得很吃力了，这时BI（商业智能）工具应运而生， 它不仅可以代替Excel处理海量数据，同时能快速生成报表，提供决策依据。 市面上BI工具很多，国外的Tableau、PowerBI都是佼佼者，产品做得很好，但存在着本土化服务不完善、价格不透明等问题。单就国内BI厂商而言，FineBI在功能上和Tableau很接近，在零编码可视化、服务体系上更是亮点颇多，稳居国内BI市场占有率第一，可以说扛起了BI国产化的大旗。 为什么我抛弃了Excel？ FineBI在技术和策略上都有独特优势，最大的亮点是 支持超大数据量 和自主推出的 自助式分析 功能，适用于企业中的技术人员、业务人员和数据分析师，可以进行完全自主的探索式分析。说了这么多，FineBI能帮助企业解决什么问题呢？ 01 打通“数据孤岛” 信息化建设给企业管理和业务发展带来了便利的同时，也存在着“数据孤岛”问题。随着企业的发展，管理系统结构越来越复杂，项目管理、财务管理、客户管理......管理模块繁多不说，更可怕的是，各系统各自为政

Boss|CTO 如何做数字化建设顶层设计？可以下载文档参照 http://www.8crm.cn/download/boss.pdf 从上世纪八十年代到现在，大多的中国软件厂商都是研发单系统，如：OA厂商、ERP厂商、HR厂商等等，即使是一个公司研发出来的不同管理系统，也是相互独立的，从源头上造成了一家单位上了多套系统的客观原状。如：ERP、HR、财务、OA、CRM等，形成了一个个信息孤岛。 现在解决“信息孤岛”的办法大多是通过OA、BI软件去整合，可以解决一些问题，但效果不是特别理想，建设和维护成本都居高不下，也不能从根源上解决“信息孤岛”的问题。严重的困扰了企业的运营，也给老板做决策带来了数字化的挑战，是呀，没有准确的数据做支撑，怎能保证决策方向正确呢？ 软件行业，最早倡导数据集成、消除信息孤岛的是OA厂商，然后是BI厂商，最近两年是低代码开发平台厂商。 OA 厂商强调协同，大多是让异构系统的单据调用OA中的工作流引擎来走审批流程，解决非OA系统工作流技术短板的问题。 BI 厂商强调数据分析，通过BI与异构系统做数据整合，为决策层提供适时的运营数据，及紧急事件提醒，通过BI做大数据分析后，为领导提供决策依据。 私有化低代码开发平台 厂商强调“中台”的概念，除了帮助异构系统做工作流审批、大数据分析外，还能根据用户的管理需求快速开发应用，长期满足用户的信息化建设需求。这也是目前

​经常有人问，“你有没有XXXX的报告啊” （其实没人问，我自己加戏） 那我就把自己的收藏夹分享一下吧！（不是很完整，挑了几个好用的网站，不要钱的） 大家可以按需取用，在需要copy一下（参考一下）的时候十分有效。 1、德勤——四大不是白叫的 https:// www2.deloitte.com/cn/zh .html 四大之一，产出稳定，质量一流。直接用搜索功能就可以方便找到需要的报告。 放几个报告的链接： 《“十四五”规划的思考》 https:// www2.deloitte.com/conte nt/dam/Deloitte/cn/Documents/ser-soe-br/deloitte-cn-fourteenth-five-year-plan-report-zh-200521.pdf 《5G赋能智慧城市白皮书》——德勤携手中国联通联合发布 https:// www2.deloitte.com/conte nt/dam/Deloitte/cn/Documents/technology-media-telecommunications/deloitte-cn-tmt-empowering-smart-cities-with-5g-white-paper-zh-200325.pdf 2、TalkingData——数据的力量 http:// mi.talkingdata.com

导 读 在你心目中的（不太遥远的）未来是什么样的？名为Futurism Cartoons的作者绘制了一系列以“未来”为主题的漫画，其中多幅跟人工智能及你大数据有关，你们来感受一下…… 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 【转载自 大数据分析与人工智能 】 轻轻一扫 欢迎关注~ 本文分享自微信公众号 - 人人都是极客（rrgeek）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my.oschina.net/u/4585157/blog/4638397

谈谈注册中心 zookeeper 和 eureka中的CP和 AP 前言 在分布式架构中往往伴随CAP的理论。因为分布式的架构，不再使用传统的单机架构，多机为了提供可靠服务所以需要冗余数据因而会存在分区容忍性Ｐ。 冗余数据的同时会在复制数据的同时伴随着可用性A 和强一致性C的问题。是选择停止可用性达到强一致性还是保留可用性选择最终一致性。通常选择后者。 其中 zookeeper 和 eureka分别是注册中心CP AP 的两种的实践。他们都提供服务注册中心的功能。建议使用AP。不强求数据的强一致性，达成数据的最终一致性。 服务注册中心的数据也就是返回的可用服务节点(ip+端口号) 服务A开了0-9十个服务节点，服务B需要调用服务A，两次查询返回0-8，1-9 不一致的数据。产生的影响就是0 和9 节点的负载不均衡 只要注册中心在 SLA 承诺的时间内（例如 1s 内）将数据收敛到一致状态（即满足最终一致），流量将很快趋于统计学意义上的一致，所以注册中心以最终一致的模型设计在生产实践中完全可以接受。 1 eureka AP eureka 保证了可用性，实现最终一致性。 Eureka各个节点都是平等的，几个节点挂掉不会影响正常节点的工作，剩余的节点依然可以提供注册和查询服务。而Eureka的客户端在向某个Eureka注册或时如果发现连接失败，则会自动切换至其它节点

　在大数据的时代，传统的关系型数据库要能更高的服务必须要解决高并发读写、海量数据高效存储、高可扩展性和高可用性这些难题。不过就是因为这些问题Nosql诞生了。 NOSQL有这些优势： 大数据量 ，可以通过廉价服务器存储大量的数据，轻松摆脱传统mysql单表存储量级限制。 高扩展性 ，Nosql去掉了关系数据库的关系型特性，很容易横向扩展，摆脱了以往老是纵向扩展的诟病。 高性能 ，Nosql通过简单的key-value方式获取数据，非常快速。还有NoSQL的Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多。 灵活的数据模型 ，NoSQL无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。而在关系数据库里，增删字段是一件非常麻烦的事情。如果是非常大数据量的表，增加字段简直就是一个噩梦。 高可用 ，NoSQL在不太影响性能的情况，就可以方便的实现高可用的架构。比如mongodb通过mongos、mongo分片就可以快速配置出高可用配置。 　　在nosql数据库里，大部分的查询都是键值对（key、value）的方式。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中最像关系数据库的。支持类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。所以这个非常方便

点击上方 “ 民工哥技术之路 ” 选择“星标” 每天 10点 为你 分享 不一样的干货 读者福利！多达 2048G 各种资源免费赠送 前几天，据央视新闻报道，上海公安机关接到共享单车企业报案，随后破获了一起共享单车万能解锁 App 案， 犯罪嫌疑人开发的 App 软件能解锁所有的共享单车。 （视频如上，可以看看） 据警方介绍，“万能钥匙”的实际操作是“将这些共享单车的数据包截取并破解，再将会员信息更改添加到里面，等于是伪装成这些共享单车真正的月卡或者年卡会员。再将这些数据包发送给共享单车的服务器，等于是骗过了服务器的检测，导致开锁的结果。 ‍ 这款 App 影响了多家共享单车企业的正常服务， 造成共享单车公司损失约 3亿 元 。目前开发者 3 名犯罪嫌疑人被依法批准逮捕，11 名犯罪嫌疑人被依法采取强制措施。 在共享单车万能解锁 App 案破获的消息发出后，不少网友发现自己还使用过这款软件，看来钻的空子真的蛮大。 有网友就评论道： 有这样的技术，做点什么不好，非得拿来干这些。 看来程序员也是个高危职业啊，一念之间，就会走向监狱！ 技术无罪，有罪的是使用技术动私念的技术人。 版权申明： 文章源自于网络，具体来源及原作者不详，无法溯源 ，版权归原创者所 有。 除非无法确认，我们都会标明作者及出处，如有侵权烦请告知，我们会立即删除并表示歉意， 谢谢。 关注 民工哥技术之路