大数据

答疑篇（上） | 你问我答，关于中台还有哪些困惑？ 中台与微服务、中间件、数据仓库到底有什么区别？ 当我们谈中台与微服务的区别时，更多谈的是业务中台；当我们谈中台与中间件的区别时，则更倾向于技术中台；当我们谈中台与数据仓库的区别时，更多谈的则是数据中台。 所以这个问题更严谨的表达，应该是“业务中台与微服务”、“技术中台与中间件”、“数据中台与数据仓库”到底有什么区别？ 业务中台与微服务的区别？ 微服务更多关注技术架构层面上的问题，而业务中台更多关注业务架构层面上企业级复用的问题。业务中台不一定是微服务架构的，采用了微服务架构的也不一定就是中台。 技术中台与中间件的区别？ 如果能通过中台这个概念为驱动力，促使企业的内部技术平台再向业务走出一步，无论是针对用户体验做优化，还是通过产品化，让业务可以自助式（Self-Service）地使用企业技术组件的能力，如果能做到这些或是起到这样的驱动力，我觉得技术中台这个概念才有价值。 数据中台与数据仓库的区别？ 最大的一个区别还是数据中台和传统的数据系统出发点（视角）不一样。 传统的数据系统（数仓、大数据平台）更多是偏技术侧，拿着数据和技术找场景；而数据中台更多的是偏业务侧，拿着场景去找数据和技术。 中台和后台的区别具体在哪里？ 我们可以用 SOR 来理解后台，对应到企业内，就是那些所谓的核心系统，常见的例如 ERP、DMS、银行的核心账务系统等

当前数字化发展，无论是国家机关、企事业单位，还是普通自然人，对数据安全的关注和重视都是空前的，可以说数据安全是当前的热门话题、共性话题。国家、地方、企事业内部都在不断的完善相关法律法规和审计机制，提升自身的数据安全防护能力。 在数据安全体系建设时 你可能面临的困惑 当前所管理的数据资产是否与实际资产相符，敏感数据都在哪里有，都在被谁访问； 已建设有 部分安全产品，并进行了相应的策略配置，不清楚做的够不够； 清楚数据的重要性，有意识整体提升数据安全防护能力，但不知道如何开展，如何迭代； 数据安全相关制度已具备一些，不知道是否还有遗漏，不知道贯彻执行情况如何，怎么稽核； 平台建设方、运维方可能是同一团队，担心未来数据被滥用，如何形成制约； 现有的运行状况都存在哪些泄漏点、风险点，影响有多大； 知道数据安全投入是持续的，但还是想尽量避免重复投入，通过利旧、精准投入而实现降本增效。 为了使企事业单位在开展数据安全体系建设时有所参照，解决建设前、中、后的顾虑和困惑。 通过调研数据安全领域的技术和产品，以及各行业top级企事业单位的管理经验， 腾讯安全 结合自身的应用与实践经验，绘制并发布数据安全能力图谱，助力企业规划数据安全体系的建设、加强数据场景的安全管控能力、指导数据安全能力的评估等场景。 关注 腾讯安全 （公众号：TXAQ2019） 回复 【数据安全能力图谱】 获取原图

" NightTeam "，一个值得加星标 的公众号。 总有一些新闻让我们感觉战战兢兢，但每天都觉得这应该不会是我。侥幸，是我们幸福生活的大敌！ 《程序员爬虫竟构成犯罪？注意，别摊上事！》 《只因写了一段爬虫，公司200多人被抓！》 《玩“爬虫”可能触犯的三宗罪》 《编程有罪！写这些代码必被抓》 《因为违法使用开源资源，他们不仅要道歉还要赔钱》 《永嘉警方揪出“黑”百度黑客团伙 干扰搜索引擎牟利超七千万元》 《裁判文书网数据竟被标价售卖：爬虫程序抓取，或构成侵权》 《“车来了”涉嫌偷数据被警方立案，非法获取计算机系统数据是个什么罪？》 《输个验证码都能赚钱？你正在进行违法操作》 《东营市“净网”行动中首个“黑客”犯罪案件成功侦破》 《公安机关侦破网络黑客犯罪案400余起 抓获900余人》 《公安部公布五起打击黑客犯罪典型案件》 《通过“翻墙”访问境外网站被行政处罚》 《使用VPN翻墙软件属于违法行为 可能被追刑责》 《开发这玩意真的犯法，已经有程序员被抓了！》 《51信用卡被查，祸起爬虫抓取数据被某银行举报？》 《裁判文书网数据竟被售卖：爬虫程序抓取 或成侵权》 你不要不以为然，很有可能你吃完泡面后开开心心地在 4K 显示器面前敲着新买的机械键盘时，警察叔叔就站在了你身后： 小伙子，你这行代码有问题 。 然后顺手掏出银手镯，就给你戴上了。各种款式都有，不过你没得选

前言 随着供暖季来临，我国北方大部分省市开始陆续供热。一年一度的供暖问题被提上了日程。在我们的印象里，供热的设施不论是锅炉、管道还是暖气片，都是坚硬的钢铁、铸铁。 HT 通过自主研发的强大的基于 HTML5 的 2D、3D 渲染引擎，运用丰富的 2D/3D 组态，给它们装上了“触角”，接通了“血脉”，装上了“大脑”，数字孪生一个智慧供热全流程系统，助力城市供热信息化升级改造，深挖热力大数据价值。 随着集中供热普及率的上升，北方地区供暖能耗逐年增大。我国单位住宅建设供暖能耗是相同维度的发达国家的3倍。而在传统供热模式下，机组自动化水平低、多依靠人工调控，导致供热量与热需求无法准确匹配，暴露出了能源浪费与环境污染的问题。面临多方压力的传统供热行业正积极寻求破局。近年来，以互联网、大数据、云计算、人工智能等为代表的新一代信息技术迅猛发展，正加速向各领域广泛渗透，推动着传统产业转型升级。作为传统行业的供热行业仍处于一种“春秋战国、群雄逐鹿”的格局，而在国家政策以及用户、企业的各方面的诉求下，智慧供暖已成为一种潮流。 要开拓市场空间，降低供热成本，提高企业利润水平，技术和先进管理的提升必不可少。 界面简介与效果预览 界面分为数据面板（2D）和热网（3D）两个部分： 随着画面初始化后，映入眼帘的是图扑可视化技术对整个城市进行的模拟仿真，整座城市被一条水路一分为二，主干道的车流汇聚成迷幻的霓虹

这是Bella酱的第 89 期分享 作者 | SnoWalker 来源 | 分布式朝闻道 学习DDD的时候，作为开发，我们更关心它在技术层面的东西，尤其体现在DDD的分包方式、编码技巧等方面。 自然的，我们不禁发问，用了DDD的分包，就是实践落地了DDD了么？ 不卖关子，直接说答案，并不是。 用了DDD的分包，只能说满足了DDD的"形"，并没有抓住DDD的"神"。DDD的神是什么，归根到底还是 面向对象，领域建模 。所谓的各种分包方式本质上还是为了满足DDD面向对象的本质,方便开发者进行代码编写而提供的一种"战术设计" 工具 。 要深入讨论这个问题,我们需要花一点时间来学习讨论一下DDD中常见的几种分包。 DDD分包概述 基于DDD的分包主要有两大流派：分层架构以及六边形架构。 分层架构以四层架构为主，基于四层架构又诞生出衍生的五层架构、六层架构等等（限于篇幅以及讨论重点，本文中我们只讨论四层架构）。 六边形架构出自 Robert C Martin（没错，就是传说中的鲍勃大叔）提出的整洁架构，后来者不断探索，又衍生出了洋葱架构。 这个过程可谓是百家争鸣。实际开发中，最为我们熟知的当属四层架构与六边形架构了，其余的各种架构都是基于这两种架构方式的变体。 四层分层架构 四层架构的分层如下图： 从上往下依次为： |- userinterface 用户界面层/表示层 |-

可能大家都听说过这样一句话" 字不如表、表不如图"，其实背后所表达出来的意思是对于复杂难懂且体量庞大的数据而言，图表的信息量要大得多，这也是数据可视化的核心价值所在。 数据可视化价值 准确高效直观的传递传递数据中的规律和信息； 实时监控系统各项数据指标，实现数据的自解释； 基于可视化洞察数据规律，指定精准的运营策略； 基础构建原则 简单的步骤如下：基于业务需求，完成可视化数据处理（收集，规则，定时任务等）。借助常用的图表进行组合展示，但是也有一些注意事项如下： 可视化的数据要关联核心的有业务价值的数据； 图表的展现注意简单，明了，图表的本质就是让数据更直观； 不要为了追求系统花哨，可以大批量添加图表； 基于数据价值和多年数据可视化工具平台产品的设计&研发来讲，我认为可视化工具必须具备如下几点核心能力： （1）易于使用； （2）快速满足业务需求的能力； （3）多数据源对接能力； （4）与第三方系统集成能力； （5）个性化需求的满足能力； 结合以上几点，NBI大数据可视化平台也在不断打磨产品和思考，在数据分析领域能为企业赋能什么： NBI一站式自服务大数据可视化分析平台 是一款自助式可视化分析大屏展示平台，可以通过平台零代码或低代码方式构建各类数据展示分析和个性化场景需求； NBI拥有几十种传统图形和新型大数据图形组件（如桑 基图， treemap、层级聚类图、旭日图、热力矩 阵

前言 作为一个喜欢看书的“少年”，每次一到大型电商促销活动，总不会忘记去收藏夹看看，有哪些好书有打折优惠。往往这个时候，我总能收割一波价格实惠，质量又高的好书。但是，书可不是装饰品，买来还是需要静下心来去阅读的，所以我一般都会在平时下班回家或者周末抽出一部分时间去看书，毕竟“ 书籍是程序员进步的阶梯 ”~本期文章，我就来分享一下，最近在看的几本书，并附带一些自己的感想，希望对你们有所帮助！ 海量数据处理与大数据技术实战 第一本就是冰河大佬于今年9月首次出版的《海量数据处理与大数据技术实战》。相信部分小伙伴对这本书可能不会感到陌生，一方面是因为我之前在写其他技术文章的时候，有时候会引用了一些书中的内容，并在文章中多次为大家谈到这本书。这本书我个人感觉非常适合想转行从事或者系统学习大数据的技术开发人员。书中对于技术的讲解正如冰河本人那样严谨，总的来说， 是大数据领域中不可多得的一本好书 ！下面让我来简单介绍一下这本书的内容。 本书一共分为4大篇，第一篇是「大数据基础篇」，主要介绍了大数据处理概论，离线批处理技术 Hadoop 和在线实时处理技术 Storm ；第二篇是「大数据离线批处理技术篇」，介绍了如何安装配置Hadoop集群，并系统地介绍了 HDFS ， MapReduce 和 Sqoop ；第三篇是「大数据在线实时处理技术篇」，介绍了海量数据采集利器 Flume

目录 一.NoSQL的诞生 二.分布式数据管理 三.ACID/BASE 四.NoSQL数据库的分类 一. NoSQL的诞生 （1）什么是数据库？ 数据库(Database)是按 照一定的 数据模型 来组织、存储和管理数据的仓库。 （2） 什么是数据模型 ？ 把现实世界中的人、物、活动、概念等用 【数据模型】 来抽象、表示 成计算机能识别和处理的数字。 数据模型是DB系统的核心和基础。 （3） 传统数据库数据模型的类型 层次型、网状型和 关系型 发展历程： （4）什么是 关系数据模型？ 关系模型有严格的数学基础，抽象级别比较高，而且简单清晰，便于 理解。很快工业界就参与进来研发关系数据库系统以及SQL。 代表产品有Oracle、IBM公司的DB2、微软公司的SQLServer 以及开 源的MySQL。 （5）关系型数据库的特点（优点）？ 容易理解 ：用二维表表示 使用方便 ：通用的SQL语言。 易于维护 ：丰富的完整性约束大大减低了数据冗余和数据不一 致的可能性。 （6）在大数据时代关系型数据库的不足 在大数据时代中， 数据量大，价值密度低，需要便宜的设备承载。 数据量达到了PB级别。 需要数据库拥有， 处理速度快，需要高并发支持及快速扩容能力。 1. 无法适应多变的数据结构 现代网络中存在大量的半结构化、非结构化数据，针对结构化数据而设计的关系 型数据库系统来说

哈哈哈哈 本文实则是《怎样卖龙虾》读后感，用夸张的吸引眼球的标题把你骗进来。 对我有帮助的 书中一些奇技淫巧我大都能窥到背后的心理学原理，例如设置超大杯其实是锚点，等等。 基于此，我相信书中所引用的案例是可以复现出来的。 对我的启发是，遇到问题了，不要害怕，勇敢面对，多思考解决问题的方法。 必要情况下可以多和聪明的人进行交流，以获得启发。 问自己一个问题 看完此书，如果你是作者，你会怎样卖一个送物机器人呢？ 我简单思考下（编的）： 1.竞业角度。看行业领头羊是怎么卖的。并复制他。 2.销售员角度。挖竞争对手的销售。挖竞争对手的客户信息，说服他们换成自己的。 3.大数据角度。挖掘历史购买者们的特点，筛选优质购买者。 4.营销角度。举办包装一个人工智能从业经验大会，实则卖机器人。 5.引爆点角度。找到酒店领域知名的或者竞争对手的经销商，签约。 6.宣传角度。找抖音大V买流量，造势，或者自己在抖音b站制作视频。 7.客户角度。邀约已购买客户参加活动，了解客户的痛点，指导开发。 8.自来水角度。利用已购买客户的资源，发展下一级，推荐客户成功奖励X千元。 9.联盟角度。联合各大公司，成立联盟。共同组织活动。 10.共赢角度。找细分领域不同的机器人公司合作，交换信息，共享客户池。 11.增值服务角度。增值服务收费，摄像头服务+大屏广告服务+平台级服务+xxx服务。 12…太多了，不一一说明。

用星链布一个天网，不只是马斯克的疯狂梦想 SpaceX的龙飞船载着两位宇航员成功进入太空时，这个人类航天史上首次实现的商业载人发射，像是马斯克提前送给自己的一份“六一节”厚礼：现场视频里，手舞足蹈跳着转圈圈的他，高兴得像一个孩子。 网友打趣说，这个来自火星的男人，终于有机会实现回家的梦想了。 在多个国家掀起种族歧视抗议活动之际，航空史上的这次突破重新点燃了人们的希望和激情。龙飞船进入太空后即有消息传来，SpaceX和太空旅游公司Space Adventures签下合约，双方计划在2021年年底至2022年年初启动商业太空游项目。 届时，龙飞船上可搭载4名经过严格训练的游客，每次可以在轨道中停留5天。 当然费用也是不菲的，一张“船票”可能高达5200万美元。毕竟，从成立SpaceX到此次成功发射的六年时间里，巨大的技术和工程挑战已经让这一项目烧钱无数。 而在特斯拉汽车已经行驶在全球各地、龙飞船载人进入太空后，马斯克的第三个疯狂梦想也开始提速： 他计划用42000颗卫星，覆盖全球的各个角落和人群，打造一个无缝的太空互联网。 但这一个领域已经风生水起的玩家，并不是只有他的SpaceX。 01 用卫星，搞一个太空互联网？ 无论是自动驾驶汽车，还是商业载人火箭，对一个创业公司来说，想做好任何一样都是巨大的挑战和投入。 显然，马斯克太另类了。除了率先把这2项巨大挑战变为了可能