大数据

上篇bolg中我们介绍了TCP协议的“面向连接”，仔细分析了其中“三次握手建立连接，四次挥手断开连接”，着重介绍了标识符和各个阶段的状态：这里附上链接： TCP协议（面向连接）基础概念详解 讨论完面向连接后，我们进入下个知识点 可靠传输 1，TCP协议中，可靠传输：确保数据可以安全的达到对端，并且可以有序交付 为了满足“传输数据可靠”，首先从数据简单的收发过程中，设置了如下“”功能“（设计思想）” （1）面向连接——确保通信双方都具有数据传输的能力，即均具有数据的收，发功能 （2）确认应答机制：每一条发送的数据都需要接收方确认收到进行回复，发送端收到回复后认为数据安全到达 （3）超时重传机制：当等待一定的时间后都没有收到接收端的回复，发送端认为数据可能丢失了，对这条数据进行重新发送 （4）对数据进行包序管理： $.实现：基于协议字段中的序号和确认序号实现 $.在三次握手过程中，双方告诉对方自己的起始序号 $.协议字段中的序号：告知对端本条数据的起始序号 $.确认序号：接收方告诉发送方，确认序号之前的数据都已经收到了，下次就从这个确认序号开始发送新数据 数据不一定会有序到达，但是接收方会根据“序号”进行数据排序，保证有序交付 （5）数据一致性校验：基于协议字段中的校验和字段时间，倘若不一致则要求重传（确保数据的收发是一条数据） ————————————————————————————

“ Insert into select 请慎用，同事因为使用了 Insert into select 语句引发了重大生产事故，最后被开除。 图片来自 Pexels 某天 xxx 接到一个需求，需要将表 A 的数据迁移到表 B 中去做一个备份。他本想通过程序先查询查出来然后批量插入，但 xxx 觉得这样有点慢，需要耗费大量的网络 I/O，决定采取别的方法进行实现。 通过在某度的海洋里遨游，他发现了可以使用 insert into select 实现，这样就可以避免使用网络 I/O，直接使用 SQL 依靠数据库 I/O 完成，这样简直不要太棒， 然后他就被开除了。 事故发生的经过 由于数据数据库中 order_today 数据量过大，当时好像有 700W 了，并且每天在以 30W 的速度增加。 所以上司命令 xxx 将 order_today 内的部分数据迁移到 order_record 中，并将 order_today 中的数据删除，这样来降低 order_today 表中的数据量。 由于考虑到会占用数据库 I/O，为了不影响业务，计划是 9：00 以后开始迁移，但是 xxx 在 8：00 的时候，尝试迁移了少部分数据（1000 条），觉得没啥问题，就开始考虑大批量迁移。 在迁移的过程中，应急群是先反应有小部分用户出现支付失败，随后反应大批用户出现支付失败的情况

简介： 风控大考最佳实践 根据阿里云历史行业风险治理相关数据显示，未经风险管控的自然流量中，约三分之一比例属于疑似黑灰产的高风险行为；而在建立合理的风控指标监控体系并采取风险防控手段后，高风险用户比例下降至3%以内，下降比率超过90%。 有效的风险防控方案是保障各类营销、促活拉新等活动效果的必要手段。 随着春节临近，部分互联网行业迎来业务高峰，企业为了争夺用户流量将投入大量获客、营销资源，但同时也将面临风控大考。 由于各行业、企业的业务场景及逻辑多种多样，黑灰产需要借助工具才能实现团伙作案。阿里云安全团队梳理了近年来主流的被黑灰产使用的作案工具，并分析其作案原理及攻击手法，为企业提升防控精准度和防控效率提供参考。 云 手 机 云手机即一台运行在云端服务器的虚拟手机，具备云计算赋予的超大规模、弹性扩容、成本低等优势，经常被用于移动办公、AIoT、工业互联网等场景。然而，这些创新的技术工具也被黑灰产瞄上，用在了攻击套利方面。 传统风险治理主要通过设备指纹等技术手段进行风控管理，因此黑灰产需要购买多台真机才能完成作案。但借助云手机，黑灰产只需要一个云手机厂商账号就可以同时开启大量新机批量套利，作案成本大大降低。 此外，黑灰产可以将云手机虚拟成各类实体手机的品牌型号作案，企业风控人员如果对云手机没有足够的认知，很难将作弊类的云手机设备与正常云手机用户区分开，风险识别挑战增加。 常见套利场景

来源｜网易科技 编辑｜科科 字节跳动，又双叒叕跟腾讯掐了起来。 这次的用词一点不夸张，两天内双方你来我往地足足打了四个回合，火药味十足： 1、2月1日晚间， 抖音发声明称“抖音封杀腾讯”是谣言，并认为有明显的水军组织推动； 2、2月2日，抖音在北京知识产权法院向腾讯提起反垄断诉讼，称自2018年4月起，腾讯旗下产品微信、QQ以“短视频整治”为由，开始了对抖音等产品长达 三年的持续封禁和分享限制 ； 3、2月2日当晚，腾讯发声明回应都应，称字节跳动 “恶意构陷” ，说多款产品包括抖音“通过各种不正当竞争方式违规获取微信用户个人信息，破坏平台规则，已被法院多个禁令要求立即停止侵权”； 4、2月2日当天更晚，抖音发声明回应腾讯回应抖音的声明，称腾讯所谓的“恶意构陷”没有任何依据，腾讯所谓的“违规获取微信用户个人信息”，实际是将用户数据当成公司私产，除非腾讯同意，其他任何产品都不能使用相关数据，否则即构成“非法使用”。 嗯，反正吃瓜的小编昨晚一晚上都没睡好觉，就问你挺谁？ 01 三年，双方battle多次 纵观中国互联网圈，打仗最多的公司莫过于两个流量巨头字节跳动与腾讯。目前，两者已在短视频、社交、游戏等多个领域“交火”，硝烟早已四起。 时间往前倒至2018年，这一年是“头腾大战”被公认的时间起点，也是字节跳动全面挑战腾讯的时间点。这一年，微信朋友圈、QQ空间先后屏蔽了抖音链接

作为职场萌新怎么才能脱颖而出？ 前段时间在某论坛上看到一个职场能力调查还挺有意思的，调查标题为【为了让你在职场新人中脱颖而出，你觉得下面哪三项最为关键？】然后下面列出的能力清单有以下选项： 专业的知识和技能 拥有核心的硬技能 认可的行业和职位 积极的职业和态度 良好的职业习惯 清晰的职业定位 善于处理人际关系 时间管理能力 找到并运用天赋 去除不合理的信念 会管理上司 如果结果仅仅是把所有人的调查结果进行统计，列出前三，这个调查还挺平庸的。最有趣的是，在调查最后，他们把职场新人（ 0-3年）和职场老人（3年以上）的选择做了一个对比，就出现了两个绝然迥异的结果。如下图所示： 左边白色部分是职场新人，在他们的选择里站前三名的分别是： 第一名 : 专业知识与技能，第二名：拥有核心硬技能，第三名：认可行业与职位；右边黑色部分是职场前辈的，前三名的选择分别为： 第一名：积极的职业态度，第二名：专业的知识和技能，第三名：良好的职业习惯。 由这个结果我们可见，职场新人把自己职业的成功归功于自己拥有强大的知识，技能和能力储备，以及是否能够进入好的定位【认可的行业与职位】。而职场过来人则认为，除了知识和技能之外，那些进入职业后你学到的东西【职业的积极态度】和【良好的职业习惯】，才是职业发展的关键。而【准确的职业定位】或者【认可的行业和职业】在他们看来都都不是重点。 如果你现在是个职场萌新

文/螳螂财经（ID：TanglangFin） 作者/易不二 任何一个在网上冲浪的选手，都离不开搜索引擎的使用。 CNNIC发布的中国互联网络发展状况统计报告显示，截至2020年6月，中国搜索引擎用户规模已达7.66亿人，呈稳定增长态势，用户使用率维持在80%左右。 如此众多的搜索用户，也造就了千亿元的市场规模，CTR检测数据预计，到2024年搜索引擎市场规模将接近2000亿元。 其中，在搜索引擎行业全端品牌总覆盖人群排名和整体满意度上，搜狗都稳居前三甲。 作为搜狗的核心广告代理商，在搜狗强大的后盾之下，宝盛集团在2018年就成为了中国独立在线广告服务提供商中总收入排名第五的品牌。 借助短视频东风，自18年开始先后成为快手和抖音的授权代理商。 如今，在快手计划港股上市之后，宝盛集团拟在纳斯达克上市，成为中国短视频营销解决方案供应商赴美第一股。 宝盛集团赴美IPO背后，预示的是短视频营销又将迎来新一轮的发展。 新消费时代，营销能力就是品牌核心竞争力 人们对待一件事的看法，必然会随着环境的变化而改变，而且，这种改变可能还会来得特别快。 在80后90后的时代，外国的月亮会不会比较圆我们不知道，但是外国的产品“更香”，却是这代人共有的认知。但到了95后00后这一代，国潮之风席卷而来，无数新国货品牌如雨后春笋层层崛起，成为Z世代的眼中宝心中爱。 不可否认

1.24小时工地实时监控，有效解决工地人员管理及治安管理，威慑并遏制斗殴、盗窃等影响社会稳定的因素发生。 2.防范外来人员的翻墙入侵，非法入侵危险区及仓库等重要场所，保证工地的财产和人身安全。 3.监管建筑工地现场的建筑材料和建筑设备的财产安全，避免物品的丢失或失窃给企业造成损失。 4.通过视频监控系统及时了解工地现场施工实时情况，施工动态和进度，防范措施是否到位，特别是对于比较大的工地、重点项目企业领导也需要远程监管。 江苏乐筑网络科技有限公司成立于2015年，立足于建筑行业每个业务场景难点，利用云计算、大数据、物联网、AI等信息技术，打造建筑行业数字化生产管理的综合服务平台，实现人员规范化、机械标准化、管理数字化、推广智能化，用数字化生产管理助力建筑行业提质增效降本减成。 乐筑科技加强建筑行业集聚力度，抢占产业生态新高地，促进数字技术与传统建筑企业的融合发展，构建、完善建筑行业大数据生态产业链，通过大数据增强传统建筑行业企业竞争力，打造经济发展新引擎，促进数据要素与建筑行业生产要素的融合利用和动力转换。 智慧工地 ： http://www.lezhu.shop/ 来源： oschina 链接： https://my.oschina.net/u/4825896/blog/4946798

在PC互联网时代，网民的年增长率达到50%，随便建个网站就能得到大量流量;在移动互联网早期，APP也经历了一波流量红利，获取一个客户的成本不到1元;而近几年随着流量增长的红利消退，竞争越来越激烈，每个领域均有成百上千的同行竞争，获客成本也飙升到难以承受的水平，业务增长越来越慢甚至倒退。 在如此高成本、高竞争的环境下，如果企业内部不能利用数据分析做好精细化运营，将产生巨大的资源浪费，势必会让企业的运营成本高涨，缺乏竞争力。 对于互联网平台来说，传统的数据分析主要针对结果类的数据进行分析，而缺乏对产生结果的用户行为过程的分析，因此数据分析的价值相对较局限，这也是为什么近几年很多企业感觉做了充分的数据分析，但却没有太大效果的原因。 上一代的用户行为分析(更确切的说法应该是：网站统计或APP统计)工具，主要功能还是局限于浏览行为的分析，而没有针对用户的深度交互行为进行分析，因此分析价值相对有限，目前大部分互联网从业人员对用户行为分析的印象还停留在这个阶段。 很多人还不理解用户行为与业务增长究竟有什么因果关系，即使购买了用户行为分析系统，也只关注常规的pv、uv，不了解用户行为分析的价值，同时也低估了用户行为分析的难度，最终促使系统处于闲置状态。 那如何破解这个困局呢？让我们从了解用户行为分析开始。 什么是用户行为分析？ 用户行为分析就是通过对这些数据进行统计、分析

最近，某某品牌运营的小伙伴最近跟我吐槽，领导要他制作那种在新闻报道和商业杂志上用作分析展示商业现象的地图，还要结合数据进行绘制，他都要都愁翻天了！其实，这样的利用地图来反映和分析数据的形式叫数据地图，在商业数据分析中，有大量数据是与地理位置相关的，这种数据用地图进行分析更直观形象。在数据可视化中，地图可视化是较为常见的一种图形，只要用到一些高阶的数据处理工具，轻轻松松就能简单完成。 下面我就以Smartbi为例子给大家介绍一下数据地图的操作方法，Smartbi的Echarts图形做为数据展现的一种更灵活直观的方式，它基于用户对数据更易于理解、对决策更具科学依据的需求，对不同业务背景下的数据进行处理，可以实现对数据多角度多层次的分析，接下来我就手把手教大家怎么做吧！ 前提要求 创建地图分析前，首先要求创建好HTML5地图文件（*.svg格式），创建地图文件请参考 HTML5地图编辑器操作手册。按照在smartbi中使用svg地图文件文档说明，将创建好的svg地图文件加载到smartbi中并配置地图区域。如下： 创建地图分析前需要保证三个地方的地图编码一致：地图svg文件里面区域图层ID、地图区域设置中的对应区域的地图编码、地图分析对应查询的编码数据。 1、地图SVG文件里面区域图层ID。 2、地图区域设置中的对应区域的地图编码。 3、地图分析对应查询的编码数据。 功能入口

作者徐蓓，腾讯云容器专家工程师，10年研发经验，7年云计算领域经验。负责腾讯云 TKE 大数据云原生、离在线混部、Serverless 架构与研发。 背景 大数据发展至今，按照 Google 2003年发布的《The Google File System》第一篇论文算起，已走过17个年头。可惜的是 Google 当时并没有开源其技术，“仅仅”是发表了三篇技术论文。所以回头看，只能算是揭开了大数据时代的帷幕。随着 Hadoop 的诞生，大数据进入了高速发展的时代，大数据的红利及商业价值也不断被释放。现今大数据存储和处理需求越来越多样化，在后 Hadoop 时代，如何构建一个统一的数据湖存储，并在其上进行多种形式的数据分析，成了企业构建大数据生态的一个重要方向。怎样快速、一致、原子性地在数据湖存储上构建起 Data Pipeline，成了亟待解决的问题。并且伴随云原生时代到来，云原生天生具有的自动化部署和交付能力也正催化这一过程。本文就主要介绍如何利用 Iceberg [1] 与 Kubernetes 打造新一代云原生数据湖。 何为 Iceberg Apache Iceberg is an open table format for huge analytic datasets. Iceberg adds tables to Presto and Spark that use a