大数据

wait 加锁示例 public class WaitDemo { private static Object locker = new Object(); public static void main (String[] args) throws InterruptedException { WaitDemo waitDemo = new WaitDemo(); // 启动新线程，防止主线程被休眠 new Thread(() -> { try { waitDemo.doWait(); } catch (InterruptedException e) { e.printStackTrace(); } }).start(); Thread.sleep( 200 ); // 此行本身没有意义，是为了确保 wait() 先执行再执行 notify() waitDemo.doNotify(); } /** * 执行 wait() */ private void doWait () throws InterruptedException { synchronized (locker) { System.out.println( "wait start." ); locker.wait(); System.out.println( "wait end." ); } } /** * 执行

摘要：Oracle兼容性是业务客户从Oracle生态迁移到PolarDB生态的第一步也是至关重要的一步，PolarDB通过不断沉淀支持大量实际业务的真实Oracle兼容性功能，确保客户业务可以真正做到平滑迁移。同时PolarDB带给Oracle生态客户的不仅仅是上的来的问题，PolarDB在成本、性能、可用性、扩展性等云能力方面也给用户带来更高的业务价值。在DTCC 2020大会分布式数据库实践专场上，阿里巴巴高级数据库专家赵殿奎为大家介绍阿里巴巴电PolarDB的Oracle平滑迁移之路。 演讲嘉宾简介：赵殿奎，阿里巴巴高级数据库专家，从事OLTP数据库和OLAP数据库产品的研发工作10余年，现为阿里云PolarDB数据库内核北京研发负责人。 以下内容根据演讲视频以及PPT整理而成。 本次分享主要围绕以下四个方面： 一、PolarDB架构 二、PolarDB兼容性 三、PolarDB增强 四、PolarDB迁移 一、PolarDB架构 PolarDB架构组件 —— CM PolarDB架构是基于共享存储的架构，下图是PolarDB整体架构视图，其中CM主要负责的工作包括整个Polar集群的管理，Top管理，高层管理、备份管理及审计管理。CM是一个管控链路的核心组件，这意味着CM组件本身对于PolarDB的整个数据的可用性没有任何影响，PolarDB的可用性完全独立于整个数据链路

智慧工地 是一种新的施工管理方式，依托5G通信、云计算、移动互联网、物联网等技术，通过智能硬件终端的部署，实现工地信息化、智能化管理，帮助广大建筑企业有效降低施工成本，全面提高建筑施工企业的管理能力。 江苏乐筑网络科技有限公司致力于依托互联网、物联网、大数据、人工智能技术打造规范化、 精细化、智能化的乐工地管理系统，专注于为用户提供最具实用价值的“智慧工地整体解决方案”。下面就和小编了解一下智慧工地应用的相关模块和情况吧 ！ 乐筑智屏系统 利用施工现场软硬件设备采集的数据， 能够直观的显示工地现场的实时信息，并能实现 “一个屏幕、统一管控”的智慧项目使用效果，可以算是项目的“智慧大脑”。 人员管理 1. 人脸识别 通过 乐筑守护者系统 进行对接，实现信息自动读取，可以对施工现场劳务人员的 工作 时间、考勤情况进行自动化管理。 2.人员定位 通过 乐筑智能安全帽 ，可对不同区域现场人员的分布情况进行实时定位和统计，实现对现场人员动态管理。 安全管理 安全管理解决方案，是从危险源辨识开始到危险源消失或控制结束，从方案设计到施工完成的全过程管理，通过本质安全、过程安全、监测安全，保障安全目标的最终落地。 乐筑安全管理解决方案可以有效 加强施工过程监管,，消除工程施工过程中存在的安全隐患，确保施工安全 ， 同时对 人员 、 机械 安全 进行 实时监控管理， 提供 危险预警

最近在整理区块链方面的东西，刚看完一份中国通信学会的报告《区块链技术前沿报告2020》，发现里面的东西写得还是挺全的，所以这里对这份报告的内容做一个梳理。至于原报告，需要的小伙伴儿可以去我的公众号私信我，我把下载链接发给你们！ 区块链 在面向货币的区块链应用场景中，数字货币三强格局初具雏形。 Facebook主导的Libra 中国人民银行牵头的数字货币电子支付DC/EP 瑞典、法国等欧洲各国央行推动的CBDC 区块链和机器学习结合的实例： 美国能源部DOE资助佛罗里达国际集成区块链和机器学习技术研发新型平台，用于化石燃料发电网络中安全数据记录和处理。 在区块链标准和体系建设方面： 国际化标准组织ISO于2016年设立了 TC307技术委员会 ，开始定义区块链参考架构、分类和本体。截止目前为止， 公开发布了一个区块链领域标准，另有10个标准正在制定中 。 电气电子工程师学会IEEE作为在160多个国家拥有42万多名会员的全球最大的专业组织，于2018年启动了IEEE区块链计划和设立了IEEE消费电子协会区块链标准委员会。截止目前为止，在区块链领域， IEEE共公开发布了3个正式标准，1个标准草案，另有52个标准正在制定中 。 美国国土安全部DHS正在探索在海关与边境保护等业内实施区块链的最佳实践以及全球可用的规范 认证标准委员会X9区块链研究小组正在开发美国区块链技术的通用语言

来源：科技日报、中国电子报（转载请注明来源） 编辑：蒲蒲 1月5日，中国工程院信息与电子工程学部、中国信息与电子工程科技发展战略研究中心发布“中国电子信息工程科技发展十四大趋势（2021）”，分析了我国在 移动信息网络、信息安全技术、智能化发展 等领域的发展趋势。 据悉，这14个发展趋势主要存在于以下领域：信息化、计算机系统与软件、网络与通信、计算机应用、网络安全、集成电路、数据、感知、电磁场与电磁环境效应、控制、认知、测试计量与仪器、区块链、光学工程。 “随着社会信息化发展，算力成为人类生产力和国家竞争力的重要基础。”中国工程院院士余少华介绍，在计算机系统与软件领域中，超级计算系统正成为世界各国竞相发展的下一个目标。超级计算正从科学工程计算向大数据处理和人工智能等新兴计算领域快速拓展。同时，以量子计算、类脑计算等为代表的一批新概念计算模式，正受到全球业界的广泛关注。 余少华指出，该报告要回答的关键问题包括：指出我国与国际相比，在技术、产业方面存在的优势、劣势及所处位置，特别是在关键或核心领域；判断提出技术发展基本趋势、亮点与热点；分析产业情况及基本竞争格局；归纳技术、产业发展环境（政策、竞争格局、资源等）方面存在的主要问题，有针对性地提出建议。 1 信息化 以数字化、网络化、智能化为特征的信息化浪潮方兴未艾，信息技术日新月异，全面融入社会生产生活。信息技术与各行业不断深度融合

公众号：数据海洋 作者：数据海洋 “一个公司数据指标体系好坏，直接决定数据应用的好坏！” 先请各位看官一起思考下面这些问题： · 什么是数据指标？ · 数据指标价值是什么？ · 数据指标谁来运营？ · 谁在用数据指标？ · 好数据指标的特征有哪些？ 先思考这几个问题。 01 什么是数据指标 数据指标是企业运营过程中，对已记录历史信息进行处理，转化成为数字。根据特定商业目的：对相关数字按一定的业务逻辑，使用一定的技术手段进行加工处理后， 成为描述、衡量、分析、预测业务结果的工具。 这个定义是我自己的理解和经验总结。 1、数据指标核心是服务商业的。 例如：让你很清楚公司的经营状况。通过本月累计销额指标你可以知道你的业务进度是否达到目标；通过销售额占比数据指标的分析你可以很清楚知道与同行比你处于什么水平。 2、数据指标的统计是有逻辑的。 你为什么要设计这个指标，用来衡量什么，通过这个指标的变化你可以反映出业务背后有什么变化。例如：客单价，衡量的是用户购买情况；客单价变化可以反映用户在你这购买意愿的变化。 3、数据指标需要使用一定的技术手段。 其实整个数据指标是作为大数据平台处理数据的指导。我们说ETL的开发，数据计算能力、存储的要求，就是围绕指标与对指标拆分、关联的维度来决策的。 02 数据指标价值 数据指标的价值，核心一点是： 数据指标是服务商业的。 通过使用数据指标，对数据进行分析

在容器化的应用场景中，大数据计算是其中很大并且业务应用在逐渐增加的一个热门领域，包括越来越多的人工智能企业，都在使用容器技术来支持业务中的大量计算任务。降低成本、提升资源利用率也是当前这部分用户非常期待而又迫切的需求。 那么，容器的 Serverless 化的出现，可以很大程度上帮助大数据计算需求的用户迅速解决这些问题。为此， 腾讯云推出了弹性容器 EKS 的解决方案，甚至可以达成离线计算业务的成本降低 65%。 腾讯云弹性容器服务 EKS（Elastic Kubernetes Service），自 2019 年上线以来已为上百家企业提供 Serverless 容器应用托管服务。 EKS 具备以下优势特性： 无服务器，运维简单，只需专注于应用本身 秒级扩容，1 分钟可扩容数千容器 显著提升容器资源利用率，在线容器 > 50%，离线容器 > 90% 基于容器真实运行的时间和运行时期申请的算力【按量计费】，降低资源使用成本 EKS 致力于为企业提供高性价比的 Kubernetes 服务，为了更好的降低客户成本压力，EKS 在原有的按量计费实例上， 推出「竞价实例」，成本只需要按量付费实例的 10%～20% ，便可以做到大幅度降低用户的资源成本。 新的计费方式：竞价实例，成本只要原先的 2 折！ 什么是竞价实例？ 竞价实例来自公有云资源中某段时间内的空闲资源 ，其「使用」和按量计费的

作者：CircleBlog 链接：https://my.oschina.net/circleblog/blog/715711 1. 通过free命令看Linux内存 total：总内存大小。 used：已经使用的内存大小（这里面包含cached和buffers和shared部分）。 free：空闲的内存大小。 shared：进程间共享内存（一般不会用，可以忽略）。 buffers：内存中写完的东西缓存起来，这样快速响应请求，后面数据再定期刷到磁盘上。 cached：内存中读完缓存起来内容占的大小（这部分是为了下次查询时快速返回）。 -/+ buffers/cache看做两部分： -buffers/cache：正在使用的内存大小（注意不是used部分，因为buffers和cached并不是正在使用的，组织和人民需要是它们是可以释放的），其值=used-buffers-cached。 +buffers/cache：可用的内存大小（同理也不是free表示的部分），其值=free+buffers+cached。 Swap：硬盘上交换分区的使用大小。 设计的目的就是当上面提到的+buffers/cache表示的可用内存都已使用完，新的读写请求过来后，会把内存中的部分数据写入磁盘，从而把磁盘的部分空间当做虚拟内存来使用。 2. Buffer和Cache介绍 Cache（缓存）

我的第一本书终于出版了，书名叫做 《ECharts数据可视化：入门、实战与进阶》 ，目前在当当、京东已经上架，可购买学习！ 什么是ECharts ECharts，为Enterprise Charts的缩写，是一种商业级数据图表。作为百度的一个开源数据可视化工具，之后全球著名开源社区Apache基金会宣布“百度开源的ECharts项目全票通过进入Apache孵化器”，ECharts目前广泛应用于PC端和移动端的大部分浏览器上。自问世以来，ECharts一直帮助大量开发者快速实现可视化需求。 写作原因 当我在2018年下旬在平安金融壹账通实习时，因为需要制作产品演示需要，接触到ECharts制作可视化，在这个产品制作中，渐渐发现ECharts的魅力，在一边查阅ECharts官方文档一边制作产品实践过程中，发现ECharts官网的教程较少，并不全面，如果需要深入学习，需要去查阅各种配置项文档，或从官方案例和用户上传的可视化案例中琢磨学习，但对于很多没怎么接触过数据可视化制作和学习过前端知识，例如HTML、CSS、JS的初学者，通过官方文档直接学习会存在一定困难，就怕自学过程中磨灭了那些学习热情。所以为了给有兴趣学习数据可视化的大家提供一个从零开始入门、进阶、实战的学习路径，这本书就开始写作了。 写作过程 2019年6月经我的好友“Python爱好者社区”微信公众号创始人梁勇（勇哥）推荐

人工智能技术是将定义我们这个时代的转型技术， 但是要将AI技术成功落地应用，充满挑战性 为了帮助大家从入门到 放弃 （不是） 从理论到实际运用 混元形意太极 （也不是） 深度学习图像分类模型 华为云特别推出 华为云“云上先锋”·AI主题赛 从教学直播到实操应用 华为云AI大神助你 “从0到1，一赛通关，图像分类和识别” 现在报名，啪的一下，很快啊~ 你就能从0基础进阶深度学习框架的应用和使用的流程 年轻人，如果你是有备而来，有一定的开发基础 那尽情刷榜挑战吧，偷袭Baseline， 累积10w+的礼品等你来拿~ 赛事·赛程表 华为云“云上先锋”·AI主题赛 基于TensorFlow深度学习框架考核图像分类任务在实际生活中的运用能力 通过学、练、赛，可以对主流图像分类模型ResNet50模型有一个深度认识， 帮助大家分分钟提升未来在图像识别领域的迁移应用 目前新手赛+学习赛已经上线，课程内容已经更新完成。 点击下方报名还可参与华为云大神的直播分享 还没报名的请耗子尾汁 好好反思，赶紧报名！！！ 课程·报名 华为云“云上先锋”·AI主题赛已经开赛 识别下方二维码或点击文末 阅读原文 马上报名 课程·奖品 刚才有个朋友问我，华老师，发生肾么事了？ 我说怎么回事，给我发了几张截图， 我一看，嗷，原来是 报名华为云AI云上先锋赛， 可以领取华为手表和千元大额京东卡！！！