大数据

》 》》 Python入门基础知识 《《 《 干货"python基础之变量" 干货"python基础之数字" 干货"python基础之列表" 干货"python基础之字典" 干货"python基础之元组与集合" Python中的条件测试 如何遍历python中的元素 Python中如何进行循环 函数这件小事儿 Python基础之“类” 进学习交流群 添加微信： zpsp95 备注： 学习交流+ 昵称 往期推荐 ► 大数据(生于2006，卒于2019)已死！ ► 一场价值百万的谈话:请停止学习框架 ► 终于有人把云计算、大数据和人工智能讲明白了！ ► 这篇文章有点杂乱，但是看完秒懂大数据用户画像！ 你点的每个 在看 我都认真当成了喜欢 本文分享自微信公众号 - 数据指南（BigDataDT）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my.oschina.net/u/3711840/blog/4457588

使用ElasticSearch作为大数据平台的实时OLAP框架 – lxw的大数据田地 http://lxw1234.com/archives/2015/12/588.htm 一直想找一个用于大数据平台实时OLAP（甚至是实时计算）的框架，之前调研的Druid（druid.io）太过复杂，整个Druid由5、6个服务组成，而且加载数据也不太方便，性能一般，亦或是我还不太会用它。后来发现使用ElasticSearch就可以满足海量数据实时OLAP的需求。 ElasticSearch相信大家都很熟悉了，它在搜索领域已经有了举足轻重的地位，而且也支持越来越多的聚合统计功能，还和YARN、Hadoop、Hive、Spark、Pig、Flume等大数据框架兼容的越来越好，比如：可以将ElasticSearch跑在YARN上，还可以在Hive中建立外部表映射到ElasticSearch的Index中，直接在Hive中执行INSERT语句，将数据加载进ElasticSearch。 所谓OLAP，其实就是从事实表中统计任意组合维度的指标，也就是过滤、分组、聚合，其中，聚合除了一般的SUM、COUNT、AVG、MAX、MIN等，还有一个重要的COUNT(DISTINCT)，看上去这些操作在SQL中是非常简单的统计，但在海量数据、低延迟的要求下，并不是那么容易做的。

我的施工之路 1 我的施工计划 2 数字专题 3 字符串专题 4 列表专题 5 流程控制专题 6 编程风格专题 7 函数使用 8 面向对象编程(上篇) 9 面向对象编程(下篇) 10 十大数据结构 11 包和模块使用总结 12 Python正则专题总结 13 设计模式 14 Python时间模块总结 15 Python 装饰器 16 Python 迭代器 17 Python 生成器 Python 绘图入门 这是施工系列第18篇，同时也进入到一个新的阶段：Python绘图篇。作为绘图模块的第一篇，与大家一起过过最基本的Python绘图原理。 掌握基本的绘图原理很有必要，各个常用绘图库的原理基本都是相通的。所以了解它们后，使用库里的API函数将会更加得心应手，并且熟练其中一个库后，便能迅速上手其他的绘图库。 1 绘图组成要素 一般绘图要素的基本组成部分包括：画布(Canvas)，坐标系(Axes)，轴(Axis)，标题(Title)，标签(Label)，刻度(Tick)，图例(Legend)，网格(Grid)，数据域(Data)，如下图所示： 2 画布 画布 Canvas 是绘制图像的地方，一个画布可以包括多个坐标系，如下图所示，一个Canvas上包括2个坐标系(Axes)： 对应在实际绘图中，如下所示，画布上共包括3个坐标系，每个坐标系分别绘制了柱状图、折线图、饼图，布局样式如下：

腾讯课堂 | Python网络爬虫与文本分析 我的施工之路 1 我的施工计划 2 数字专题 3 字符串专题 4 列表专题 5 流程控制专题 6 编程风格专题 7 函数使用 8 面向对象编程(上篇) 9 面向对象编程(下篇) 10 十大数据结构 11 包和模块使用总结 12 Python正则专题总结 13 设计模式 14 Python时间模块总结 15 Python 装饰器 16 Python 迭代器 17 Python 生成器 Python 绘图入门 这是施工系列第18篇，同时也进入到一个新的阶段：Python绘图篇。作为绘图模块的第一篇，与大家一起过过最基本的Python绘图原理。 掌握基本的绘图原理很有必要，各个常用绘图库的原理基本都是相通的。所以了解它们后，使用库里的API函数将会更加得心应手，并且熟练其中一个库后，便能迅速上手其他的绘图库。 1 绘图组成要素 一般绘图要素的基本组成部分包括：画布(Canvas)，坐标系(Axes)，轴(Axis)，标题(Title)，标签(Label)，刻度(Tick)，图例(Legend)，网格(Grid)，数据域(Data)，如下图所示： 2 画布 画布 Canvas 是绘制图像的地方，一个画布可以包括多个坐标系，如下图所示，一个Canvas上包括2个坐标系(Axes)： 对应在实际绘图中，如下所示，画布上共包括3个坐标系

DNS协议工作原理不再赘述~~~ 知名的***检测三大模型：Kill Chain 杀生链、Diamond Model 钻石模型、MITRE ATT&CK ​​​​，其中Kill Chain杀伤链模型可以拆分恶意软件的每个***阶段，从而实现识别和阻止功能，***阶段分为7个，侦查、武器化、部署阶段、***阶段、后门植入阶段、远程控制阶段、后***阶段，其中利用DNS相关的有三个阶段： 武器化阶段：准备0-day***payload，并利用DGA生成DNS域名支撑后续***； ***阶段：引导被***者下载并执行Payload(下载Payload可能和域名URL相关）； 远程控制阶段：建立C&C通道，获得指令、开始***（建立心跳、C&C通道和域名相关）； 其中DGA算法是应用比较广泛的，其目的就是利用DGA算法生成域名，通过在被控端同样的计算，产生大量的域名，混淆视听，链接云端的控制端，进行命令控制或数据传输，那如何检测DGA域名呢？目前常见的方式有两种： 1、威胁情报检测 利用大数据威胁情报检测是近几年兴起的技术，其在威胁检测与安全运营占有越来越重的戏份，其检测的精准度完全取决于威胁情报的质量，而威胁情报的质量取决于数据，所以像国际大厂火眼、思科等公司，还有国内的360、阿里、腾讯等，尤其是专注于安全的360，均在这方面占有优势。 2、机器学习算法检测

转自： 环球时报、新浪科技 全球最大的成人网站 Pornhub 一直存在上传非法或严重违反道德的视频内容。近期，各地民众对该网站的反对声达到了前所未有的高潮，甚至令其有关门的风险。 最近《纽约时报》的一篇评论文章再次批评 Pornhub 仍含有大量强暴、偷拍、种族主义、虐待等内容的视频。 文章刊登后不久，支付渠道服务商万事达和 Visa 宣布暂停为 Pornhub 提供服务。 面对这一指控，Pornhub 宣布将做出重大改变： 禁止未验证用户上传视频，不再允许普通用户下载它的大部分视频，将实现新的内容管理政策，推出 Trusted Flagger Program，将在 2021 年发布透明度报告。 数据显示，已有 216 万网民参与了“关闭 Pornhub”的请愿活动。 但舆论认为，该网站所涉及的问题可能是“结构性、难以改变”的，唯一能根治之法就是将其彻底关闭。 Pornhub 于 2007 年在加拿大成立，曾以向用户提供免费观看色情视频、供用户上传色情视频而获得巨大流量，甚至一度登上全球网站流量排行的前列。 点赞和在看就是最大的支持❤️ — 【 THE END 】— 本公众号全部博文已整理成一个目录，请在公众号里回复「 m 」获取！ 广州蛋壳公寓18层租客跳楼身亡，室友：他刚毕业没工作，房东就赶我们走！微众银行紧急公告... 发生甚莫事了？我的程序为啥又报错了！ 不发项目奖金

2021 01/13 ☲☲☲☲☲ 基 因 日 签 依赖合成的链退火模型 from Genes X（中文版） 公众号 国家基因库大数据平台 NO .壹. 关键概念 依赖合成的链退火（SDSA）模型与有丝分裂重组相关，因为当双链断裂却没有发生交换时，它是基因转换的产物。 往期日签可点击【阅读原文】获取。 文字及图片信息均来源于Genes X（中文版），如有侵权请联系删除。 THE END See ☲☲☲☲☲ Y O U ! 每日一签 碎片化学习基因基础知识 更多科研资讯，请关注【国家基因库大数据平台】 ▼ 本文分享自微信公众号 - 国家基因库大数据平台（close_3080908629）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my.oschina.net/u/4594634/blog/4897178

目录： 前言 开发板简介 产品特色及功能 产品参数 各个主板功能简介 Hi3516DV300 芯片手册 前言 鸿蒙2.0的系统刚开源出来，华为志在打造1+8+N万物互联的全场景智慧生活，不仅是国产操作系统之梦，一次开发多设备部署也戳中开发者的痛点。这次开源的主要是基于嵌入式实时场景的微内核版本，用于手机端的宏内核版本预计要到明年。 最近申请到了一块 HarmonyOS HiSpark AI Camera 开发板，我们来体验一下AI应用的开发。 开发板简介 Hi3516DV300作为新一代行业专用Smart HD IP摄像机SOC，集成新一代ISP、业界最新的H.265视频压缩编码器，同时集成高性能NNIE引擎，使得Hi3516DV300在低码率、高画质、智能处理和分析、低功耗等方面引领行业水平。 产品特色及功能 主芯片Hi3516DV300 为海思Smart HD IP Camera SoC：双核Cortex-A7 @900MHz 处理器；集成新一代 ISP、业界最新的 H.265 视频压缩编码器，同 时集成高性能NNIE 引擎，1.0TOPS。 支持Linux OS、Lite OS、鸿蒙OS 多操作系统 一组DDRC，支持32bit/1GB 处理空间，最大数据速率1.8Gbps eMMC4.5，支持4bit/8GB 存储空间 外部扩展SD 存储接口，最大支持2TB SDXC 卡

对于许多初入程序员行业的新手来说，编程语言是第一个需要克服的困难，其中C语言是一门较为容易入门和学习的语言；C语言是继汇编语言以来面向过程编程的高级语言，其能高效的处理好与计算机硬件（汇编语言）接口的关系，让计算机控制者能更好的与计算机交流。 首先，学习C语言应有计算机程序运作思想。就个人而言，学习C语言的开始过程是比较模糊的，心中没有程序思想，更不知道程序在计算上的运作过程，所以在开始学习C语言之前建议先了解学习一下数字电路的相关知识，要是有时间和兴趣的话最好也了解一下汇编语言，因为汇编语言是计算机硬件的接口语言，学习汇编后可以更好的了解程序在计算机上的运作过程。 其次，学习C语言应有一个合理的知识点顺序。有些C语言书籍一上手就开始高谈轮廓函数，让新手学习的时候感觉心有余而力不足，最后就错误的认为C语言苦涩难懂放弃了C语言的学习。其实，只要把握好C语言知识点的学习顺序，C语言学习起来是非常容易上手的。以我自己给学弟们两年的C语言培训经验来说，C语言的知识点学习顺序应是这样的： 一、 程序设计基本概念：计算机硬件结构介绍，数字电路基础知识，程序和程序设计的概念，编程语言的介绍，结构化程序设计和模块化程序设计的概念。 二、 C 语言设计的初步知识：标识符，常量和变量，符号常量，C语言的数据结构，算数表达式，赋值表达式，自加和自减 三、 C 语言顺序结构：赋值语句，数据的输入输出

AI：互联网程序设计竞赛之蓝桥杯大赛的简介、奖项设置、大赛内容以及蓝桥杯与ACM(ICPC)的四个维度对比之详细攻略 导读 ： 蓝桥杯属于互联网程序设计竞赛的一种，除了它之外，类似的比赛还有ICPC(ACM国际大学生程序设计竞赛)、CCPC(中国大学生程序设计竞赛)等等。其实，从考题难度来说，蓝桥杯比ACM低一点，但是，最近几年，随着影响力的变大，难度也一直在提高。在国内，名气是比较响的，毕竟 蓝桥杯有着工信部的背景 。 近些年，蓝桥杯的主题越来越跟进时代，所以，越来越多的内容涉及人工智能和大数据专业知识。蓝桥杯在国内学校中，大部分都是公费支持学生参加的，更重要的是，个人一旦获奖， 对保研和奖学金评选非常有用 。因为蓝桥杯主要是以就业为导向的，所以，该竞赛的软件知识点涉及到Java、C/C++、Python等编程语言(适合擅长数据结构和算法专业的学生)；硬件知识点涉及到单片机、物联网设计、EDA设计等(适合擅长硬件专业的学生)。从往年经验来看，至少要掌握好基本的数据结构和算法，因为省赛国赛题目难度梯度都很大，小题简单但分值低，大题难分值极高，所以，蓝桥杯竞赛同时兼顾了广大普通学生和有算法功底的学生。 有网友经常私信博主： 蓝桥杯和ICPC到底应该选择哪个？ 此处，请允许博主来个凡尔赛文：小孩子才做选择，而我，全都要。原因很简单，博主认为蓝桥杯和ICPC本质上都属于算法竞赛