计算机的发展

Hadoop(一)之初识大数据与Hadoop

旧巷老猫 提交于 2019-12-03 14:31:40
前言   从今天起,我将一步一步的分享大数据相关的知识,其实很多程序员感觉大数据很难学,其实并不是你想象的这样,只要自己想学,还有什么难得呢?   学习Hadoop有一个8020原则,80%都是在不断的配置配置搭建集群,只有20%写程序! 一、引言(大数据时代) 1.1、从数据中得到信息   我们看一张图片:        我们知道这个图片上的人叫张小妹,年龄20岁,职业模特。但是如果只有数据没有图片的话,就没有意义的数据了。所以数据一定是在特定的环境下才有意义的。   我们再来看一张图片:        从这张图片分析出:从纵向分析,范范和张帆的购买东西十分的相似,所以如果要推荐东西给张帆的话,我们就可以选择小米手环。           从横向分析,无效鼠标,linux编程思想,皮鞋和小米手环都卖的比较火,其他几样销量少,所以我们推荐就可以把这几样放上去。 1.2、大数据表象概念   大家理解什么是大数据吗,那大数据到底有多大!我们就以百度的数据来分析一下:        首先:1PB=1024T   分析:我们就看最小的它每天产生的日志就可以看出来,百度每天要产生100TB~1PB的日志数据。一般我们电脑的硬盘是1T的。那就需要电脑的100个硬盘到1024块硬盘,你想想是多么的恐怖! 回到顶部(go to top) 二、大数据基础 2.1、什么是大数据?  

Hadoop生态圈学习-1(理论基础)

懵懂的女人 提交于 2019-12-03 12:06:35
一.大数据技术产生的背景 1. 计算机和信息技术(尤其是移动互联网)的 迅猛发展和普及 ,行业应用系统的 规模迅速扩大 (用户数量和应用场景,比如facebook、淘宝、微信、银联、12306等),行业应用所产生的数据呈 爆炸式增长 。 2. 动辄达数数百PB甚至EB(1EB=1024PB=1024*1024TB) 规模 的数据已远 超出传统 计算机和信息系统的处理能力。 3. 有效的大数据处理技术、方法和手段已成为 迫切需求 。 Google的三驾马车 为大数据的发展奠定 十分重要的基础 . Google的三驾马车(非常重要):三篇论文---> 思想、原理 1、GFS:google file system ---> HDFS:Hadoop Distributed File System 都是分布式文件系统,用于解决大数据的存储问题。 什么是倒排索引?Reverted Index 倒排索引: 假如要在搜索关键词"大数据",如果只有正向索引 , 那可能需要耗费非常多的时间全表扫描 ,然后关键词为"大数据"的记录 , 数据量庞大的情况下这个过程慢的无法让人发指, 所以有了倒排索引,搜索引擎会将正向索引重新构建为倒排索引,即把文件ID对应到关键词的映射转换为关键词到文件ID的映射,每个关键词都对应着一系列的文件,这些文件中都出现这个关键词。 通俗说: 通过数据,找地址 2

计算机网络-第五章

我只是一个虾纸丫 提交于 2019-12-02 05:36:17
OSI 模型有7 个功能层,从下向上第四层是(D) A. 物理层B. 会话层C. 网络层 D. 传输层 OSI模型有7个功能层,从下到上依次是:物理层、数据链路层、网络层、传输层、会话层、表示层、应用层。 TCP/IP有5个功能层,从下到上依次是:物理层/主机接口层、网络接口层、互联网络层、传输层、应用层。 计算机网络是计算机技术与( C )相结合的产物。 A. 电话B. 线路c. 各种协议D . 通信技术 OSI 参考模型中网络层的功能主要是由网络设备(D)来实现的。 A. 网关B . 网卡C. 网桥D. 路由器 网络层是OSI参考模型中的第三层, 它建立在数据链路层所提供的两个相邻端点之间的数据帧的传送功能之上,将数据从源端经过若干中间 节点传送到目的端,从而向运输层提供最基本的端到端的数据传送服务。 网络层是处理端到端数据传输 的最低层,体现了网络应用环境中资源子网访问通信子网的方式。 概括起来分为以下四种方式: 路由选择 将分组从源端机器经选定的路由送到目的端机器。 拥塞控制 当到达通信子网中某一部分的分组数高于一定的水平,使得该部分网络来不及处理这些分组时,就会使这部分以至整个网络的性能下降。 流量控制 用来保证发送端不会以高于接收者能承受的速率传输数据,一般涉及到接收者向发送者发送反馈。 差错控制 要求每帧传送后接收方向发送方提供是否已正确接收的反馈信息

操作系统发展 和 并发

徘徊边缘 提交于 2019-12-01 20:06:52
目录 一、 操作系统发展 1. 手工操作——穿孔卡片 2.批处理——磁带存储 2.1联机批处理系统 2.2 脱机批处理系统 3. 多道程序系统 3.1 多道程序设计技术 3.2 单道的程序运行 3.3 多道的程序运行 3.4 小结: 3.5 多道批处理系统 4. 分时系统 5. 实时系统 6. 通用操作系统 7. 操作系统的进一步发展 7.1 个人计算机操作系统 7.2 网络操作系统 7.3 分布式操作系统 二、进程基础 1. 必备理论基础 2. 什么是进程 3. 进程与程序的区别 三、进程的调度 1.先来先服务调度算法(FCFS) 2.短作业优先调度算法(SJ/PF) 3. 时间片轮转法(RR) 4. 多级反馈队列 四、进程的并发和并行 五、同步异步阻塞非阻塞 1. 状态介绍 2. 同步和异步 2.1 例子 3. 阻塞和非阻塞 3.1 例子 4. 同步异步 和 阻塞非阻塞 4.1 同步阻塞形式 4.2 异步阻塞形式 4.3 同步非阻塞形式 4.4 异步非阻塞形式 五、进程的创建 1. 4种形式创建新的进程: 2. UNIX和Windows创建进程 六、进程的结束 一、 操作系统发展 1. 手工操作——穿孔卡片 处理机与输入输出设备分别直接连接 。因输入、输出效率最低,导致处理机的利用率最低(资源浪费) 2.批处理——磁带存储 2.1联机批处理系统

Python全栈开发之路 Day-1

半腔热情 提交于 2019-11-30 13:37:41
本节内容 计算机发展介绍 计算机硬件组成 计算机基本原理 计算机 在当今的时代,社会已经进入到第四工业革命时代。在这个时代,计算机是最常见的工具。计算机(computer)又俗称电脑。是现代一种用于高速计算的电子计算机器,可以进行数值计算,又可以进行逻辑计算,还具有存储记忆功能。是能够按照程序运行,自动、高速处理海量数据的现代化智能电子设备。 由硬件系统和软件系统所组成,没有安装任何软件的计算机称为裸机。可分为超级计算机、工业控制计算机、网络计算机、个人计算机、嵌入式计算机五类,较先进的计算机有生物计算机、光子计算机、量子计算机等。计算机发明者约翰·冯·诺依曼。 计算机是20世纪最先进的科学技术发明之一,对人类的生产活动和社会活动产生了极其重要的影响,并以强大的生命力飞速发展。它的应用领域从最初的军事科研应用扩展到社会的各个领域,已形成了规模巨大的计算机产业,带动了全球范围的技术进步,由此引发了深刻的社会变革,计算机已遍及一般学校、企事业单位,进入寻常百姓家,成为信息社会中必不可少的工具。 计算机的应用在中国越来越普遍,改革开放以后,中国计算机用户的数量不断攀升,应用水平不断提高,特别是互联网、通信、多媒体等领域的应用取得了不错的成绩。1996年至2009 年,计算机用户数量从原来的630万增长至6710 万台,联网计算机台数由原来的2.9万台上升至5940万台

初入计科,首次接触C的感受

时光毁灭记忆、已成空白 提交于 2019-11-30 06:20:38
1 你对计算机科学与技术专业了解是怎样? 答:一开始我对这个专业并无了解,觉得无非是把电脑给学透。经过一周的学习后,我深刻地感觉自己对这个专业深深的误解。 通过翻阅书籍,上网浏览相关信息,我认为该专业分为两部分,一是科学理论,二是实践技术。前者是后者的基础。它包含了计算机的各个方面,因此它的发展口径很广,这样也就意味着我们的就业前景很好。但也有弊端,我们学的很广,就意味着我们会学的不精,因此,我们应当确定好自己的方向,当然大一要打好基础。综上,计算机科学与技术是一门博大精深的专业,它教会我们如何更好地去利用计算机这个工具,也使我们能在计算机上研究和发展应用诸多技术,例如信息安全,人工智能等。 2 你了解C语言么?C语言主要应用有哪些? 答:C语言是一门功能强大的语言,通过它编写的程序更易懂,同时它具有高效性,运行速度非常快。我个人的理解是作为一门语言,应该具备简洁,容易理解,能够灵活运用等特点,而C语言则包含了以上几点。它的主要应用是开发操作系统和开发软件等。 3 你希望在这个专业学到哪些内容? 答:我主要想学的是网络安全技术和应用程序设计这两方面,另外还有就是对计算机结构和功能的掌握,这样就能自己解决计算机出现的问题。 4 和学长学姐交流,谈谈你打算如何规划你的大一生活? 答:(1)坚持锻炼,每天下午跑8圈 (2)过四级,每天背30个二级词汇,花30分钟进行听力训练

C博客作业00--我的第一篇博客-

耗尽温柔 提交于 2019-11-28 07:30:26
1.你对网络专业或者计算机专业的了解是怎样? 我认为 ,计算机专业是教导我如何应用计算机语言,与之沟通,使计算机能够明确表达出我的想法的专业。例如,如若我掌握了计算机语言,我可以设计出我符合我心意的软件,或是一些兴趣方面的网页为生活增添更丰富的色彩。据我所知,它需要我拥有较强的 逻辑性 。 查阅资料后 ,我了解到,计算机专业是计算机硬件与软件相结合、面向系统、侧重应用的宽口径专业。市场经济和互联网的发展,以及信息产业的规模化,推动了计算机技术人才市场的发展,加大了对高技术人才的需求。 关于网络专业 网络工程专业 主要讲授 计算机科学基础理论、计算机软硬件系统及应用知识、网络工程的专业知识及应用知识。 两个热方向 网络运维 :网络运维是指为保障电信网络与业务正常、安全、有效运行而采取的生产组织管理活动。简单来说,是维护 网络安全 和 网络通畅 的。 网络安全 :网络安全是指网络系统的硬件、软件及其系统中的数据受到保护,不被破坏、更改、泄露,系统连续可靠正常地运行,网络服务不中断。主要使用" 防火墙 "技术。 来源: https://www.cnblogs.com/yubing----/p/11399173.html

手工编写与借助工具

北城以北 提交于 2019-11-28 00:07:43
8.1 从零开始 首先建立HTML文件,构建最简单的页面框架。其内容包括标题和正文部分,每一个部分又分别处于不同的模块中。 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>体验CSS</title> </head> <body> <h1>互联网发展的起源</h1> <p>1969年,为了保障通信网络,美国国防部高级研究计划署ARPA资助建立了世界上第一个分组交换试验网ARPANET,连接美国四个大学。ARPANET的建成和不断发展标记着计算机网络发展的新纪元</p> <p>20世纪10年代末到80年代初,计算机网络蓬勃发展,各种各样的计算机网络应运而生,如MILNET、USENEY、BITNET、CSNET等, 在网络的数量和规模上都得到了很大的发展。一系列网络的建设,产生了不同网络之间互联的需求,并最终导致了TCP\IP协议的诞生。</p> </body> </html> 这时的页面只有标题和正文内容,而没有加任何效果,在浏览器中的显示效果如图所示,看上去十分的单调,但页面的核心框架已经出现。 单纯的文字显得贫乏,因此加入一幅图片作为简单的插图。图片所在位置与正文一样,使用HTML语言中的<img>标记,此时<body>部分修改后的代码如下。 <!DOCTYPE html> <html

计算机发展程序诞生相关

≡放荡痞女 提交于 2019-11-27 13:58:27
计算的发展 :最起初的时候人们的计算的方式过程大概是:手指计数---石头计数---结绳计数----圆周率--算盘-....---帕斯卡计算机(近代) 八卦图上的八个 条图 ,如果说与二进制有关,不如说与数学有关条图由三行组成,每行可以是一条或二条这就是2*2*2的一个数组是数学的思想。八卦完全可以看成是一个从0到7的 二进制数 字,也就是一个三位的二进制数,而周易中扩展到64卦就是6位了。 织布机是一种有着悠久历史的半机械化布料织造工具。,早在新石器时代人们除了手工编织以外,已经发明了原始的织布机械。 a.老式提花机:老式提花机是中国古代重要发明之一,早在商代时期就有使用。 b.雅卡尔提花机:十九世纪早期的法国里昂是世界闻名的丝织之都。里昂的丝织工人们织出的丝绸锦缎图案绚丽,精美绝伦,被人们视为珍品,然而他们使用的工具却还是老式手工提花机。这种机器需要有人站在上面,费劲地将经线一根一根地提起、放下,就好像演员在操纵牵线木偶一样。可想而知,这种方式的工作强度非常之大、工作效率非常之低。 c.计算机鼻祖:1836年,雅卡尔去世两年之后,计算机科学先驱、著名的英国数学家查尔斯·巴比奇(Charles Babbage,公元1792—1871年)制造了一台木齿铁轮计算机,用来计算很多数学难题。在这台木齿铁轮计算机中,巴比奇利用了雅卡尔穿孔纸带原理进行计算机编程。 d.计算机发展:继巴比奇之后

1.5-操作系统的分类

北战南征 提交于 2019-11-27 10:07:12
  下面我们介绍一下操作系统的分类,各种各样的分类都是存在的,那么我们呢主要是介绍传统的分类。 那么我们要简单提一下,我们教材里提出的这个 Tanenbaum 的这种分类。操作系统是不断在发展的 那么它的发展是由不同的因素来驱动的,这些因素呢我们归纳总结出:   (1)首先是硬件技术的 发展,硬件发展了对操作系统就有新的要求;   (2)还有就是应用需求的发展;   (3) 然后是软件新技术的出现。 所以我们说操作系统的发展是随着计算机硬件技术、 应用需求以及软件新技术的出现而发展的。为什么要不断的进展?那么因为 操作系统要能够充分的利用硬件,能够为用户提供 更好的服务,所以操作系统必须以这个为目标来不断的发展。 从过去到现在, 操作系统实际上是总在不断的往前发展,那么 早期很早的时候是大型计算机,那么有大型计算机操作系统; 后来呢,又有了个人计算机啊,个人计算机呢又从简单到复杂,所以又有 不同的操作系统出现; 当有了网络的 供支持之后,那么我们的操作系统就要支持网络的功能; 后来移动计算出现了,那么操作系统要变得能够支持各种各样的移动 设备上的各种就管理啊,各种管理功能;云计算和我们现在的 泛在计算或者是说物联网时代;一直到今天 非常火的机器人,那么都需要操作系统 进行相应的改改变,然后去支持这些 不同的环境。   那么我们 看一下操作系统的这些分类