关系逻辑

zookeeper

与世无争的帅哥 提交于 2019-11-27 07:25:22
1.1 zookeeper(分布式协作服务) 1) ZooKeeper是什么? ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户。 2) ZooKeeper提供了什么? 1) 文件系统 2) 通知机制 3) Zookeeper文件系统 每个子目录项如 NameService 都被称作为znode,和文件系统一样,我们能够自由的增加、删除znode,在一个znode下增加、删除子znode,唯一的不同在于znode是可以存储数据的。 有四种类型的znode: 1) persistent-持久化目录节点:客户端与zookeeper断开连接后,该节点依旧存在。 2) persistent_ sequential-持久化顺序编号目录节点: 客户端与zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号。 3) ephemeral-临时目录节点 :客户端与zookeeper断开连接后,该节点被删除。 4) ephemeral_ sequential -临时顺序编号目录节点:客户端与zookeeper断开连接后,该节点被删除

是要我向垃圾学习吗

旧街凉风 提交于 2019-11-27 05:08:41
之前把程序给改了,造成程序不能通过编译,然后 领导让我不要乱改,程序那么写肯定是有原因的,照着以前的弄。 我心里那叫一个羊驼,我改的是我自己写的那部分结构,我在编写新功能的逻辑的时候,发现我之前做的那些类之间的关系太复杂了, 后半部分的逻辑很难加进去,然后到他们那就来这么一堆恶心的话, 我就很奇怪了,以前的东西有什么高深的玩艺吗?我要不是缺钱需要一份工作糊口,我来这都待不了一星期, 那都是些什么恶心的东西,随缘缩进?五六层的循环和分支嵌套,我印象8层以上的嵌套都有, 有的地方一堆 if else 数量超过半百,方法和变量基本上都是数字区分,超过500行的方法到处都是,里边夹杂着注释掉的烂代码, 我去改那玩艺?我看都不想看,让我照着这东西弄?我想说你怎么不去吃 Sh 呢? 再说逻辑,我没法描述,我唯一做得就是祈祷,祈祷那些玩艺别出问题就行,我根本指望不上它能给我提供什么建设性的帮助 在我的视角上,有的人什么都不懂,还觉得自己是个专家,那老板一家也是糊涂,也觉得那些人是专家, 我很奇怪,那些人到底做了什么对厂子有价值的事,以至于老板一家这么捧,既然他们那么 N13 为什么不让他们去弄? 我只知道,到目前为止,我所见到的东西,没有哪个能达到让我觉得 “还说得过去” 的程度 来源: https://www.cnblogs.com/shadow-abyss/p/11345765.html

Spark SQL内核剖析—学习(一)

时光总嘲笑我的痴心妄想 提交于 2019-11-27 03:28:29
本文参考了《Spark SQL内核剖析》(朱峰、张韶全、黄明等著)的目录结构和内容,这本书主要集中在对SQL内核实现的剖析上,从源码实现上学习分布式计算和数据库领域的相关技术,非常值得有相关需求的专业人士学习和购买。我写这篇文章的目的也是基于此做一个关于Spark SQL的学习笔记以及分享了一些自己的理解。 什么是Spark SQL? Spark SQL是近年来SQL-on-Hadoop解决方案(包括Hive、Presto和Impala等)中的佼佼者,结合了数据库SQL处理和Spark分布式计算模型两个方面的技术,目标是取代传统的数据仓库。 1. Spark 基础知识 在这一节简单介绍了Spark涉及到的几个简单技术,包括RDD编程模型、DataFrame和DataSet用户接口。 1.1. RDD 编程模型 RDD是Spark的核心数据结构,全称是弹性分布式数据集(Resilient Distributed Dataset),其本质是一种分布式的内存抽象,表示一个只读的数据分区(Partition)集合。 至于RDD的创建、计算和转换等操作的原理和技术不在本文的介绍范围内,有兴趣的读者可以自行了解,我们只需要知道RDD作为弹性数据集可以很方便地支持MapReduce应用、关系型数据处理、流式数据处理和迭代性应用(图计算、机器学习等)。 1.2. DataFrame 与

第九次作业

送分小仙女□ 提交于 2019-11-27 03:12:57
LVM 补充 pv物理卷 pvscan:列出系统中的物理卷 pvremove:移除物理卷 pvs:查看物理卷 pvdisplay:查看物理卷详细信息 pvmove:移除物理卷中的数据 vg卷组 vgextend:将物理卷添加到卷组中 vgextend vgname pvname 扩展 vgreduce:删除卷组中的物理卷 vgreduce vgname pvname 缩减 vgrename:更改卷组名字 vgchange:更改工作状态 vgs:查看卷组 vgdisplay:查看卷组详细信息 vgremove:删除卷组 vgcreate -s 指定PE大小 lv逻辑卷 lvcreate -L -n vgname lvname -L指定逻辑卷的大小(小于卷组) #绝对容量 +#增量 以空间大小指定 -l 指定使用多少个卷组的PE创建逻辑卷 -n 指定逻辑卷名称 -s 指定创建逻辑卷快照 lvcreate -s -n 指定创建逻辑卷快快照 -n 快照名字 -l 大小 /逻辑卷 -p -r -p:设置属性 -r:只读属性 lvconvert:恢复快照 lvconvert - -merge 快照路径 lvs:查看逻辑卷 lvdisplay:查看逻辑卷详细信息 lvextend lvname # 扩大lv的容量 resizefs vgname 扩大文件系统的容量大小 lvreduce

浅谈消息队列

天大地大妈咪最大 提交于 2019-11-27 02:50:34
1.写在前面 本来一年前的时候还打算以那篇面经为契机,开始自己写博客的习惯,结果后来一拖再拖,虽然evernote里面积攒了不少东西,但是发现想整理成博客真的是太累了,毕设的时候觉得累没整理,刚到公司做mini项目觉得累没整理,后来刚进工作室熟悉环境觉得累没整理,不知不觉就一年没写博客了,囧。 为什么想起来写这样一篇文章呢?其实主要还是两周前有一个知乎问题突然火起来了,传说中的 水货程序员之问 。这篇知乎问题真是一个大宝库,刚一出来,海量平时在知乎上各种高调的大神(棍)和海量低调的真大神都出来冒泡,让我们这些弱菜开了眼界。水货程序员之问是个好问题,问题不是说好在水货程序员这篇文章到底黑的对不对准不准,而是印发的讨论像钓鱼一样钓出了一水儿神棍。 那怎么区别神棍和大神呢?方法很简单,我们一个一个浏览答案,从高票到低票,哪个答案或者跟着的评论里屁代码没有,还说的煞有介事的,一般都是神棍;哪个答案全程干货,各种分析,那就是大神。 举个比较简单的例子,某高票答案「妄议」了下云风,说后者解决问题的路子太野大家学不来,并且推荐了一票路子「不野」的大神(?)。我们不管这些大神(?)之前的知乎回答质量如何,但是我们从这个水货程序员之问里可以发现,这一票路子不野的大神(?)没有一个是来抖干货的,全是来玩SNS的。人家原po说云风的消息队列写的不行,那你们这些大神(?)既然来「妄议」了

数据结构

北战南征 提交于 2019-11-27 01:25:26
1、数据结构分为逻辑结构和物理结构。 2、逻辑结构:元素之间的关系,分为:   a、集合结构:在同一个集合中,元素之间没关系。   b、线性结构:元素一对一的关系   c、树形结构:元素一对多的关系   d、图形结构:元素多对多的关系 3、物理结构:元素的存放形式   a、顺序存放:元素存放在连续的存储单元里   b、链式存放:元素存放在任意的存储单元里,通过指针,知道与自己关联的元素。 转载于:https://www.cnblogs.com/nzbbody/p/3386662.html 来源: https://blog.csdn.net/weixin_30550081/article/details/99234472

最新逻辑学导论版本二尔雅满分答案

元气小坏坏 提交于 2019-11-27 00:45:39
逻辑学导论版本二尔雅满分答案 文章转载至公众号【多特资料】,已经获得了作者授权 上面的有完整版的,为了省事,我只复制了题目发了上来 以下是题目,希望大家可以点赞 原标题:逻辑学导论版本二尔雅满分答案 逻辑学是什么 1 逻辑系统的四大定理不包括(D)。 A、一致性定理 B、有效性定理 C、可靠性定理 D、不完全性定理 2 四大数学流派不包括(C)。 A、柏拉图主义 B、逻辑主义 C、理性主义 D、直觉主义 3 逻辑主义的代表人物是(A)。 A、罗素 B、希尔伯特 C、哥德尔 D、布劳威尔 4 逻辑学跟计算机科学没有关系。(错误) 正确答案:× 5 从一般意义上讲,逻辑学是关于推理或论证的学问。() 正确答案:√ 逻辑与法律:普罗泰戈拉悖论 1 古代逻辑的发源地包括()。 A、古希腊 B、中国 C、古印度 D、以上都对 正确答案:D 2 ()是一个从已确定断言产生出新断言的过程。 A、辩论 B、结论 C、推论 D、论断 正确答案:C 3 概率推理不是逻辑学研究的主题。() 正确答案:× 4 “人是万物的尺度”,这句话的提出者是柏拉图。() 正确答案:× 逻辑学的功能和研究范围 1 斯多葛学派的代表人物不包括()。 A、芝诺 B、塞内卡 C、奥勒留 D、泰勒斯 正确答案:D 2 ()被马克思称之为古代最伟大的思想家。 A、柏拉图 B、奥古斯丁 C、亚里士多德 D、马丁·路德 正确答案:C

分布式幂等问题解决方案三部曲

家住魔仙堡 提交于 2019-11-26 23:10:36
欢迎关注公众号:404P(技术无涯),作者是蚂蚁金服的一线开发,分享自己的成长和思考之路。内容涉及数据、工程、算法。 纲要 文章目的 :本文旨在提炼一套分布式幂等问题的思考框架,而非解决某个具体的分布式幂等问题。在这个框架体系内,会有一些方案举例说明。 文章目标 :希望读者能通过这套思考框架设计出符合自己业务的完备的幂等解决方案。 文章内容 : (1)背景介绍,为什么会有幂等。 (2)什么是幂等,这个定义非常重要,决定了整个思考框架。 (3)解决幂等问题的三部曲,也是作者的思考框架。 (4)总结 一 背景 分布式系统由众多微服务组成,微服务之间必然存在大量的网络调用。下图是一个服务间调用异常的例子,用户提交订单之后,请求到A服务,A服务落单之后,开始调用B服务,但是在A调用B的过程中,存在很多不确定性,例如B服务执行超时了,RPC直接返回A请求超时了,然后A返回给用户一些错误提示,但实际情况是B有可能执行是成功的,只是执行时间过长而已。 用户看到错误提示之后,往往会选择在界面上重复点击,导致重复调用,如果B是个支付服务的话,用户重复点击可能导致同一个订单被扣多次钱。不仅仅是用户可能触发重复调用,定时任务、消息投递和机器重新启动都可能会出现重复执行的情况。在分布式系统里,服务调用出现各种异常的情况是很常见的,这些异常情况往往会使得系统间的状态不一致,所以需要容错补偿设计

通俗易懂--逻辑回归算法讲解(算法+案例)

时光怂恿深爱的人放手 提交于 2019-11-26 21:49:57
标题 1.逻辑回归(Logistic Regression) 1.1逻辑回归与线性回归的关系 1.2损失函数 1.3多分类问题(one vs rest) 1.4逻辑回归(LR)的一些经验 1.5LR的应用 1.6Python代码实现 寻觅互联网,少有机器学习通俗易懂之算法讲解、案例等,项目立于这一问题之上,整理一份基本算法讲解+案例于文档,供大家学习之。通俗易懂之文章亦不可以面概全,但凡有不正确或争议之处,望告知,自当不吝赐教! GitHub地址(代码加数据) 1.逻辑回归(Logistic Regression) 1.1逻辑回归与线性回归的关系 逻辑回归是用来做分类算法的,大家都熟悉线性回归,一般形式是Y=aX+b,y的取值范围是[-∞, +∞],有这么多取值,怎么进行分类呢?不用担心,伟大的数学家已经为我们找到了一个方法。 首先我们先来看一个函数,这个函数叫做Sigmoid函数: 函数中t无论取什么值,其结果都在[0,-1]的区间内,回想一下,一个分类问题就有两种答案,一种是“是”,一种是“否”,那0对应着“否”,1对应着“是”,那又有人问了,你这不是[0,1]的区间吗,怎么会只有0和1呢?这个问题问得好,我们假设分类的阈值是0.5,那么超过0.5的归为1分类,低于0.5的归为0分类,阈值是可以自己设定的。 好了,接下来我们把aX+b带入t中就得到了我们的逻辑回归的一般模型方程

通俗易懂的AI算法原理

我是研究僧i 提交于 2019-11-26 21:46:39
https://www.toutiao.com/a6706348363916247559/ 写给产品经理的机器学习算法入门,在文章中会忽略一些细节以及算法本身具体的实现方式。我想尽量用直白的语言、较少的数学知识给各位产品经理讲清楚各个算法的原理是什么。 机器学习的过程 机器学习的过程从本质上来说就是通过一堆的训练数据找到一个与理想函数(f)相接近的函数。在理想情况下,对于任何适合使用机器学习的问题在理论上是存在一个最优的函数让每个参数都有一个最合适的权重值,但在现实应用中不一定能这么准确得找到这个函数,所以我们要去找与这个理想函数相接近的函数,能够满足我们的使用那么我们就认为是一个好的函数。 这个训练数据的过程通常也被解释为在一堆的假设函数(Hypothesis set)中,它是包含了各种各样的假设,其中包括好的和坏的假设,我们需要做的就是从这一堆假设函数中挑选出它认为最好的假设函数(g),这个假设函数是与理想函数(f)最接近的。 机器学习过程 机器学习这个过程就好比在数学上,我们知道了有一个方程和一些点的坐标,用这些点来求这个方程的未知项从而得到完整的方程是什么。但在机器学习上我们往往很难解出来这个完整的方程是什么,所以我们只能通过各种手段求最接近理想情况下的未知项取值,使得这个结果最接近原本的方程。 什么问题适合用机器学习解决 机器学习不是万能的,并不能解决所有的问题