records

Mysql高手系列

邮差的信 提交于 2020-04-18 07:38:23
Mysql系列的目标是:通过这个系列从入门到全面掌握一个高级开发所需要的全部技能。 欢迎大家加我微信itsoku一起交流java、算法、数据库相关技术。 这是Mysql系列第22篇。 背景 使用mysql最多的就是查询,我们迫切的希望mysql能查询的更快一些,我们经常用到的查询有: 按照id查询唯一一条记录 按照某些个字段查询对应的记录 查找某个范围的所有记录(between and) 对查询出来的结果排序 mysql的索引的目的是使上面的各种查询能够更快。 预备知识 什么是索引? 上一篇中有详细的介绍,可以过去看一下: 什么是索引? 索引的本质: 通过不断地缩小想要获取数据的范围来筛选出最终想要的结果,同时把随机的事件变成顺序的事件,也就是说,有了这种索引机制,我们可以总是用同一种查找方式来锁定数据。 磁盘中数据的存取 以机械硬盘来说,先了解几个概念。 扇区 :磁盘存储的最小单位,扇区一般大小为512Byte。 磁盘块 :文件系统与磁盘交互的的最小单位(计算机系统读写磁盘的最小单位),一个磁盘块由连续几个(2^n)扇区组成,块一般大小一般为4KB。 磁盘读取数据 :磁盘读取数据靠的是机械运动,每次读取数据花费的时间可以分为 寻道时间、旋转延迟、传输时间 三个部分,寻道时间指的是磁臂移动到指定磁道所需要的时间,主流磁盘一般在5ms以下;旋转延迟就是我们经常听说的磁盘转速

Kafka学习(二)-------- 什么是Kafka

℡╲_俬逩灬. 提交于 2020-04-18 04:08:31
通过Kafka的快速入门 https://www.cnblogs.com/tree1123/p/11150927.html 能了解到Kafka的基本部署,使用,但他和其他的消息中间件有什么不同呢? Kafka的基本原理,术语,版本等等都是怎么样的?到底什么是Kafka呢? 一、Kafka简介 http://kafka.apache.org/intro 2011年,LinkIn开源, November 1, 2017 1.0版本发布 July 30, 2018 2.0版本发布 参考官网的图: Kafka®用于构建实时数据管道和流式应用程序。它具有水平可扩展性、容错性、速度极快,并在数千家公司投入生产。 kafka官网最新的定义:Apache Kafka® is a distributed streaming platform 也就是分布式流式平台。 介绍: 三个特点: Publish and subscribe to streams of records, similar to a message queue or enterprise messaging system. Store streams of records in a fault-tolerant durable way. Process streams of records as they occur. 消息 持久化

MySQL数据备份及还原(一)

别说谁变了你拦得住时间么 提交于 2020-04-18 01:54:22
关于删库跑路的事故现在已经屡见不鲜了,数据备份的必要性是企业数据管理极其重要的一项工作。关于数据备份、恢复也有很多场景及方法,本系列也会将主要的几种工具通过案例进行演示。 本系列将从逻辑备份及恢复开始讲起,逻辑备份的工具主要有mysqldump/mydumper等其中mydumper可以指定多线程工作,本文介绍的是mysqldump。 1. mysqldump 备份 mysqldump是MySQL数据库自带的逻辑备份工具,属于热备工具。它的备份结果是根据设置的参数将数据库中的信息通过生成创建库、表等对象以及对应表的insert语句组成。 mysqldump 参数选项特别多,可以通过mysqldump --help 查看对应的参数及说明() [root@testdb ~]# mysqldump --help mysqldump Ver 10.13 Distrib 5.7.25-28, for Linux (x86_64) Copyright (c) 2009-2019 Percona LLC and/or its affiliates Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved. Oracle is a registered trademark of Oracle

mybatisplus 一对多配置

旧街凉风 提交于 2020-04-17 20:23:07
1:数据库表 -- ---------------------------- -- Table structure for t_user -- ---------------------------- DROP TABLE IF EXISTS `t_user`; CREATE TABLE `t_user` ( `t_user_id` bigint ( 255 ) NOT NULL AUTO_INCREMENT, `t_user_name` varchar ( 255 ) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NULL DEFAULT NULL , `t_user_age` smallint ( 255 ) NULL DEFAULT NULL , PRIMARY KEY (`t_user_id`) USING BTREE ) ENGINE = InnoDB AUTO_INCREMENT = 3 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_bin ROW_FORMAT = Dynamic; -- ---------------------------- -- Table structure for t_user_address -- ---------------------------- DROP

用python做预算系统遇到的问题记录

北城余情 提交于 2020-04-14 19:48:08
【推荐阅读】微服务还能火多久?>>> 一,使用df.loc[]按照条件来查询 File "/Users/jiangmengliang/PycharmProjects/jiang.ml/budget/cost_budget/expense_down_api.py", line 2434, in main rev = ExpenseApiDown(cfg_path, log=logging) File "/Users/jiangmengliang/PycharmProjects/jiang.ml/budget/cost_budget/expense_down_api.py", line 793, in __init__ self.done = self.split() # 合并里需要做层级判断 ,生成层级.json File "/Users/jiangmengliang/PycharmProjects/jiang.ml/budget/cost_budget/expense_down_api.py", line 1288, in split done = self.boss_split() File "/Users/jiangmengliang/PycharmProjects/jiang.ml/budget/cost_budget/expense_down_api.py", line

超200万?约翰斯·霍普金大学数据错误!——谈谈如何保证实时计算数据准确性

强颜欢笑 提交于 2020-04-14 11:22:46
【推荐阅读】微服务还能火多久?>>> 作为全球新冠疫情数据的实时统计的权威,约翰斯—霍普金斯大学的实时数据一直是大家实时关注的,也是各大媒体的主要数据来源。在今天早上的相当一段长的时间,霍普金斯大学的全球疫情分布大屏中显示,全球确诊人数已经突破200万。 有图有真相 随后相关媒体也进行了转发,不过这个数据明显波动太大,随后该网站也修改了数据 约翰斯·霍普金斯大学系统科学与工程中心就制作了“全球新冠病毒扩散地图”,用于实时可视化和跟踪报告的病例。于1月22日首次公开。 为了提高数据的实时性,数据的来源通过手动和自动获取的方式。手动的方式出错的概率还是很大的,如果我们可以通过实时流获取数据的方式,就可以避免数据错误的问题,这其实是数据从一方到达另一方的数据是否准确的问题,也就是端到端的一致性。 这种消息传递的定义叫做消息传递语义: 我们要了解的是 message delivery semantic 也就是消息传递语义。 这是一个通用的概念,也就是消息传递过程中消息传递的保证性。 分为三种: 最多一次( at most once ): 消息可能丢失也可能被处理,但最多只会被处理一次。 可能丢失 不会重复 至少一次( at least once ): 消息不会丢失,但可能被处理多次。 可能重复 不会丢失 精确传递一次( exactly once ): 消息被处理且只会被处理一次。 不丢失

linux命令语法格式

时光毁灭记忆、已成空白 提交于 2020-04-13 07:39:13
一、命令的一般格式 command [option]... [argument]... command [options] [arguments] 具体说明: 1、command: 表示命令的名称,如 ls 2、option:定义命令的执行特性,可以有长短两种选项: 长选项:用 -- 引导,后面跟完整的单词,如 --help 短选项:用 - 引导,后面跟单个的字符, 如 -a (1)多个短选项可以组合使用,例如: -h -l -a == -hla,但是长选项不能组合使用,如 --help后面就不能再跟另外一个单词了。 (2)option 也可以有自己的参数,注意:选项与选项之间,选项与参数之间,参数与参数之间必须有空格! 3、argument:描述命令作用的对象,如/etc 就是ls 命令作用的对象。 二、命令格式中的符号含义 在linux中,命令的选项和参数所使用的符号也有相应的含义: []:表示方框里的内容是可选的。 <>:表示尖括号里面的内容必须提供。 a|b:二选一,或多选一。 ...:前面的内容可重复出现多次。 三、常见命令格式的举例说明 对于命令格式中常常可以看到如下的格式: 1、[ --atime-preserve ],表示一个可选选项。 2、[ -B, --read-full-records ],表示一个可选选项,简写为-B,完整写法是--read-full

查看无线网卡是否支持监听模式

六月ゝ 毕业季﹏ 提交于 2020-04-11 14:01:14
查看无线网卡是否支持监听模式 在实施无线渗透测试时,通常需要将无线网卡设置为监听模式,来监听经过其网卡的所有流量。大学霸IT达人对于很多用户,都不知道如何确定自己的无线网卡是否支持监听,结果浪费大量时间做了无用的操作。为了帮助用户提供工作效率,可以在使用无线网卡之前先使用iw list命令查看无线网卡是否支持监听,以节约不必要浪费的时间。执行命令如下所示: iw list 执行以上命令后,将输出设备的所有功能信息。如下所示: Wiphy phy0 max # scan SSIDs: 4 max scan IEs length: 2257 bytes max # sched scan SSIDs: 0 max # match sets: 0 max # scan plans: 1 max scan plan interval: -1 max scan plan iterations: 0 Retry short long limit: 2 Coverage class: 0 (up to 0m) Device supports RSN-IBSS. Supported Ciphers: * WEP40 (00-0f-ac:1) * WEP104 (00-0f-ac:5) * TKIP (00-0f-ac:2) * CCMP-128 (00-0f-ac:4) * CCMP-256 (00

第六章:Linux文件重要核心属性知识

南楼画角 提交于 2020-04-11 11:00:57
1、用户 Linux是个多用户、多任务的操作系统 多个用户:多个用户同时登入 多任务:每个用户可以执行多个任务 用户: 管理Linux系统而存在的 用户一般分为用户名和用户ID(UID) 用户名方便管理员使用,用户ID是唯一区别一个用户(计算机只识别ID) 文件和进程对应用户关系 linux里所有的用户和进程都要有用户对应。 文件存在必须对应用户 进程运行必须对应用户 Linux用户分类 超级管理员:root UID为0 如果用户对应的用户ID(UID)都有root的对应权限 [root@oldboyedu ~]# id root #查看用户ID d=0(root) gid=0(root) groups=0(root) [root@oldboyedu ~]# id uid=0(root) gid=0(root) groups=0(root) context=unconfined_u:unconfined_r:unconfined_t:s0-s0:c0.c1023 [root@oldboyedu ~]# su - oldboy #切换用户 [oldboy@oldboyedu ~]$ logout [root@oldboyedu ~]# vim /etc/passwd #修改用户ID root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:

查看无线网卡是否支持监听模式

丶灬走出姿态 提交于 2020-04-10 19:05:58
查看无线网卡是否支持监听模式 在实施无线渗透测试时,通常需要将无线网卡设置为监听模式,来监听经过其网卡的所有流量。大学霸IT达人对于很多用户,都不知道如何确定自己的无线网卡是否支持监听,结果浪费大量时间做了无用的操作。为了帮助用户提供工作效率,可以在使用无线网卡之前先使用iw list命令查看无线网卡是否支持监听,以节约不必要浪费的时间。执行命令如下所示: iw list 执行以上命令后,将输出设备的所有功能信息。如下所示: Wiphy phy0 max # scan SSIDs: 4 max scan IEs length: 2257 bytes max # sched scan SSIDs: 0 max # match sets: 0 max # scan plans: 1 max scan plan interval: -1 max scan plan iterations: 0 Retry short long limit: 2 Coverage class: 0 (up to 0m) Device supports RSN-IBSS. Supported Ciphers: * WEP40 (00-0f-ac:1) * WEP104 (00-0f-ac:5) * TKIP (00-0f-ac:2) * CCMP-128 (00-0f-ac:4) * CCMP-256 (00