数据库文件

版本：V1.3 第1章 Hive入门 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 1.2 Hive的优缺点 1.2.1 优点 1) 操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。 2) 避免了去写MapReduce，减少开发人员的学习成本。 3) Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。 4) Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。 5) Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。 1.2.2 缺点 1．Hive的HQL表达能力有限 （1）迭代式算法无法表达 （2）数据挖掘方面不擅长 2．Hive的效率比较低 （1）Hive自动生成的MapReduce作业，通常情况下不够智能化 （2）Hive调优比较困难，粒度较粗 1.3 Hive架构原理 图6-1 Hive架构原理 1．用户接口：Client CLI（hive shell）、JDBC

1 [client] 2 #客户端设置，即客户端默认的连接参数 3 # password = 你的密码 4 port = 3306 5 #默认连接端口 6 socket = /usr/local/mysql/data/mysql.sock 7 #用于本地连接的socket套接字 8 default-character-set = utf8 9 #编码 10 11 [mysqld] 12 #服务端基本设置 13 port = 3306 14 #MySQL监听端口 15 socket = /usr/local/mysql/data/mysql.sock 16 #为MySQL客户端程序和服务器之间的本地通讯指定一个套接字文件 17 pid-file = /usr/local/mysql/data/mysql.pid 18 #pid文件所在目录 19 basedir = /usr/local/mysql 20 #使用该目录作为根目录（安装目录） 21 datadir = /usr/local/mysql/database 22 #数据文件存放的目录 23 tmpdir = /usr/local/mysql/data/tmp 24 #MySQL存放临时文件的目录 25 character_set_server = utf8 26 #服务端默认编码（数据库级别） 27 collation

一、oracle中copy from的用法 1.语法及使用说明 1.1 语法 下面我们来看一下SQL*Copy Command的语法及使用说明。 在解释SQL*Plus Copy Command的语法之前，我们必须要明确SQL*Plus Copy Command不是一个方法或是函数，也不是一个SQL语句，它是一个命令(command)，当然这个命令必须在SQL*Plus里运行。 SQL*Plus Copy Command的语法： COPY {FROM database | TO database | FROM database TO database} {APPEND|CREATE|INSERT|REPLACE} destination_table [(column, column, column, ...)] USING query 我们分部分来解释一下： COPY – 这个不太需要解释，主命令，声明要执行COPY操作 From Database – 源 数据库 To Database – 目标数据库 此处注意花括号中有三种可选的写法(以”|”隔开)，如果源数据表和目标数据表在同一个Schema中，则可以只写From Database，也可以只写To Database，当然还可以是第三种写法，把From Database和To Database写全

人类在进化的过程中，创造了数字、文字、符号等来进行数据的记录，但是承受着认知能力和创造能力的提升，数据量越来越大，对于数据的记录和准确查找，成为了一个重大难题计算机诞生后，数据开始在计算机中存储并计算，并设计出了数据库系统数据库系统解决的问题：持久化存储，优化读写，保证数据的有效性当前使用的数据库，主要分为两类文档型，如sqlite，就是一个文件，通过对文件的复制完成数据库的复制服务型，如mysql、postgre，数据存储在一个物理文件中，但是需要使用终端以tcp/ip协议连接，进行数据库的读写操作 ———————————————— 版权声明：本文为CSDN博主「lowson0810」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/sqx3553465/article/details/79633009 来源： https://www.cnblogs.com/jk123456/p/11641553.html

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/xinxiaoyonng/article/details/79436673 oracle11g数据库导入导出： ①:传统方式——exp(导出)和(imp)导入： ②:数据泵方式——expdp导出和（impdp）导入; ③:第三方工具——PL/sql Develpoer; 一、什么是数据库导入导出？ oracle11g数据库的导入/导出，就是我们通常所说的oracle数据的还原/备份。 数据库导入:把.dmp 格式文件从本地导入到数据库服务器中(本地oracle测试数据库中); 数据库导出:把数据库服务器中的数据(本地oracle测试数据库中的数据),导出到本地生成.dmp格式文件。 .dmp 格式文件：就是oracle数据的文件格式(比如视频是.mp4 格式,音乐是.mp3 格式); 二、二者优缺点描述： 1.exp/imp: 优点:代码书写简单易懂,从本地即可直接导入，不用在服务器中操作，降低难度，减少服务器上的操作也就 保证了服务器上数据文件的安全性。 缺点：这种导入导出的速度相对较慢，合适数据库数据较少的时候。如果文件超过几个G，大众性能的电 脑，至少需要4~5个小时左右。 2.expdp/impdp: 优点

超详细的PostgreSQL体系结构总结，值得收藏 https://www.toutiao.com/i6715390855772897800/ 原创 波波说运维 2019-07-26 00:03:00 概述 今天本文主要从日志文件、参数文件、控制文件、数据文件、redo日志（WAL）、后台进程这六个方面来介绍一下PostgreSQL的架构。 架构 PostgreSQL的主要架构如下： 一、日志文件 1、日志文件种类 1）$PGDATA/log 运行日志(pg10之前为$PGDATA/pg_log) 2）$PGDATA/pg_wal 重做日志(pg10之前为$PGDATA/pg_xlog) 3）$PGDATA/pg_xact 事务提交日志(pg10之前为$PGDATA/pg_clog) 4）服务器日志，可以在启动的时候指定，比如pg_ctl start -l ./alert.log 2、 运行日志 运行日志主要相关的参数如下，默认没有开启的话没有log目录，开启后会自动生成。 3、事务日志pg_xact pg_xact是事务提交日志，记录了事务的元数据。默认开启。内容一般不能直接读。 4、 服务器日志 如果用pg_ctl启动的时候没有指定-l参数来指定服务器日志，错误可能会输出到cmd前台。服务器日志记录了数据库的重要信息。 lsof或许可以过滤出在写的日志文件 $lsof -c

目录 1 概述 2 数据准备 2.1 安卓设备 2.1.1 Root手机，安装Root Explorer 2.1.2 用Root Explorer将聊天记录的数据文件导出并存入电脑 2.1.3 对EnMicroMsg.db进行解密 2.1.4 数据库表的分析和提取 2.1.5 建立message数据库 2.2 ios设备 2.2.1 备份手机记录到电脑 2.2.2 数据库结构 2.2.3 关于加密 3 目标好友聊天记录筛选 3.1 安卓 3.2 ios版本 4 制作词云 4.1 准备相关依赖包 4.1.1 jieba安装 4.1.2 WordCloud安装 4.2 调用相关包 4.3 导入聊天记录筛选.txt，用分词包进行切词 4.4 去停用词 4.5 统计频率并排序 4.6 画词云图 5 总结 1 概述 python的词云分析功能很是强大，不少网友早已提出众多利用python对聊天记录进行词云分析的方法。但是在实践过程中，有许多的bug和不太切合实际的地方，本文对目前网上已有的方法进行总结，并结合自己在实际操作中遇到的一些问题，给出一篇较为详细的步骤分解，让刚刚学习python的小白，也可以快速上手，体验python的强大和乐趣~ 2 数据准备 要对微信聊天记录进行分析，必须将记录从手机或者电脑导出。 网上也有不少软件据说可以直接导出聊天记录，但大多都是收费的~

第一节 准备工作 一 安装mongodb 我这里选用rehl 5.6作为其运行载体。 1. 下载mongodb的linux版本(注意32位和64位的区别)，下载地址： http://www.mongodb.org/downloads # wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.0.4.tgz 2. 将下载的mongodb安装文件 mongodb-linux-x86_64-2.0.4.tgz 放到/usr/local/下 3. 解压 # tar -zxvf mongodb-linux-x86_64-2.0.4.tgz 重命名 # mv mongodb-linux-x86_64-2.0.4 /usr/local/mongodb 4. 创建数据库文件目录， # mkdir -p /data/mongodb,我把数据库文件目录放在当前文件夹下，# mkdir -p data/db,创建日志目录 #mkdir -p log 二 启动 首先用命令进入到bin目录下：cd /usr/local/mongodb/bin 方式一：直接运行命令启动 ./mongod –port 10000 –fork –logpath= logpath=/data/mongodb/log/mongodb.log -- logappend

第一节 准备工作 一 安装mongodb 我这里选用rehl 5.6作为其运行载体。 1. 下载mongodb的linux版本(注意32位和64位的区别)，下载地址： http://www.mongodb.org/downloads # wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.0.4.tgz 2. 将下载的mongodb安装文件 mongodb-linux-x86_64-2.0.4.tgz 放到/usr/local/下 3. 解压 # tar -zxvf mongodb-linux-x86_64-2.0.4.tgz 重命名 # mv mongodb-linux-x86_64-2.0.4 /usr/local/mongodb 4. 创建数据库文件目录， # mkdir -p /data/mongodb,我把数据库文件目录放在当前文件夹下，# mkdir -p data/db,创建日志目录 #mkdir -p log 二 启动 首先用命令进入到bin目录下：cd /usr/local/mongodb/bin 方式一：直接运行命令启动 ./mongod –port 10000 –fork –logpath= logpath=/data/mongodb/log/mongodb.log -- logappend

前言 操作系统崩溃、电源故障、文件系统崩溃和硬件故障等异常状况都可能导致我们正在使用的数据库出现故障而产生数据库中数据不一致的情况。为了保证数据库使用安全，必须定期备份数据库；数据库备份可以分为：完全备份、日志备份、增量备份和文件备份。对于一个大型数据库，频繁执行完全备份可能会需要太多的时间，而且完全备份经常会多次备份一些没有更新过的数据，会造成资源浪费。现在最常用的数据库备份策略是在完全备份的基础上进行较频繁的增量备份。例如，我们可以在数据库使用较少的时段每周进行一次完全备份，然后每天进行一次增量备份，备份下这段时间中可能修改数据库内容的操作，以便在发生文件系统故障、硬件问题等问题导致数据库发生灾难性崩溃的时候利用备份数据进行数据库的恢复。 u 技术分析 MySQL数据库对上述几种导致数据库崩溃的故障都给出了很好的解决办法以保证数据的一致性。 对于操作系统崩溃和电源故障导致的MySQL数据库崩溃，使用MySQL提供的内置方法，在大多数情况下都可以非常有效的恢复：如果我们使用的是MyISAM数据库，可以使用 REPAIR TABLE 或者myisamchk –r 对可能损毁的数据库表进行修补；如果我们使用的是InnoDB，则InnoDB会自动找到挂起的提交了的或未提交的事务列表，并自动回滚未提交的事务和刷新已提交的事务。 如果我们使用前面的方面未能正确恢复被损害的数据