文件合并

title: 前端性能优化01 date: 2020-01-15 09:02:52 tags: 前端性能优化 categories: 前端性能优化 目标 理解减少http请求数量和减少请求资源大小两个优化要点 掌握压缩与合并的原理 掌握通过在线网站和fis3两种实现压缩与合并的方法 浏览器的一个请求从发送到返回都经历了什么？ HTML压缩 一个简单的计算： google的流量，占到整个互联网的40%，如果google每1MB请求减少一个字节，每年可以节省500TB流量 如何进行html压缩 使用在线网站进行压缩 nodejs提供了html-minifier工具 后端模板引擎渲染压缩 CSS压缩 处理原则 无效代码删除 CSS语义合并 如何进行CSS压缩 使用在线网站进行压缩 使用html-minifier对html中的css进行压缩 使用clean-css对css进行压缩 JS压缩与混乱 处理原则 无效字符的删除 剔除注释 代码语义的缩减和优化 代码保护 如何进行JS压缩和混乱 使用在线网站进行压缩 使用html-minifier对html中的js进行压缩 使用uglifyjs2对js进行压缩 文件合并 优点 文件与文件之间有插入的上行请求，增加了N-1个网络延迟 受丢包问题影响更严重 keep-alive 经过代理服务器时可能会被断开 缺点 首屏渲染问题 缓存失效问题 解决办法

Hive的后端存储是HDFS，它对大文件的处理是非常高效的，如果合理配置文件系统的块大小，NameNode可以支持很大的数据量。但是在数据仓库中，越是上层的表其汇总程度就越高，数据量也就越小。而且这些表通常会按日期进行分区，随着时间的推移，HDFS的文件数目就会逐渐增加。 小文件带来的问题 关于这个问题的阐述可以读一读Cloudera的这篇文章。简单来说，HDFS的文件元信息，包括位置、大小、分块信息等，都是保存在NameNode的内存中的。每个对象大约占用150个字节，因此一千万个文件及分块就会占用约3G的内存空间，一旦接近这个量级，NameNode的性能就会开始下降了。 此外，HDFS读写小文件时也会更加耗时，因为每次都需要从NameNode获取元信息，并与对应的DataNode建立连接。对于MapReduce程序来说，小文件还会增加Mapper的个数，每个脚本只处理很少的数据，浪费了大量的调度时间。当然，这个问题可以通过使用CombinedInputFile和JVM重用来解决。 Hive小文件产生的原因 前面已经提到，汇总后的数据量通常比源数据要少得多。而为了提升运算速度，我们会增加Reducer的数量，Hive本身也会做类似优化——Reducer数量等于源数据的量除以hive.exec.reducers.bytes.per.reducer所配置的量（默认1G）

加密后的ts文件不能直接合并或播放，需要使用key对每个ts文件进行解密。 分为两种情况： (1).如果ts文件已经全部下载好，则可以直接在本地通过ffmpeg快速解密合并。 (2).如果ts文件没有下载好，则可以通过vlc直接下载整个视频，或者通过ffmpeg下载并转换。 无论是哪种情况，都要去视频源地址下载m3u8文件。如果可以下载key(有些网站加密方式比较严谨，不那么容易获取到key)，把key文件也下载好。 下载m3u8文件的方式是去源地址网站，按F12找到m3u8文件，或者从右键-->网页源代码中找到地址。两种方式都试一试。 例如，从浏览器的F12中找： 这里能找到两个m3u8和一个key文件，都下载好。记事本打开两个m3u8，其中有一个包含了ts文件列表，这个m3u8文件是我们所需要的。例如我这里的是HdNz1kaz.m3u8文件，以下是一小部分内容。 #EXTM3U #EXT-X-VERSION:3 #EXT-X-TARGETDURATION:13 #EXT-X-MEDIA-SEQUENCE:0 #EXT-X-KEY:METHOD=AES-128,URI="/20180125/NfJJpxIH/1482kb/hls/key.key" #EXTINF:12.5, /20180125/NfJJpxIH/1482kb/hls/GBDYO3576000.ts #EXTINF

众所周知，Hadoop对处理单个大文件比处理多个小文件更有效率，另外单个文件也非常占用HDFS的存储空间。所以往往要将其合并起来。 1，getmerge hadoop有一个命令行工具getmerge，用于将一组HDFS上的文件复制到本地计算机以前进行合并 参考：http://hadoop.apache.org/common/docs/r0.19.2/cn/hdfs_shell.html 使用方法：hadoop fs -getmerge <src> <localdst> [addnl] 接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可选的，用于指定在每个文件结尾添加一个换行符。 多嘴几句：调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是 scheme://authority/path 。 2.putmerge 将本地小文件合并上传到HDFS文件系统中。 一种方法可以现在本地写一个脚本，先将一个文件合并为一个大文件，然后将整个大文件上传，这种方法占用大量的本地磁盘空间； 另一种方法如下，在复制的过程中上传。参考：《hadoop in action》 import java.io.IOException; import org

面对千亿量级的小文件，存储系统压力山大 所谓小文件，指的是存储占用空间相对较小的文件，一般来说低于64MB的文件就可以被认定为小文件，而大量的小文件大小则在几KB到几十KB之间。在云计算、大数据业务中，文本、图片、音乐等是典型的小文件应用场景。 随着数字化创新的加速，组织内部的数据呈现出指数级增长的趋势，特别是小文件更是随着业务增长到一个巨大的量级。与大文件的存储不同的是，大量磁盘在小文件存储场景中的性能极低，单块企业级SATA磁盘如果全部存储4KB左右的小文件，带宽只有520KB/s，远远小于应有的120MB/s的带宽标准值，很容易因为存储系统的性能不足造成上层应用“卡顿”。把磁盘全部换成固态盘固然可以解决问题，但是，固态盘的价格数倍于SATA磁盘，对于很多用户来说，全面的应用固态盘在成本上仍然不现实。 百亿~万亿量级的小文件对存储性能提出 而且，每个应用场景对于存储系统的性能往往有着不同的要求。例如，某领先电商平台已经存储了数量以百亿计算的图片文件，这些图片平均大小在15KB左右，用户对于这些图片文件的读取完全是随机读取，一旦大量用户同时在线访问网址或者搜索商品，往往就会给存储系统的随机读写能力带来巨大的挑战；在交警系统中，路口的抓拍摄像头会将违章图片传送至区中心的计算服务器，不仅摄像头数量多，而且每台摄像头每天都可能生成数千乃至上万张照片，某市每天相关图片写入甚至超过一亿张

面对千亿量级的小文件，存储系统压力山大 所谓小文件，指的是存储占用空间相对较小的文件，一般来说低于64MB的文件就可以被认定为小文件，而大量的小文件大小则在几KB到几十KB之间。在云计算、大数据业务中，文本、图片、音乐等是典型的小文件应用场景。 随着数字化创新的加速，组织内部的数据呈现出指数级增长的趋势，特别是小文件更是随着业务增长到一个巨大的量级。与大文件的存储不同的是，大量磁盘在小文件存储场景中的性能极低，单块企业级SATA磁盘如果全部存储4KB左右的小文件，带宽只有520KB/s，远远小于应有的120MB/s的带宽标准值，很容易因为存储系统的性能不足造成上层应用“卡顿”。把磁盘全部换成固态盘固然可以解决问题，但是，固态盘的价格数倍于SATA磁盘，对于很多用户来说，全面的应用固态盘在成本上仍然不现实。 百亿~万亿量级的小文件对存储性能提出 而且，每个应用场景对于存储系统的性能往往有着不同的要求。例如，某领先电商平台已经存储了数量以百亿计算的图片文件，这些图片平均大小在15KB左右，用户对于这些图片文件的读取完全是随机读取，一旦大量用户同时在线访问网址或者搜索商品，往往就会给存储系统的随机读写能力带来巨大的挑战；在交警系统中，路口的抓拍摄像头会将违章图片传送至区中心的计算服务器，不仅摄像头数量多，而且每台摄像头每天都可能生成数千乃至上万张照片，某市每天相关图片写入甚至超过一亿张

面对千亿量级的小文件，存储系统压力山大 所谓小文件，指的是存储占用空间相对较小的文件，一般来说低于64MB的文件就可以被认定为小文件，而大量的小文件大小则在几KB到几十KB之间。在云计算、大数据业务中，文本、图片、音乐等是典型的小文件应用场景。 随着数字化创新的加速，组织内部的数据呈现出指数级增长的趋势，特别是小文件更是随着业务增长到一个巨大的量级。与大文件的存储不同的是，大量磁盘在小文件存储场景中的性能极低，单块企业级SATA磁盘如果全部存储4KB左右的小文件，带宽只有520KB/s，远远小于应有的120MB/s的带宽标准值，很容易因为存储系统的性能不足造成上层应用“卡顿”。把磁盘全部换成固态盘固然可以解决问题，但是，固态盘的价格数倍于SATA磁盘，对于很多用户来说，全面的应用固态盘在成本上仍然不现实。 百亿~万亿量级的小文件对存储性能提出 而且，每个应用场景对于存储系统的性能往往有着不同的要求。例如，某领先电商平台已经存储了数量以百亿计算的图片文件，这些图片平均大小在15KB左右，用户对于这些图片文件的读取完全是随机读取，一旦大量用户同时在线访问网址或者搜索商品，往往就会给存储系统的随机读写能力带来巨大的挑战；在交警系统中，路口的抓拍摄像头会将违章图片传送至区中心的计算服务器，不仅摄像头数量多，而且每台摄像头每天都可能生成数千乃至上万张照片，某市每天相关图片写入甚至超过一亿张

Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是 .har。Hadoop archive包含元数据（形式是_index和_masterindx）和数据（part- ）文件。_index文件包含了档案中的文件的文件名和位置信息。 创建archives是一个Map/Reduce job。你应该在map reduce集群上运行这个命令。 用法： hadoop archive -archiveName name -p <parent> <src>* <dest> (1) -archiveName用来指定要创建的archive的文件名，必须以.har结尾，例如：foo.har； (2) 参数"-p"为src path的前缀 示例1： hadoop archive -archiveName IotBillBackup201805.har -p /IotBillBackup201805 /har/IotBillBackup201805 在上面的例子中，/IotBillBackup201805目录下的所有文件会被归档到这个文件系统目录下/har/IotBillBackup201805/IotBillBackup201805.har。 示例2： hadoop archive -archiveName foo

说起PDF文件，很多人都为这种文件感觉得很反感，原因就是PDF文件不能直接进行编辑，那更不要说PDF合并了，其实合并PDF文件是需要专门的一些软件的，比如PDF编辑器、PDF转换器等等，下面就为大家分享一下PDF合并的操作方法。 操作方法如下： 方法一：迅捷PDF编辑器 1：首先将 PDF编辑器下载 http://bianji.xjpdf.com/download.html 　到自己的电脑中双击打开PDF编辑器http://bianji.xjpdf.com　，　先将一个PDF文件添加到软件中。 2：在软件顶部找到文档，点击文档在下面会有一个下拉框，在下拉框中找到插入页面，点击插入页面，在软件中会出现一弹窗。 3：在弹窗中找到来源，将需要合并的PDF文件添加到软件中。 4：在下面设置对象上的动作，在对象上的动作可以设置注释、表单域以及书签的全部复制等。 5：在下面是页面范围，将页面范围设置为全部即可。也可以自定义页面。 6：在目标中设置合并文件的顺序，首页之前、尾页之前以及自定义页码位置。 7：设置完成后，点击确定，需要合并的PDF文件就会合并完成了。在软件的顶部找到文件，在文件下面选择保存，将设置完成的PDF文件保存一下就可以了。 方法二：迅捷PDF转换器 1：首先将迅捷PDF转换器打开，在软件的顶部找到PDF操作，点击PDF操作在左侧菜单栏就可以找到PDF合并了。 2

相关文件请自行创建！！！ package com.hadoop.hdfs; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.FileUtil; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.PathFilter; import org.apache.hadoop.io.IOUtils; /** 合并小文件至 HDFS */ public class MergeSmallFilesToHDFS { private static FileSystem fs = null; private static