图像融合

　　本文主要介绍了通过结构化块分解方法（SPD）来处理多曝光图像融合（MEF），最终起到对重影现象（ghosting effect）鲁棒的效果。 　　 SPD-MEF 的主要思想是：将图像块解构为三个概念独立的部分，信号强度（signal strength）、信号结构（signal structure）、平均强度（mean intensity），分别进行融合处理后再还原到融合图像中。 　　Multi-exposure image fusion（MEF）提供了一种经济高效的方式来克服HDR成像与LDR显示之间的矛盾，将具有不同曝光度层次的源图像序列作为输入，生成一张比任何输入图像具有更多信息且感官上更具吸引力的图像。相比于HDR reconstruction在辐射域上实现的，MEF在强度域上工作。而在重影问题上，许多已有的算法都有高强度的计算负担，这对于移动设备来说是难以承担的，因此本文提出SPD-MEF这一简单而鲁棒的方式来解决在计算和重影上面对的问题。 　　SPD-MEF的一个特点是在 图像块 （image patches）上进行操作而不像在很多文献中的MEF方法常用到的 像素级 （pixel-wise）处理。 　　SPD-MEF首先将图像块解构为三个概念独立的部分，信号强度（signal strength）、信号结构（signal structure）、平均强度（mean

1、概述 说到EF那我们不得不谈谈HDR。高动态范围（HDR）图像可以表示动态范围跨度很大的真实场景。图像的动态范围（dynamic range）是指一幅图像中可见区域最大亮度与最小亮度的比值。同样的，场景中最大光度与最小光度的比值被称为场景的动态范围。现实场景中光度值的分布范围是非常宽广的，而且人眼能够观察的动态范围也是很广的，比如强烈阳光照射下的光度超过１００，０００ｃｄ／ｍ２，而夜晚人们能够看到微弱星光的光度值会低于０．０００１ｃｄ／ｍ２，真实场景的动态范围已经超过了10９：１。人的视觉系统在同一固定场景内不需要适应性调节能观察的动态范围也可达到1５：１。而目前泛使用的ＣＣＤ／ＣＭＯＳ图像传感器的动态范围远远小于现实场景和人眼所能观察到的动态范围。 EF根据拍摄场景不同分为静态场景和动态场景。前者是指场景中所有的物体都是静的，融脊目标只是如何更多更好的显示颜色和细节信息，而后者是指场景中存在移动的物体或者相机发生抖动，这样会使融合图像产生明显的鬼影，所以需要解决如何去除鬼影的问题。 数字相机在拍摄宽亮度范围场景时，受其动态范围限制，捕获的单幅图像往往存在灰暗或饱和的区域，细节丢失严重．利用一系列不同曝光度的低动态范围(low dynamic range, LDR)图像扩展成像动态范围、增强细节是近年来快速发展的一项技术，称为高动态范围成像(high dynamic

Exposure Fusion http://ntp-0.cs.ucl.ac.uk/staff/j.kautz/publications/exposure_fusion.pdf 很经典的文章，慢慢发现很多东西都是相同的 1 定义质量标准:对比度，饱和度，最佳曝光（0，1） 2 基于三个质量标准构建权重图，三个质量标准采用乘积进行合并。这样给每一个输入图创建了一个权重图。 为什么现在乘积，因为类似取And，要保证所有的质量标准被考虑进去，当然给每一个质量标准进行一个幂运算，相当于赋予权重。 3 基于权重进行融合： 保证融合后图像正常，即保证这些权重和为1，因此对2产生的权重进行求和归一化。 3.1 直接基于权重进行融合， 因为权重变化太快，就会出现不好的图像缝隙。图（ b ） ，这是因为我们组合的图像由于曝光时间不同，包含不同的绝对强度。 3.2 我们可以通过使用高斯滤波器平滑权重图来避免急剧的权重图转换，但这会导致边缘出现不希望出现的晕圈，并在对象边界上溢出信息。图（ C ） 3.3 使用跨双边滤波器的边缘感知平滑操作似乎是更好的选择，然而，目前还不清楚如何定义控制图像，这将告诉我们应该在哪里停止平滑。使用原始灰度图像作为控制图像效果不佳，如图 4d 所示。此外，很难找到好的参数的交叉双边过滤器 ( 即。，以控制空间和强度的影响 ) 。 3.4 基于金字塔进行融合。类似

python skimage图像处理(一) This blog is from: https://www.jianshu.com/p/f2e88197e81d 基于python脚本语言开发的数字图片处理包，比如PIL,Pillow, opencv, scikit-image等。 PIL和Pillow只提供最基础的数字图像处理，功能有限；opencv实际上是一个c++库，只是提供了python接口，更新速度非常慢。scikit-image是基于scipy的一款图像处理包，它将图片作为numpy数组进行处理，正好与matlab一样，因此，我们最终选择scikit-image进行数字图像处理。 Image读出来的是PIL的类型，而skimage.io读出来的数据是numpy格式的 import Image as img import os from matplotlib import pyplot as plot from skimage import io,transform #Image和skimage读图片 img_file1 = img.open('./CXR_png/MCUCXR_0042_0.png') img_file2 = io.imread('./CXR_png/MCUCXR_0042_0.png') 输出可以看出Img读图片的大小是图片的(width, height)

# OpenCV中stitching的使用 OpenCV提供了高级别的函数封装在Stitcher类中，使用很方便，不用考虑太多的细节。 低级别函数封装在detail命名空间中，展示了OpenCV算法实现的很多步骤和细节，使熟悉如下拼接流水线的用户，方便自己定制。 可见OpenCV图像拼接模块的实现是十分精密和复杂的，拼接的结果很完善，但同时也是费时的，完全不能够实现实时应用。 官方提供的stitching和stitching_detailed使用示例，分别是高级别和低级别封装这两种方式正确地使用示例。两种结果产生的拼接结果相同，后者却可以允许用户，在参数变量初始化时，选择各项算法。 具体算法流程： 命令行调用程序，输入源图像以及程序的参数 特征点检测，判断是使用surf还是orb，默认是surf。 对图像的特征点进行匹配，使用最近邻和次近邻方法，将两个最优的匹配的置信度保存下来。 对图像进行排序以及将置信度高的图像保存到同一个集合中，删除置信度比较低的图像间的匹配，得到能正确匹配的图像序列。这样将置信度高于门限的所有匹配合并到一个集合中。 对所有图像进行相机参数粗略估计，然后求出旋转矩阵 使用光束平均法进一步精准的估计出旋转矩阵。 波形校正，水平或者垂直 拼接 融合，多频段融合，光照补偿， 来源： https://www.cnblogs.com/carsonzhu/p

1 # -*- coding:utf-8 -*- 2 # author:平手友梨奈ii 3 # e-mail:1353593259@qq.com 4 # datetime:2019/10/8 0008 22:31 5 # filename:learncv2.py 6 # software: PyCharm 7 8 import cv2 9 import numpy as np 10 11 """ 12 opencv主要用于图像的预处理，例如数据增强 13 """ 14 15 # 图片加载，灰度图显示，保存 16 img = cv2.imread('demo.jpg') 17 # cv2.imshow('少女', img) 18 img_grey = cv2.imread('demo.jpg', flags=0) 19 # cv2.imshow('grey', img_grey) 20 # cv2.waitKey(0) 21 cv2.imwrite('result1.jpg', img_grey) 22 23 # 图像显示窗口的创建与销毁 24 cv2.namedWindow('window', flags=cv2.WINDOW_NORMAL) # cv2.WINDOW_NORMAL创建一个大小可以调整的窗口 25 # cv2.imshow('window', img) 26 #

数字图像的基本类型 本文讲解10种图像文件的类型和相应的扩展名，主要参考: https://blog.hubspot.com/insiders/different-types-of-image-files . https://www.jianshu.com/p/4d8cace82028 . https://www.cnblogs.com/Arvin-JIN/p/9133745.html Vector vs. Raster Rastor Image Files Rastor images, 光栅图像是由一系列的像素，或者是独立的块所组成的。 JPEG , GIF , PNG 全部都是光栅类图像的扩展。网络上所有的照片都是Raster类型，当图片被伸展的时候，一般会引起模糊，或者是不清晰的现象。另外，这类图像一般要有准确的文件后缀以标识类型。 Vector Image Files Vector images, 向量图像（矢量图）更加灵活，构建这类图像会使用比例公式而不是像素。 EPS, AI, PDF 格式的矢量图一般会在需要频繁resize的场景中所用。一般地，logo以及品牌图形应该用矢量图。 High Resolution vs. Low Resolution 读者应该听说过 DPI 与 PPI 这两种说法， DPI 表示 dots per inch 而 PPI 表示

原因 马上要做PACS(Picture Archiving and Communication Systems的缩写，意思为影像归档和通信系统。)开发了,先学些DICOM资料,暂时先记录在这里. 概要 DICOM是Digital Imaging and Communications in Medicine的英文缩写，即医学数字成像和通信标准。是 ACR （American College of Radiology,美国放射学会）和NEMA（National Electrical Manufactorers Association,国家电子制造商协会）为主制定的用于数字化医学影像传送、显示与存储的标准。在DICOM标准中详细定义了影像及其相关信息的组成格式和交换方法，利用这个标准，人们可以在影像设备上建立一个接口来完成影像数据的输入/输出工作。 DICOM标准以计算机网络的工业化标准为基础，它能帮助更有效地在医学影像设备之间传输交换数字影像，这些设备不仅包括CT、MR、核医学和超声检查，而且还包括CR、胶片数字化系统、视频采集系统和HIS／RIS信息管理系统等。 该标准1985年产生。目前版本为2003年发布的 DICOM 3.0 2003 版本。 DICOM技术概要及特点 ◆ 在应用层上通过服务和信息对象主要完成五个方面的功能： ◆ 传输和存储完整的对象（如图像、波形和文档）。 ◆

之前在做光照对于高层视觉任务的影响的相关工作，看了不少基于深度学习的低光照增强（low-light enhancement）的文章[3,4,5,7,8,9,10]，于是决定简单梳理一下。 光照估计（illumination estimation）和低光照增强（low-light enhancement）的区别：光照估计是一个专门的底层视觉任务（例如[1,2,6]），它的输出结果可以被用到其它任务中，例如图像增强、图像恢复（处理色差，白平衡）。而低光照增强是针对照明不足的图像存在的 低亮度 、 低对比度 、 噪声、伪影 等问题进行处理，提升视觉质量。值得一提的是，低光照增强方法有两种常见的模式，一种是直接end-to-end训练，另一种则包含了光照估计。 LLNet: A deep autoencoder approach to natural low-light image enhancement 2017 Pattern Recognition 这篇文章应该是比较早的用深度学习方法完成低光照增强任务的文章，它证明了基于合成数据训练的堆叠稀疏去噪 自编码器 能够对的低光照有噪声图像进行增强和去噪。模型训练基于图像块（patch），采用sparsity regularized reconstruction loss作为损失函数。 主要贡献如下： （1）我们提出了一种训练数据生成方法

1. 摘要 目前的话，低光条件下面的摄影的话，主要的图片的质量效果都不是很好的，一般的话我们使用的解决方法有两种：一种方法是使用长时间曝光，通过延长曝光时间从而使得系统能够吸收到更多的光线，从而拍摄到清晰的照片；另外的一种方法是使用提高拍摄时候的系统的感光度（ISO）数值从而实现获得更加清晰的图像的功能。其实还有第三种方法，不过只是在摄影过程中，是使用更大光圈值的光学镜头来进行拍摄。总的来说的话，基本的方法是使得整个系统接收到的光线更多，从而实现弱光环境下获得较好的图像效果。 这里面的话，各种解决方法都有各自的局限性： 使用长时间曝光的问题在于，我们没有办法对于动态的物体进行捕捉，会导致画面的模糊。 使用提高系统感光度的方法：这一种方法对于感光的元器件的要求非常的高。一般来说，能够支持很高iso的设备价格非常昂贵，而且体积都不小，仅仅是特定摄影器材。而且在非常高的iso的情况下，再好的感光元件的图像都是含有非常多不规则的热噪声。 使用更大光圈的光学镜头进行拍摄的话，同样存在着价格昂贵，不具有普适性的问题。 这篇论文采用的方法是另外一种方法，其实有一些想法和陈老师目前的实现方法有一些类似。这里面的话是设计了一组相互对应的短曝光时长的低光照图片集和长曝光时长的图片。 这个里面的话，通过构建一个端到端的全卷积网络来进行直接对于从传感器读取出来的RAW数据直接进行处理