实验报告材料-大数据滤波和大数据压缩实验.doc

实验题目：使用Haar小波和傅里叶变换方法滤波与数据压缩1 实验目的1掌握离散数据的Haar小波变换和傅里叶变换的定义，根本原理和方法2使用C+实现数据的Haar小波变换和离散傅里叶变换3掌握数据滤波的根本原理和方法4掌握使用Haar小波变换和离散傅里叶变换应用于数据压缩的根本原理和方法，并且对两种数据压缩进展评价2 实验步骤2.1 算法原理1平均，细节与压缩原理设x1，x2是一组两个元素组成的信号，定义平均与细节为，。如此可以将a，d作为原信号的一种表示，且信号可由a，d恢复，。由上述可以看出，当x1，x2非常接近时，d会很小。此时，x1，x2可以近似的用a来表示，由此实现了信号的压缩。重构的信号为a，a，误差信号为。因此，平均值a可以看做是原信号的整体信息，而d可以看成是原信号的细节信息。用a近似的表示原信号，可以实现对原信号的压缩，而且丢失的细节对于最终信号的重构不会有重大影响。对于多元素的信号，可以看成是对于二元信号的一种推广。2尺度函数和小波方程在小波分析中，引入记号，其中，表示区间1，0上的特征函数。定义称为Haar尺度函数。由上式可知，都可以由伸缩和平移得到。小波分析中，对于信号有不同分辨率的表示，当用较低分辨率来表示原始信号时，会丢失细节信息，需要找到一个函数来描述这种信息，该函数称之为小波函数。根本的小波函数定义如下：如此。称为Haar小波。称为两尺度方程，称为小波方程。3Haar小波变换计算方法设是一个长度为(n>1)的离散信号序列，记为，该序列可以用如下的带有尺度函数来表示：一次小波分解的结果：对上式积分，由尺度函数的正交性，可得。令k=0，得到。一般的，有同理2.1.2 傅里叶变换1一维连续函数的傅里叶变换定义设f(t)为连续的时间信号，如此定义为f(t)的傅里叶变换，其反变换为。2一维离散傅里叶变换对连续的时间信号f(t)等间隔采样，得到离散序列f(n)。假设采样N次，如此序列表示为。令n为离散变量，u为离散频率变量，如此一维离散傅里叶变换与其反变换定义：傅里叶变换的数学性质中，最重要的一点是：一个在时域或空域上看起来很复杂的信号比如声音或图像通常在频域上只集中在很小一块区域内，而很大一局部数值都接近于零。即一个在空域中看起来占满全空间的信号，从频域中很可能只占用了极小一块区域，而大局部频率是被为零的。这就得到一个极为实用的结论：一个看起来信息量很大的信号，其实可以只用极少的数据就可加以描述。只要对它先做傅里叶变换，然后只记录那些不接近零的频域信息就可以达到数据压缩的目的。3快速傅里叶变换FFT原理FFT的根本思想：将大点数的DFT分解为假如干个小点数DFT的组合，从而减少运算量。令，如此F(u)可改写为。令N=2M，其中M为一正整数。带入式中，得到令，如此有，上述推导说明：对一个长度为N的序列进展傅里叶变换可以通过将其划分为2个N/2的序列进展傅里叶变换，对于N/2的傅里叶变换，可划分为两个N/4的变换，这一过程不断迭代，知道两点的序列为止，可计算出该序列的傅里叶变换。4时间抽取的基2FFT蝶形算法对于3中的计算方法，可以采用蝶形运算符号来表示。本实验中采用的算法是时间抽取的基2FFT算法实现快速傅里叶变换。2.1.3 数据压缩的评价准如此1数据压缩比设原始信号f(n)的数据量大小为S，经过数据压缩后，信号的数据量变为M，一般情况下M<S。如此数据压缩比率的定义为：由上式可知，数据压缩得越小，其数据压缩比越大。2数据失真度对于压缩后的数据，可以采用反变换等方式复原信号。设原信号为f(n)，复原信号为f1(n)，如此我们定义复原信号与原始信号的差异为数据失真度。显然，数据恢复越接近原始信号，数据失真度越小。2.2 算法步骤1Haar小波方法步骤a) 读入原始数据f(n)b) 对原始数据f(n) 进展小波变换。对原始数据进展不同层级分辨率下的小波变换，得到不同的小波变换结果An , Dnc) 对于上步中的小波变换结果，把细节分量Dn置为0，即滤波得到压缩数据 And) 对于滤波结果 An，通过小波逆变换，恢复数据e) 计算恢复数据与原始数据的差异，进展压缩评价2离散傅里叶变换步骤a) 读入原始数据f(n)b) 对原始数据f(n)进展离散傅里叶变换。使用蝶形算法计算傅里叶变换结果F(u)c) 对F(u)进展滤波，保存低频成分，舍弃高频成分，即得到原始数据的近似表示d) 对滤波结果的低频数据，高频分量恢复为零值，使用傅里叶反变换，恢复数据e) 计算恢复数据和原始数据的差异，进展压缩评价2.3 程序流程图开始读取原始数据小波变换DWT变换结果滤波数据写入文件完毕图1 Haar小波变换流程图在图1中，原始数据存放在文本文件eggs.txt中，由程序运行时读入。对结果的滤波是舍弃小波分解的细节局部。计算结果写入dwt.txt文件中。开始读取原始数据数据f(n),变换后A(n)对A(n)小波逆变换IDWT，得f1(n)计算f(n)和f1(n)差异完毕图2 Haar小波压缩数据差异计算流程图图2是计算使用Haar小波进展数据压缩后，与原始数据差异。图中的f(n)表示原始数据，A(n)是小波变化结果，f1(n)表示逆变换结果。开始读取原始数据f(n)傅里叶变换FFT,得到F(u)变换结果F(u)滤波F(u)数据写入文件完毕图3 离散傅里叶变换流程图图3是傅里叶变换流程图。原始数据是eggs.txt。对F(u)滤波时，舍弃高频信息。计算结果写入fft.txt文件中。开始读取原始数据数据f(n),变换后F1(u)对F1(u)傅里叶逆变换IFFT，得到f1(n)计算f(n)和f1(n)的差异完毕图4 离散傅里叶变换压缩数据差异计算流程图图4是傅里叶变化压缩数据后的差异计算。傅里叶逆变换时，对于高频分量补零，与低频分量来恢复数据f1(n)。3 实验结果分析1傅里叶变换图5 测试数据集的FFT变换与IFFT变换结果在上图中，得到测试数据集的傅里叶变换结果。图中带括号的是数据变换的复数结果，后边的小数是变换后的幅值。可以看出，在傅里叶变换的结果中，有1/2的数据经过变换之后变为0值。这局部为0值的数据可以采用压缩方式存储，从而压缩原始数据。并且，经过傅里叶反变换后，原始数据可以得到良好的恢复。使用eggs.txt中的数据时，由于数据量较大，此处只是局部数据截图。数据不足的局部用零补齐。可以看出，变换后的数据幅值较大，且根本没有为0数据。此时，采用阈值进展滤波处理，取阈值，即将阈值小于30的值置为0。2小波变换图7 测试数据集的小波变换DWT由上图的实验结果可以看出，数据经过小波变换后，其能量集中于数据的靠前的小波系数。对于一样的数据集，可以采用不同级别的小波变换数据。由上图，对于实验数据，经过小波变换后，大局部的数据都为0。正式小波变换的这一特点，使得小波变换可以用于数据的压缩。4 实验结论在文章的上两节中，分别介绍了使用傅里叶变换和小波变换处理数据的方法。由实验中，可以得到以下两点：第一，傅里叶变换时数据的整体变换方法，数据经过傅里叶变化后，其能量主要集中在变换结果的靠前的数据局部，对于后边的能量较小的局部，对于原始数据的差异描述，在存储时可以忽略，从而进展数据压缩。第二，小波变换的方法是既考虑数据整体性，又考虑数据的局部性。数据小波变换后，小波变换的前半局部系数表示数据的整体，后半局部表示数据的细节特征，对于一个连续的信号，其细节局部是微小的，可以忽略，从而使得小波变换的后半局部系数为0，从而实现了数据的压缩。小波变换可以在不同的层级上进展。对于一个连续的信号，采用傅里叶变换或是小波变换，数据可以得到较好的恢复，例如实验中的测试样本数据。对于给定的eggs.txt数据集，由于其波动较大，细节差异超过了原始信号，对其进展压缩，恢复得到的数据跟原始数据的差异很大。5 实验心得体会1 傅里叶变换和小波变换的原始数据快速傅里叶变换和小波变换处理的数据都是个。对于不足N的数据，用零补齐后进展相应的变换，原始数据实际上改变。2数据恢复数据压缩后，为了得到数据，数据恢复是必须的。对于傅里叶变换，采用傅里叶反变换的方法，可以得到压缩数据的回复数据；对于小波变换，如此采用小波重构的方式。由于采用的压缩方式是有损的，所以恢复得到数据并非原始数据。3小波变换可以得到数据的不同分辨率的表示，对于数据的滤波和压缩也可以在不同的分辨率上进展。原始数据是最高分辨率。采用的分辨率越高，如此对于数据的压缩比越小。4对于非个数据的原始数据集不采用补零方式，其傅里叶变换应如何计算？参考文献 4 数字图像处理实例与解析/钟志光，卢军，X伟荣编著.-：清华大学,2003