基于小波多尺度和熵在图像字符特征提取方法的改进

通过图2可以看出，Marr零交叉边缘算子同时提取了强、弱边缘，并且边缘相对干净，噪声干扰少，连续性好。

3 基于判别熵最小化的特征提取

不同的类样本占有不同的特征空间的区域，只要这些区域不相交叠，它们就可以分开。经常用样本间的平均距离作为特征提取的判据函数。重要的距离有Minkowski度量ΔM、欧氏距离δE、Chebychev距离δr、平方距离δQ和非线性度量δN等。在不考虑各类的概率分布时，不能确切地表达各类的交叠状况，且不能直接表达错误率。为此，应考虑概率距离，利用不确定性最小的分征进行分类是最有利的，故可用熵来度量后验证概率分布的集中程序。

某此概率分布密度偏离给定标准分布的程度的度量，叫相对熵。本文假定经小波和Marr算子处理后的图像函数?(xi,yj)的概率分布为P(xi,yj)，给定标准分布ω(xi,yj)，则两者之间的相对熵为：

求和应在该特征所有可能的取值上进行。

相对熵越小，这两类概率分布的差别就越大，当两类概率分别完全相同时，相对熵达最大值（等于零）。因此可以定义判别熵W（p,q）来表征两类分布p(xi,yj)和q(xi,yi)的差别大小。

在多类情况下，可以用ΣnΣmW(p(n),q(m))表示各类分布之间的分离程度。这里n,m代表类别号。

对特征提取来说，在给定维数d的条件下，求得这样d个特征，它使上述判别熵最小。为了计算方便，本文用下列函数-U(p,q)= ΣiΣj(pi,j-qij)2≤0代替W(p,q)，而不影响选取d个最优特征的结果。

在不对概率分布作估计的情况下，可以用经过归一化处理的样本特征值代替上式中的概率分布。

K是第一类样本集中的样本号，N1是第一类的样本总数，i是特征号。由于，这样做是合理的。而U取最小值的坐标系统工程是由矩阵A=G(1)-G(2)满足一定条件的d个本征值相应的本征向量组成的。这里G(1)和G(2)分别是第一类样本集和第二类本集的协方差矩阵。即将矩阵A的本征向量uk对应的本征值λk,k=1,2,ΛD排队：选取本征值对应的本征向量为所要求的坐标轴系统，在这个坐标系统中判别熵最小。在实验中选取Shannon熵。表1和表2分别列出了真实签名和伪造签名分解后的各尺度图像的最小判别熵。

由表1和表2的计算数据可以看出，通过小波一次分解后的最小判别熵的数据可以很明显地对真假签名进行鉴别。并且，相似图形与细节图形的最小判别熵相差甚远，区别较大；而细节图形中的水平子图、斜向子图和垂直子图三部分的最小判别熵却相差较小。因此，这样提取的特征向量稳定性好、区别性大、正确性高。

表1 真实签名最小判别熵

　 相似图形 水平子图 斜线子图 垂直子图 相似图形 0.0000 56.7827 58.371 60.5942 水平子图 58.371 0.0000 1.5883 3.8115

《基于小波多尺度和熵在图像字符特征提取方法的改进(第3页)》