基于熵的模糊信息测度研究

第３５卷第４期　２０１２年４月　计　算　机　学　报　Ｖｏ１．３５　Ｎｏ．４　Ａｐｒ．２０１２　ＣＨＩＮＥＳＥ　Ｊ　ＯＵＲＮＡＬ　ＯＦ　ＣＯＭＰＵＴＥＲＳ　基于熵的模糊信息测度研究　丁世飞”　朱　红”　许　新征”　史忠植　”（中国矿业大学计算机科学与技术学院江苏徐州２２１ｌ１６）　北京１００１９０）　。　（中国科学院计算技术研究所智能信息处理重点实验室摘　要模糊信息测度（Ｆｕｚｚｙ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｍｅａｓｕｒｅｓ，ＦＩＭ）是度量两个模糊集之间相似性大小的一种量度，在模式　识别、机器学习、聚类分析等研究中，起着重要的作用．文中对模糊测度进行了分析，研究了基于熵的模糊信息测度　理论：首先，概述了模糊测度理论，指出了其优缺点；其次，基于信息熵理论，研究了模糊熵理论，建立了模糊熵公理　化体系，讨论了各种模糊熵，在此基础上，提出了模糊绝对熵测度、模糊相对熵测度等模糊熵测度；最后，基于交互　熵理论，建立了模糊交互熵理论，进而提出了模糊交互熵测度．这些测度理论，不仅丰富与发展了ＦＩＭ理论，而且为　模式识别、机器学习、聚类分析等理论与应用研究提供了新的研究方法．　关键词模糊熵；模糊交互熵；模糊绝对熵测度；模糊相对熵测度；模糊交互熵测度　ＴＰ１８　ＤＯＩ号：１０．３７２４／ＳＰ．Ｊ．１０１６．２０１２．００７９６　中图法分类号Ｅｎｔｒｏｐｙ—Ｂａｓｅｄ　Ｆｕｚｚｙ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｍｅａｓｕｒｅｓ　ＤＩＮＧ　Ｓｈｉ—Ｆｅｉ　，　ＺＨＵ　Ｈｏｎｇ　’　ＸＵ　Ｘｉｎ—Ｚｈｅｎｇ　’　ＳＨＩ　Ｚｈｏｎｇ—Ｚｈｉ　’　”（Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ。Ｃｈｉｎａ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｍｉｎｉｎｇ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｘｕｚｈｏｕ，Ｊｉａｎｇｓｕ　２２ｌ１１６）　（Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｏｆ　Ｉｎｔｅｌｌｉｇｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ，Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｃｏｍｐｕｔｉｎｇ　Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ　１００１９０）　Ａｂｓｔｒａｃｔ　Ｆｕｚｚｙ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｍｅａｓｕｒｅｓ（ＦＩＭ）ａｒｅ　ｔｏ　ｂｅ　ｕｓｅｄ　ｔｏ　ｍｅａｓｕｒｅ　ｓｉｍｉｌａｒｉｔｙ　ｂｅｔｗｅｅｎ　ｔｗｏ　ｆｕｚｚｙ　ｓｅｔｓ　ａｎｄ　ｐｌａｙｓ　ａｎ　ｉｍｐｏｒｔａｎｔ　ｐａｒｔ　ｉｎ　ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ，ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ，ｃｌｕｓｔｅｒｉｎｇ　ａｎａｌｙ—　ｓｉｓ．Ｉｎ　ｔｈｉｓ　ｐａｐｅｒ，ＦＩＭ　ｔｈｅｏｒｙ　ｉｓ　ｓｔｕｄｉｅｄ　ｂａｓｅｄ　ｏｎ　ｉｎｆｏｒｍａｔｉｏｎ　ｅｎｔｒｏｐｙ．Ｆｉｒｓｔｌｙ，ｔｈｅ　ｅｘｉｓｔｉｎｇ　ＦＩＭ　ｔｈｅｏｒｉｅｓ　ａｒｅ　ｉｎｔｒｏｄｕｃｅｄ　ａｎｄ　ｓｏｍｅ　ａｄｖａｎｔａｇｅｓ　ａｎｄ　ｄｉｓａｄｖａｎｔａｇｅｓ　ａｒｅ　ｐｏｉｎｔｅｄ　ｏｕｔ．Ｓｅｃｏｎｄｌｙ，ｂａｓｅｄ　ｏｎ　ｉｎｆｏｒｍａｔｉｏｎ　ｅｎｔｒｏｐｙ，ｔｈｅ　ｆｕｚｚｙ　ｉｎｆｏｒｍａｔｉｏｎ　ｅｎｔｒｏｐｙ　ｉｓ　ｓｔｕｄｉｅｄ，ｆｏｕｒ　ａｘｉｏｍｓ　ａｂｏｕｔ　ｆｕｚｚｙ　ｅｎｔｒｏ—　ＰＹ　ａｒｅ　ｓｅｔ　ｕｐ，ａｎｄ　ａｌｌ　ｋｉｎｄｓ　ｏｆ　ｄｅｆｉｎｉｔｉｏｎｓ　ｏｆ　ｆｕｚｚｙ　ｅｎｔｒｏｐｙ　ａｒｅ　ｄｉｓｃｕｓｓｅｄ．Ｂａｓｅｄ　ｏｎ　ｆｕｚｚｙ　ｅｎｔｒｏｐｙ，　ｔｗｏ　ｎｅｗ　ｆｕｚｚｙ　ｅｎｔｒｏｐｙ　ｍｅａｓｕｒｅｓ，ｆｕｚｚｙ　ａｂｓｏｌｕｔｅ　ｉｎｆｏｒｍａｔｉｏｎ　ｍｅａｓｕｒｅ（ＦＡＩＭ）ａｎｄ　ｆｕｚｚｙ　ｒｅｌａｔｉｖｅ　ｉｎｆｏｒｍａｔｉｏｎ　ｍｅａｓｕｒｅ（ＦＲＩＭ）ａｒｅ　ｐｒｏｐｏｓｅｄ．Ａｔ　ｌａｓｔ，ｂａｓｅｄ　ｏｎ　ｃｒｏｓｓ　ｅｎｔｒｏｐｙ，ｔｈｅ　ｆｕｚｚｙ　ｃｒｏｓｓ　ｅｎ—　ｔｒｏｐｙ　ｉｓ　ｄｉｓｃｕｓｓｅｄ，ａｎｄ　ｆｕｚｚｙ　ｃｒｏｓｓ　ｅｎｔｒｏｐｙ　ｍｅａｓｕｒｅ（ＦＣＥＭ）ｉｓ　ｓｅｔ　ｕｐ．Ａｌｌ　ｔｈｅｓｅ　ｍｅａｓｕｒｅｓ，ｎｏｔ　ｏｎｌｙ　ｅｎｒｉｃｈ　ａｎｄ　ｄｅｖｅｌｏｐ　ＦＩＭ　ｔｈｅｏｒｙ，ｂｕｔ　ａｌｓｏ　ｐｒｏｖｉｄｅ　ａ　ｎｅｗ　ｒｅｓｅａｒｃｈ　ａｐｐｒｏａｃｈ　ｆｏｒ　ｓｔｕｄｉｅｓ　ｏｎ　ｐａｔ—　ｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ，ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ，ｃｌｕｓｔｅｒｉｎｇ　ａｎａｌｙｓｉｓ　ｅｔ　ａｌ　ｉｎ　ｔｈｅｏｒｙ　ａｎｄ　ａｐｐｌｉｃａｔｉｏｎ．　Ｋｅｙｗｏｒｄｓ　ｆｕｚｚｙ　ｅｎｔｒｏｐｙ；ｆｕｚｚｙ　ｃｒｏｓｓ　ｅｎｔｒｏｐｙ；ｆｕｚｚｙ　ａｂｓｏｌｕｔｅ　ｅｎｔｒｏｐｙ　ｍｅａｓｕｒｅ（ＦＡＥＭ）；ｆｕｚｚｙ　ｒｅｌａｔｉｖｅ　ｅｎｔｒｏｐｙ　ｍｅａｓｕｒｅ（ＦＲＥＭ）；ｆｕｚｚｙ　ｃｒｏｓｓ　ｅｎｔｒｏｐｙ　ｍｅａｓｕｒｅ（ＦＣＥＭ）　收稿日期：２００８—０１－０３；最终修改稿收到日期：２０１卜１０一Ｏ９．本课题得到国家自然科学基金项目（４１０７４００３，６０９７５０３９）、国家“九七三”重点　基础研究发展规划项目基金（２００７ＣＢ３１１００４）、江苏省基础研究计划（自然科学基金）（ＢＫ２００９０９３）和中国科学院智能信息处理重点实验　室开放基金项目（ＩＩＰ２０１０—１）资助．丁世飞，男，１９６３年生，博士，教授，博士生导师，主要研究领域为智能信息处理、模式识别与人工智能、　机器学习及数据挖掘理论与应用研究．Ｅ—ｍａｉｌ：ｄｉｎｇｓｆ＠ｃｕｍｔ．ｅｄｕ．ｃｎ；ｄｉｎｇｓｈｉｆｅｉ＠ｓｉｎａ．ｃｏｒｎ．朱红，女，１９７０年生，博士研究生，副教授，　中国计算机学会（ＣＣＦ）会员，主要研究方向为智能信息处理、机器学习以及粒度计算等．许新征，男。１９８０年生，博士研究生，讲师，中国　计算机学会（ＣＣＦ）会员，主要研究方向为智能信息处理、模式识别、机器学习以及粒度计算等．史忠植，男，１９４１年生，教授，博：上生导师，　主要研究领域包括智能科学、图像处理、认知计算、机器学习、Ａｇｅｎｔ等．　４期　丁世飞等：基于熵的模糊信息测度研究　引　言　模式识别（Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，ＰＲ）是智能信　息处理中的一个重要学科领域，不是一门简单的分　类学，它包括对系统的描述、理解与综合，它要通过　大量信息对复杂过程进行学习、判断和寻找规律．模　式识别诞生于２０世纪２Ｏ年代，随着４ｏ年代计算机　的出现，５０年代人工智能的兴起，模式识别在６０年　代初迅速发展成一门学科，它所研究的理论和方法　在很多科学和技术领域中得到了广泛的重视，推动　了人工智能系统的迅速发展【。’　．从本质上说，ＰＲ方　法就是将观测模式向量与已知模式类相比较，而归　根结底是测试模式与已知模式类中的模式向量相比　较，如果测试模式与模式类最相似，则就将其归入该　模式类中，以实现模式的分类识别．因此研究如何度　量两个模式之间的相似性测度问题是ＰＲ研究中的　核心问题之一．　为了能划分模式的类别，必须首先定义模式相　似性测度，用来刻画各模式之间的相似程度．常用的　主要有距离测度（差值测度），它是以两个模式向量　矢端的距离为基础，是两个向量各对应分量之差　的函数，两个模式越相似，其距离测度值越小．常　见的距离测度有欧氏（Ｅｕｃｌｉｄｅａｎ）距离、绝对值距　离（或Ｍａｎｈａｔｔａｎ距离）、切氏（Ｃｈｅｂｙｓｈｅｖ）距离、明　氏（Ｍｉｎｋｏｗｓｋｉ）距离及马氏（Ｍａｈａｌａｎｏｂｉｓ）距离　等【　；相似测度，它是以两个模式向量的方向是否　相近作为考虑的基础，向量的大小并不重要，两个模　式向量越相似，其相似性测度值越大．常用的几种相　似性测度有夹角余弦（也称为角度相似系数）、相关　系数、指数相似系数等；匹配测度，这种测度多用于　医学和植物的分类之中．在有些情况下，特征只有两　个状态，对象或具有此特征或不具有此特征．此时，若　对象有此特征，则相应分量定义为１；若对象无此特　征，则相应分量定义为０，这就是所谓的二值特征．对　于二值ｎ维模式向量，常用的匹配测度有Ｔａｎｉｍｏｔｏ　测度、Ｒａｏ测度、简单匹配系数、Ｄｉｃｅ系数、Ｋｕｌｚｉｎｓｋｙ　系数等．这些测度理论与方法，在模式识别与分类、　图像处理以及无监督学习理论中发挥了重要的作　用，但本质上他们都是利用了确定环境下两模式的　相似性度量．而在实际工作中，人们经常遇到随机环　境、模糊环境等不确定性环境，研究不确定性环境下　两模式的相似性度量具有重要的理论意义与实践　意义．　美国控制论专家扎德（Ｚａｄｅｈ　Ｉ　Ａ）于１９６５年在　《Ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　Ｃｏｎｔｒｏｌ》杂志上发表了题为　“Ｆｕｚｚｙ　ｓｅｔｓ”的著名论文，这标志着模糊理论的产　生　］．该理论引起了数学界和科技工程界的极大兴　趣并对其进行了深入广泛的研究，理论成果和应用　成果不断出现，从而创建了一门新的学科——模糊　数学　］．有关模糊信息处理的理论和应用取得了重　大进展，并由此产生了模糊模式识别（Ｆｕｚｚｙ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，ＦＰＲ）方法，在ＦＰＲ理论与应用研究　中，模糊贴近度作为两个模糊集之间彼此接近的程　度的一种度量，起到了关键作用　］．但这种模糊贴近　度是建立在模糊贴近度公理化基础之上，计算复杂　度较高．本文将研究基于距离测度公理化理论基础　上的模糊信息测度ｌ８。¨，这样一方面弱化了模糊贴　近度公理化条件，从而增大了模糊测度的应用领域，　另一方面，不仅进一步丰富与发展了ＦＩＭ理论，而　且为模式识别、机器学习、聚类分析等理论与应用研　究提供了新的研究方法．　２模糊熵测度　２．１　信息熵　设有一离散型随机变量ｘ，其，ｚ个可能的取值　为ａ　，ａ　，…，ａ　，每一结果出现的概率分别是　，　Ｐ　，…，Ｐ　，Ｘ的概率空间可表示为　［ｘ．Ｐ］：Ｊ　ｌＰ以”…加”　（１）　：　１，　２，…，　其中　一１，ｏ＜ｐ　１．　ｉ＝ｌ　由于Ｅｘ・Ｐ］完整地描述了由Ｘ所代表的离散　信源的特性，故称为信源ｘ的信源空间．我们称　Ｉ（ａ　）一一ｌｏｇｐ　，ｉ一１，２，…，　（２）　为信息函数，在事件｛Ｘ＝＝＝ａ　｝发生之前，表示事件的　不确定性；在事件｛Ｘ—ａ　｝发生以后，表示事件所含　有的信息量，又称为。　的自信息．Ｓｈａｎｎｏｎ把信息函　数在信源空间Ｉｘ・Ｐ］中的统计平均值　Ｈ（ｘ）一Ｈ（ｐｌ，　２，…，Ｐ　）一一　ｌｏｇｐ　（３）　ｉ—ｌ　作为信源ｘ的不确定性程度的度量，称为信息熵、　Ｓｈａｎｎｏｎ熵或概率熵＿ｊ　¨］．　２．２模糊熵　模糊熵（Ｆｕｚｚｙ　Ｅｎｔｒｏｐｙ）是模糊信息处理的基　本函数，用以度量模糊集合的模糊程度，在模式识　别、图像处理、语言分析等许多领域有着广泛的应　用［１　５　１　６］．　一般来说，关于模糊集Ａ的信息熵，即模糊熵　７９８　计　算　机　学　报　２０１２住　是下列一个映射：　Ｈ：　（Ｘ）一Ｒ　…　Ａ［－－￣Ｈ（Ａ）　４　这里假定　（ｘ）是离散论域Ｘ：＝：｛－ｚ　，ｚ。，…，Ｉｚ　｝上所　有模糊子集的集合，ＡＥ　（Ｘ）．通常Ｈ满足Ｄｅｌｕｃａ－　Ｔｅｒｍｉｎｉ　４条公理，即　（１）Ｈ（Ａ）一０∞　Ａ（ｚ）一０或１，Ｖｘ∈Ｘ；　（２）Ｈ（Ａ）取最大值甘　Ａ（ｚ）一１／２，ＶｘＥ　ｘ；　（３）如果Ａ＜Ｂ，则Ｈ（Ａ）三三三Ｈ（Ｂ），其中“Ａ＜Ｂ”　表示Ａ比Ｂ峰化，即　ｆＯ＜＿／２Ａ（ｚ）三三三　口（ｚ）三三三１／２，ｏ三三三　Ｂ（ｘ）￣ｌ／２　ｌ１／２　Ｂ（ｚ）三三三　（ｚ）　１，１／２＿＜＿ｚＢ（ｚ）三三三１。　（４）Ｈ（Ａ）一Ｈ（Ａ），其中Ａ是Ａ的补集．　模糊熵刻画一个模糊集的整体模糊程度，上面　４条公理是容易理解的：分明集显然是不模糊的，即　模糊熵等于零；（２）和（３）表明，从总体上讲各元素隶　属度越接近于１或０，越不模糊，越接近于０．５，越模　糊；（４）表明Ａ与它的补集Ａ具有相同的模糊程度．　２．３模糊熵测度　我们知道，在Ｓｈａｎｎｏｎ信息理论中，平均互信息　量　（Ｘ；ｙ）度量了两个随机变量Ｘ与ｙ之间的公共　信息，又称为公共信息量（Ｍｕｔｕａｌ　Ｉｎｆｏｒｍａｔｉｏｎ，ＭＩ），　借用Ｓｈａｎｎｏｎ信息理论的有关提法，研究两个模糊　集之间的模糊公共信息量．下面虽然我们借用了　Ｓｈａｎｎｏｎ信息熵的提法，但从概念上是完全不同的．　定义１．　设ｘ为离散论域，Ａ，ＢＥ　（Ｘ），记　Ｘ　一｛ｚ　ｌ　ｚ∈Ｘ，／２Ａ（ｚ）三三三　Ｂ（ｚ）｝，　Ｘ一一｛ｚ１．２２∈Ｘ，／２Ａ（１ｚ）＜　Ｂ（ｚ）｝，　则有　（１）模糊熵　Ｈ（Ａ）一一　∑［～ｚＥ－Ｘ　　（ｘ）ｌｏｇ２／Ａ（１ｚ）＋　（１一　Ａ（ｚ））ｌｏｇ（１－－／２Ａ（ｚ））］　（５）　Ｈ（Ｂ）一一　∑Ｅ２／　（ｘ）ｌｏｇ２／　（ｚ）＋　ｚ∈Ｘ　（１－－／２Ｂ（ｚ））ｌｏｇ（１～　Ｂ（ｚ））］　（６）　（２）模糊联合熵　Ｈ（ＡＵＢ）一　寺∑｛～　∈Ｘ　Ｌ　（ｘ）Ｖ２／　（ｘ）￣ｌｏｇＥ２／Ａ（ｘ）Ｖ２／　（　）］＋　［１一　Ａ（ｘ）Ｖ／２Ｂ（ｘ）￣ｌｏｇＥ１－－／２Ａ（ｘ）Ｖ／２Ｂ（ｚ）］｝一　∑｛　（ｘ）ｌｏｇ２／Ａ（ｚ）一［１－￣Ａ（Ｘ）］ｌｏｇＥｌ－２／Ａ（Ｘ）］｝一　∈ｘ　寺∑　（ｘ）ｌｏｇ２／　（ｚ）　１　（ｘ）３１ｏｇＥ１－／２　（ｚ）］）　∈　（７）　（３）模糊条件熵　Ｈ（Ａ／Ｂ）＝一　１∑｛／２Ａ（ｚ）ｌ。ｇ／２Ａ（ｚ）　Ｂ（ｚ）ｌ。ｇ／２Ｂ（ｚ）＋　．Ｅ１－－ＺＡ（Ｘ）］ｌｏｇＥ１－－￣Ａ（ｚ）］一［１　Ｂ（ｘ）］ｌｏｇ［－１－－／２Ｂ（　）］｝　（８）　Ｈ（Ｂ／Ａ）：一吉∑｛　（ｚ）ｌ。即ｅ（ｚ）＿　（ｚ）ｌ。即Ａ（ｚ）＋　［１—　Ｂ（ｘ）］ｌｏｇＥ１－／２　（　）］一［１—　Ａ（１ｚ）］ｌｏｇ［１一，“（ｚ）］｝　（９）　它们具有下列性质．　定理１．　设Ｘ为离散论域，Ａ，Ｂ∈　（Ｘ），则　Ｈ（Ａ／Ｂ）　Ｈ（Ａ）　（１０）　Ｈ（Ｂ／Ａ）　Ｈ（Ｂ）　（１１）　证明．　首先证明式（１０）．　Ｈ（Ａ）一Ｈ（Ａ／Ｂ）一　～ｌ￣ｘＥ２／ｆ（ｚ）ｌｏｇ２／Ａ（ｚ）＋（１　（ｚ））ｌｏｇ（１—　Ａ（ｚ））］＋　∑｛　Ａ（训。ｇ／２Ａ（１ｚ）一　Ｂ（训。ｇ／２Ｂ（ｚ）＋　．［１－－２／Ａ（Ｘ）］Ｉｏｇ［－１　Ａ（ｘ）Ｊ－Ｅ１　Ｂ（ｘ）￣ｌｏｇＶ１　Ｂ　）］｝　一一去∑　ｅ（ｚ）ｌ。ｇ２／ｅ（ｚ）＋　（１——　Ｂ（Ｉｚ））ｌｏｇ（１一　Ｂ（ｚ））］一　∑［２／Ａ（ｘ）１。ｇ２／Ａ（Ｘ）＠（Ｉ￣Ａ（Ｘ））１０ｇ（１　（　］　三三＝Ｏ，　所以Ｈ（Ａ／Ｂ）　Ｈ（Ａ）成立．　同理可证式（１１）成立，即Ｈ（Ｂ／Ａ）　Ｈ（Ｂ）．　由定理１的证明，不难看出下列结论成立．　定理２．　设Ｘ为离散论域，Ａ，Ｂ∈　（Ｘ），则　Ｈ（Ａ）一Ｈ（Ａ／Ｂ）一Ｈ（Ｂ）一Ｈ（Ｂ／Ａ）　（１２）　借助于Ｓｈａｎｎｏｎ信息理论中公共信息量的概　念，我们得到下列定义．　定义２．　设Ｘ为离散论域，Ａ，Ｂ∈　（Ｘ），则称　绝对差值Ｈ（Ａ）一Ｈ（Ａ／Ｂ）为Ａ与Ｂ的模糊公共　信息量（Ｆｕｚｚｙ　Ｍｕｔｕａｌ　Ｉｎｆｏｒｍａｔｉｏｎ，ＦＭＩ），记作　Ｈ（ＡｎＢ），即　Ｈ（ＡｎＢ）一Ｈ（Ａ）一Ｈ（Ａ／Ｂ）一　去∑［　（ｚ）ｌ。ｇ２／ｅ（ｚ）＋（１　ｅ（ｚ））ｌｏｇ（１－２／。　））］一　∈Ｘ　∑［２／Ａ（Ｘ）１。ｇ２／Ａ（Ｘ）－］－（１一／２Ａ（Ｘ））１Ｏｇ（１一　））］　ｚ∈Ｘ　（１３）　类似地可定义Ｈ（ＢｎＡ），即　４期　丁世飞等：基于熵的模糊信息测度研究　７９９　Ｈ（ＢｎＡ）一Ｈ（Ｂ）一Ｈ（Ｂ／Ａ）一　一在实际测量数据处理中，信息并非必然具有概率性　∑［　（ｘ）ｌｏｇ／￣Ｂ（　）＋（１—　（ｘ））ｌｏｇ（１－￣　（　））］一　３－ＥＸ＋　质，在某些非概率情况下，一样存在信息，就是说存　在着所谓的“非概率信息”．　寺∑￣／ＡＡ（Ｘ）１ｏｇ，ｕＡ（ｘ）＠（１一／ＡＡ（５２１））ｌｏｇ（１一　Ａ（ｚ））］　～　根据式（１８），当　一２时，令Ｐ一（ｐ，１一　），Ｑ一　∈　（１４）　根据定理２及定义２，容易看出ＦＭＩ满足非负　性、对称性等基本性质，所以ＦＭＩ是一种广义的、绝　对的模糊性测度，称之为模糊绝对熵测度（Ｆｕｚｚｙ　Ａｂｓｏｌｕｔｅ　Ｅｎｔｒｏｐｙ　Ｍｅａｓｕｒｅ，ＦＡＥＭ），它在某种程　度上度量了两个模糊集Ａ与Ｂ之间的相似性程度．　对模糊集Ａ与Ｂ之间的相似性程度，除了用　ＦＡＥＭ度量之外，在实际应用中，我们有时会用到　相对的模糊性度量，下面我们给出一种相对的模糊　性度量．　定义３．　设Ｘ为离散论域，Ａ，Ｂ∈　（Ｘ），则称　Ｒ（Ａ，Ｂ）一　旦　口旦　一旦　Ｈ（Ａ）Ｈ（Ａ）　二旦　旦　（１５）　为Ｂ对Ａ的模糊相对公息（Ｆｕｚｚｙ　Ｒｅｌａｔｉｖｅ　Ｍｕｔｕａｌ　Ｉｎｆｏｒｍａｔｉｏｎ，ＦＲＭＩ）．　同样地　Ｒ（Ｂ，Ａ）－－　一　（１６）　称为Ａ对Ｂ的模糊相对公息（ＦＲＭＩ）．　由于Ｒ（Ａ，Ｂ）≠Ｒ（Ｂ，Ａ），即ＦＲＭＩ不满足对称　性，为此我们对ＦＲＭＩ改进如下．　定义４．　设Ｘ为离散论域，Ａ，Ｂ∈　（Ｘ），则称　ｓ（Ａ，Ｂ）一Ｒ　，Ｂ）＋Ｒ（　）一　＋　（１７）　为Ａ与Ｂ的模糊相对熵测度（Ｆｕｚｚｙ　Ｒｅｌａｔｉｖｅ　Ｅｎｔｒｏｐｙ　Ｍｅａｓｕｒｅ。ＦＲＥＭ）　ＦＲＥＭ表示在模糊信息方面模糊集Ａ与Ｂ之　间的模糊相似性度量，可用于聚类分析、图像处理等　方面．　３模糊交互熵测度　３．１模糊交互熵　对于ｘ的两个概率分布向量Ｐ一（Ｐ　，Ｐｚ，…，　Ｐ　），Ｑ一（ｑ　，ｑ　，…，ｑ　），Ｐ对Ｑ的交互熵为　Ｈ（Ｐ　ｌ　ｌＱ）一∑Ｐｉｌｏｇ　（１８）　ｉ一１　交互熵概念在Ｓｈａｎｎｏｎ信息理论中占有非常重要　的地位，用于度量两个概率分布间的差异性信息．但　（ｑ，１一ｑ），则　Ｈ（Ｐｌｌ　Ｑ）一ｐｌ。ｇ予　卜ｐ）ｌ。ｇ　（１９）　由于模糊集合的隶属度函数与其补集的隶属度　函数间的关系与式（１９）是类似的，因而仿此可定义　一种类似的熵，称之为模糊交互熵，用以度量一个可　能性分布与另一个可能性分布之间的信息差异程度．　定义５．　设　Ａ一（　Ａ（ｘ１），　Ａ（ｘ２），…，　Ａ（ｚ　）），　Ｂ一（　Ｂ（ｘ１），　Ｂ（ｘ２），…，　Ｂ（　））　为两个模糊向量，对于某个ｚ　，定义　（ｚ　）对　（１ｚ　）的交互熵为　－厂［　Ａ（ｚ　）ｌ　ｌ（ｚ　）］一　ｌＯｇ　＋（１－－／ＡＡ（ｘ￣））ｌｏｇ　（２０）　因此，两个模糊集Ａ对Ｂ的模糊交互熵（Ｆｕｚｚｙ　Ｃｒｏｓｓ　Ｅｎｔｒｏｐｙ，ＦＣＥ）可定义为　Ｆ（Ａ　ｌ　ｌＢ）一　骞｛ＰＡ　ｃｘ￣）ｌｏｇ　ｃ　１－／２Ａ　（ｘｉ））　（２１）　式（２１）有个缺点，即当　（ｚ　）－＋０（或１）时，其　值趋向于无穷大，为此仿照ＦＣＥ的定义，改进的模　糊交互熵（Ｉｍｐｒｏｖｅｄ　ＦＣＥ，ＩＦＣＥ）定义如下：　Ｆ（Ａ　ｌ１Ｂ）一娄　Ｘｉ）ｌｏｇ　２　Ｉ￣Ａ（Ｘ　ｉ）　Ｆ　（１－￣Ａ（２Ｃｉ）ｌｏｇ　２（１　－　，ＵＡ　（Ｘｉ　））　）　（２２）　这样对于所有的　（ｚ　）和　（ｚ　）该公式都有定义．　３．２模糊交互熵测度　可以证明，Ｆ（Ａ　ｌ　ｌＢ）只满足非负性，而不满足　对称性，为此我们构造对称型的模糊交互熵．　定义６．　设　Ａ一（　Ａ（ｘ１），　Ａ（ｘ２），…，　Ａ（ｚ　）），　Ｂ一（／１Ｂ（ｘ１），　Ｂ（ｘ２），…，　Ｂ（　））　为两个模糊向量，Ｆ（Ａ　１ｌ　Ｂ）与Ｆ（Ｂ　ｉ　ｌＡ）分别为Ａ　对Ｂ和Ｂ对Ａ的模糊交互熵，则　Ｄ（Ａ，Ｂ）＝＝：Ｆ（Ａ　Ｉｌ　Ｂ）＋Ｆ（Ｂ　ｌ　ｌＡ）　（２３）　称为对称模糊交互熵（Ｓｙｍｍｅｔｒｉｃ　Ｆｕｚｚｙ　Ｃｒｏｓｓ　８００　计　算　机　学　报　２Ｏ１２年　Ｅｎｔｒｏｐｙ，ＳＦＣＥ）．　下面给出并证明ＳＦＣＥ的性质．　定理３．　对称模糊交互熵（ＳＦＣＥ），即Ｄ（Ａ，Ｂ）　具有下列性质：　（１）非负性．Ｄ（Ａ，Ｂ）　０；　（２）规范性．Ｄ（Ａ，Ｂ）一Ｏ㈢Ａ—Ｂ；　（３）与模糊熵的关系．　Ｄ（Ａ，Ａ）一（一２ｎｌｏｇ２）　（Ａ）＋２ｎｌｏｇ２，　其中　Ａ）一　ｌｏｇ　）＋　（１一　Ａ（Ｌｚ　））ｌｏｇ（１一　Ａ（ｚ　ｚ））｝　（２４）为模糊熵．　证明．　性质（１）、（２）是显然的，下面证明性　质（３）：　根据式（２２）与式（２３），我们有　Ｄ（Ａ，Ｂ）一Ｆ（Ａ　ｌ　ｌＢ）＋Ｆ（Ｂ｝　ｌＡ）　一￣ｉ　１１　｛２／Ａ（ｘ；）ｌｏｇｐＡ～ｔ，　ｆ＾Ｂ＋　、一ｌ　（１－２／Ａ　ｃ　ｌｏｇ　）＋　耋　＝　１　。ｇ　２Ａ、～丽２／ｚ，　Ｂ（。ＸＰ１　）、～ｚ　＋　（１一　ｌｏｇ　２　（１－　２／８　（ｘ／）））　（２５）　设Ｂ—Ａ一，则有　Ｂ（ｘｉ）一　（ｚ　）一１－－／２ａ（ｚ　）　（２６）　将式（２６）代人式（２５），得到　Ｄ（Ａ，　）一∑｛２／Ａ（ｚ　）１ｏｇ［２２／Ａ（ｚ　）］＋　ｉ＝１　（１－－／２Ａ（ｚ　）ｌｏｇ［２（１－－／２Ａ（　））］）＋　∑｛（１一　Ａ（ｚ　））ｌｏｇ［２（１一　Ａ（ｚ　））］＋　ｉ＝１　Ａ（ｚ　）ｌｏｇＥ２／２Ａ（１ｚ　）］｝　一２∑｛ｉ＝１　　（ｚ　）ｌｏｇ２／Ａ（　）＋　（１一　Ａ（ｚ　）ｌｏｇ（１一　Ａ（　））＋ｌｏｇ２）　（一ｌ０ｇ２　ｌ（一　）　唧　］　（１一　Ａ（ｚ　））ｌｏｇ（１－－１２Ａ（ｚ　）））Ｊ＋２ｎｌｏｇ２　．Ｊ　：（一２ｎｌｏｇ２）ｄ（Ａ）＋２ｎｌｏｇ２．　因此有　Ｄ（Ａ，Ａ）一（一２ｎｌｏｇ２）ｄ（Ａ）＋２ｎｌｏｇ２．　性质（３）得证．　对于任意有限的模糊集合Ａ，有Ｏ　ｄ（Ａ）　１，　因此得０　Ｄ（Ａ，Ａ）　２ｎ　ｌｏｇ２，所以当Ａ—Ａ时，　Ｄ（Ａ，Ａ）一０达到最小值；当Ａ是普通集合时，　Ｄ（Ａ，Ａ）一２ｎｌｏｇ２达到最大值，所以Ａ与Ａ相差越　大，Ｄ（Ａ，Ａ）也越大，反之亦然．　Ｄ（Ａ，Ｂ）是一种广义的距离测度，用以度量两　个模糊集Ａ与Ｂ之间的差异程度，作为两个模糊集　之间的一种信息度量准则，我们称之为模糊交互熵　测度（Ｆｕｚｚｙ　Ｃｒｏｓｓ　Ｅｎｔｒｏｐｙ　Ｍｅａｓｕｒｅ，ＦＣＥＭ）．　４结论　在现有模糊信息测度理论研究基础上，基于　Ｓｈａｎｎｏｎ信息理论，给出了模糊熵公理化理论，讨论　了模糊熵的各种定义．在此基础上，建立了模糊绝对　熵测度（ＦＡＥＭ）、模糊相对熵测度（ＦＲＥＭ）；在交互　熵理论研究的基础上，给出了模糊交互熵的定义，以　此为基础，建立了模糊交互熵测度（ＦＣＥＭ）．这些理　论与方法，拓宽了模糊信息测度理论研究领域，为进　一步开展模式识别、机器学习、聚类分析等理论与应　用研究提供了理论基础．　参　考　文　献　［１］Ｄｕｄａ　Ｒ　Ｏ，Ｈａｒｔ　Ｐ　Ｅ．Ｐａｔｔｅｒｎ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｎｄ　Ｓｃｅｎｅ　Ａｎａｌ—　ｙｓｉｓ．Ｎｅｗ　Ｙｏｒｋ：Ｊｏｈｎ　Ｗｉｌｅｙ　ａｎｄ　Ｓｏｎｓ，１９７３　［２３　Ｂｉａｎ　Ｚｈａｏ—Ｑｉ，Ｚｈａｎｇ　Ｘｕｅ—Ｇｏｎｇ．Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ．　Ｂｅｉｊｉｎｇ：Ｔｓｉｎｇｈｕａ　Ｕｎｉｖｅｒｓｉｔｙ　Ｐｒｅｓｓ，２０００（ｉｎ　Ｃｈｉｎｅｓｅ）　（边肇祺，张学工．模式识别．北京：清华大学出版社，２０００）　［３］Ｓｕｎ　Ｊｉ—Ｘｉａｎｇ．Ｍｏｄｅｒｎ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ．Ｃｈａｎｇｓｈａ：Ｔｈｅ　Ｄｅｆｅｎｃｅ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ　Ｐｒｅｓｓ，２００２（ｉｎ　Ｃｈｉｎｅｓｅ）　（孙即祥．现代模式识别．长沙：国防科技大学出版社，　２００２）　［４］Ｔｏｕ　Ｊ　Ｔ，Ｇｏｎｚａｌｅｚ　Ｒ　Ｃ．Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｐｒｉｎｃｉｐｌｅｓ．　Ｌｏｎｄｏｎ：Ａｄｄｉｓｏｎ—Ｗｅｓｌｅｙ　Ｐｕｂｌｉｓｈｉｎｇ　Ｃｏｍｐａｎｙ，１９７４　［５］Ｚａｄｅｈ　Ｌ　Ａ．Ｆｕｚｚｙ　ｓｅｔｓ．Ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　Ｃｏｎｔｒｏｌ，１９６５，　８（４）：３３８—３５３　［６］Ｈｅ　Ｚｈｏｎｇ—Ｘｉｏｎｇ．Ｆｕｚｚｙ　Ｍａｔｈｅｍａｔｉｃｓ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ．　Ｔｉａｎｊｉｎ：Ｔｉａｎｊｉｎ　Ｐｒｅｓｓ　ｏｆ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，１９８３（ｉｎ　Ｃｈｉｎｅｓｅ）　（贺仲雄．模糊数学及其应用．天津：天津科学技术出版社，　１９８３）　［７］Ｋａｎｄｅｌ　Ａ．Ｆｕｚｚｙ　Ｔｅｃｈｎｉｑｕｅｓ　ｉｎ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ．Ｎｅｗ　Ｙｏｒｋ：Ｊｏｈｎ　Ｗｉｌｅｙ＆Ｓｏｎｓ，１９８２　［８］Ｓｈａｎｎｏｎ　Ｃ　Ｅ．Ａ　ｍａｔｈｅｍａｔｉｃａｌ　ｔｈｅｏｒｙ　ｏｆ　ｃｏｍｍｕｎｉｃａｔｉｏｎ．Ｂｅｌｌ　Ｓｙｓｔｅｍ　Ｔｅｃｈｎｉｑｕｅ　Ｊｏｕｒｎａｌ，１９４８，２７（４）：３７９—４２３；６２３　６５６　４期　丁世飞等：基于熵的模糊信息测度研究　８Ｏ１　［９］　Ｄｉｎｇ　Ｓｈｉ　Ｆｅｉ，Ｓｈｉ　Ｚｈｏｎｇ－Ｚｈｉ，Ｘｉａ　Ｓｈｉ　Ｘｉｏｎｇ，Ｊｉｎ　Ｆｅｎｇ—　Ｘｉａｎｇ．　Ｓｔｕｄｉｅｓ　ｏｎ　ｆｕｚｚｙ　ｉｎｆｏｒｍａｔｉｏｎ　ｍｅａｓｕｒｅｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　４ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｆｕｚｚｙ　Ｓｙｓｔｅｍ　ａｎｄ　Ｋｎｏｗｌｅｄｇｅ　Ｄｉｓｃｏｖｅｒｙ．Ｈａｉｋｏｕ，Ｈａｉｎａｎ，Ｃｈｉｎａ，２００７，３：　３７６—３８０　［１０］　Ｄｉｎｇ　Ｓｈｉ　Ｆｅｉ．Ｓｔｕｄｉｅｓ　ｏｎ　ｉｎｆｏｒｍａｔｉｏｎ　ｐａｔｔｅｒｎ　ｍｅａｓｕｒｅｓ　ａｎｄ　ｆｅａｔｕｒｅ　ｃｏｍｐｒｅｓｓｉｏｎ　ａｌｇｏｒｉｔｈｍｓ　ｂａｓｅｄ　ｏｎ　ｃｏｇｎｉｔｉｏｎ［Ｐｏｓｔ—　ｄｏｃｔｏｒ　ｄｉｓｓｅｒｔａｔｉｏｎ］．Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｃｏｍｐｕｔｉｎｇ　Ｔｅｃｈｎｏｌｏｇｙ，　Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ，２００６（ｉｎ　Ｃｈｉｎｅｓｅ）　（丁世飞．基于认知的信息模式测度与特征压缩算法研究　［博士后论文］．中国科学院计算技术研究所，北京，２００６）　［Ｉ１］　Ｓｈａｎｇ　Ｘｉｕ—Ｇａｎｇ．Ｉｎｆｏｒｍａｔｉｏｎ　ｅｎｔｒｏｐｙ，ｐａｔｔｅｒｎ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｎｄ　ｆｕｚｚｙ　ｎｕｍｂｅｒ　ｏｐｅｒａｔｉｏｎ［Ｐｈ．Ｄ．ｄｉｓｓｅｒｔａｔｉｏｎ］．Ｅａｓｔ　Ｃｈｉｎａ　Ｐｏｌｙｔｅｃｈｎｉｃ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ，１９９７（ｉｎ　Ｃｈｉｎｅｓｅ）　（尚修刚．信息熵、模式分类及模糊数运算的研究［博士学位　ＤＩＮＧ　Ｓｈｉ－Ｆｅｉ，ｂｏｒｎ　ｉｎ　１９６３，Ｐｈ．Ｄ．，　ｐｒｏｆｅｓｓｏｒ，Ｐｈ．Ｄ．ｓｕｐｅｒｖｉｓｏｒ．Ｈｉｓ　ｒｅ—　ｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ａｒｔｉｆｉｃｉａｌ　ｉｎｔｅｌｌｉ—　ｇｅｎｃｅ，ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ，　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ，ｄａｔａ　ｍｉｎｉｎｇ，ａｎｄ　ｇｒａｎｕｌａｒ　ｃｏｍｐｕｔｉｎｇ　ｅｔｃ．　ＺＨＵ　Ｈｏｎｇ，ｂｏｒｎ　ｉｎ　１９７０，Ｐｈ．Ｄ．ｃａｎｄｉｄａｔｅ，ａｓｓｏｃｉａｔｅ　ｐｒｏｆｅｓｓｏｒ．Ｈｅｒ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｉｎｔｅｌｌｉｇｅｎｔ　ｉｎｆｏｒｍａ—　Ｂａｃｋｇｒｏｕｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ（ＰＲ）ｉｓ　ｔｈｅ　ｓｃｉｅｎｔｉｆｉｃ　ｄｉｓｃｉｐｌｉｎｅ　ｗｈｏｓｅ　ｇｏａｌ　ｉｓ　ｔｈｅ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｏｆ　ｏｂｊ　ｅｃｔｓ　ｉｎｔｏ　ａ　ｎｕｍｂｅｒ　ｏｆ　ｃａｔｅｇｏｒｉｅｓ　ｏｒ　ｃｌａｓｓｅｓ．Ｉｎ　ｅｓｓｅｎｃｅ，ｈｏｗ　ｔｏ　ｍｅａｓｕｒｅ　ｔｈｅ　ｓｉｍｉ—　ｌａｒｉｔｙ　ｂｅｔｗｅｅｎ　ｔｈｅ　ｔｗｏ　ｐａｔｔｅｒｎｓ　ｉｓ　ｏｎｅ　ｏｆ　ｔｈｅ　ｃｏｒｅ　ｉｓｓｕｅｓ　ｉｎ　ｔｈｅ　ｓｔｕｄｙ　ｏｆ　ＰＲ．Ｃｏｍｍｏｎｌｙ，ｔｈｅ　ｍｅａｓｕｒｅｓ　ｉｎｃｌｕｄｅ　ｄｉｓｔａｎｃｅ　ｍｅａｓｕｒｅ，ｓｉｍｉｌａｒｉｔｙ　ｍｅａｓｕｒｅ，ａｎｄ　ｍａｔｃｈ　ｍｅａｓｕｒｅ　ｅｔ　ａ１．　Ｔｈｅｓｅ　ｍｅａｓｕｒｅｓ　ｐｌａｙ　ａｎ　ｉｍｐｏｒｔａｎｔ　ｒｏｌｅ　ｉｎ　ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ　ａｎｄ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ，ｂｕｔ　ｔｈｅｙ　ａｒｅ　ｕｓｅｄ　ｉｎ　ｃｅｒｔａｉｎｔｙ　ｅｎｖｉｒｏｎｍｅｎｔｓ．Ｉｎ　ｐｒａｃｔｉｃｅ，ｐｅｏｐｌｅ　ｏｆｔｅｎ　ｅｎｃｏｕｎｔｅｒ　ｕｎｃｅｒｔａｉｎｔｙ　ｅｎｖｉｒｏｎｍｅｎｔ，ｓｕｃｈ　ａｓ　ｒａｎｄｏｍ　ｅｎｖｉｒｏｎｍｅｎｔ，ｆｕｚｚｙ　ｅｎｖｉｒｏｎｍｅｎｔ　ｅｔ　ａｌ，ｔｈｅ　ｒｅｓｅａｒｃｈ　ｏｆ　ｓｉｍｉｌａｒｉｔｙ　ｍｅａｓｕｒｅｓ　ｕｎｄｅｒ　ｕｎｃｅｒｔａｉｎｔｙ　ｅｎｖｉｒｏｎｍｅｎｔ　ｈａｓ　ｉｍｐｏｒｔａｎｔ　ｔｈｅｏｒｅｔｉｃａｌ　ｓｉｇｎｉｆｉ—　ｃａｎｃｅ　ａｎｄ　ｐｒａｃｔｉｃａｌ　ｓｉｇｎｉｆｉｃａｎｃｅ．Ｉｎ　ｔｈｉｓ　ｐａｐｅｒ，ｔｈｅ　ｅｎｔｒｏｐｙ－　ｂａｓｅｄ　ｆｕｚｚｙ　ｉｎｆｏｒｍａｔｉｏｎ　ｍｅａｓｕｒｅ（ＦＩＭ）ｉｓ　ｓｔｕｄｉｅｄ．Ｆｉｒｓｔｌｙ，　ｔｈｅ　ｅｘｉｓｔｉｎｇ　ＦＩＭ　ｔｈｅｏｒｉｅｓ　ａｒｅ　ｉｎｔｒｏｄｕｃｅｄ　ａｎｄ　ｓｏｍｅ　ａｄｖａｎｔａｇｅｓ　ａｎｄ　ｄｉｓａｄｖａｎｔａｇｅｓ　ａｒｅ　ｐｏｉｎｔｅｄ　ＯＵｔ．Ｓｅｃｏｎｄｌｙ，ｔｈｅ　ｆｕｚｚｙ　ｅｎ一　论文］．华东理工大学，上海，１９９７）　［１　２］Ｃｏｖｅｒ　Ｔ　Ｍ，Ｔｈｏｍａｓ　Ｊ　Ａ．Ｅｌｅｍｅｎｔｓ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔｈｅｏｒｙ　Ｎｅｗ　Ｙｏｒｋ：Ｊｏｈｎ　Ｗｉｌｅｙ　ａｎｄ　Ｓｏｎｓ，１９９１　［１３］　Ｄｉｎｇ　Ｓ　Ｆ，Ｓｈｉ　Ｚ　Ｚ．Ｓｔｕｄｉｅｓ　ｏｎ　ｉｎｃｉｄｅｎｃｅ　ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ　ｂａｓｅｄ　ｏｎ　ｉｎｆｏｒｍａｔｉｏｎ　ｅｎｔｒｏｐｙ．　Ｊｏｕｒｎａｌ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｃｉｅｎｃｅ，２００５，３１（６）：４９７～５０２　［１４］　Ｋｏｓｋｏ　Ｂ．Ｆｕｚｚｙ　ｅｎｔｒｏｐｙ　ａｎｄ　ｃｏｎｄｉｔｉｏｎｉｎｇ．Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｃｉｅｎｃｅｓ，１９８６，４０（２）：ｌ６５—１７４　［１５］　Ｄｅ　Ｌｕｃａ　Ａ，Ｔｅｒｍｉｎｉ　Ｓ．　Ａ　ｄｅｆｉｎｉｔｉｏｎ　ｏｆ　ｎｏｎＤｒ０ｂａ　ｂｊｈｓｔｉｃ　ｅｎｔｒｏｐｙ　ｉｎ　ｔｈｅ　ｓｅｔｔｉｎｇ　ｏｆ　ｆｕｚｚｙ　ｓｅｔｓ　ｔｈｅｏｒｙ．Ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　Ｃｏｎｔｒｏｌ，１９７２，２Ｏ（３）：３０１　３１２　［１６］　Ｚａｄｅｈ　Ｉ　Ａ．Ｐｒｏｂａｂｉｌｉｔｙ　ｍｅａｓｕｒｅｓ　ｏｆ　ｆｕｚｚｙ　ｅｖｅｎｔｓ．Ｊｏｕｒｎａｌ　ｏｆ　Ｍａｔｈｅｍａｔｉｃａｌ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ，１９６８，２３（１０）：　４２１—４２７　ｔｉｏｎ　ｐｒｏｃｅｓｓｉｎｇ，ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ，ａｎｄ　ｇｒａｎｕｌａｒ　ｃｏｍｐｕｔｉｎｇ　ｅｔｃ．　ＸＵ　Ｘｉｎ‘Ｚｈｅｎｇ，ｂｏｒｎ　ｉｎ　１９８０，Ｐｈ．Ｄ．ｃａｎｄｉｄａｔｅ，ｌｅｃｔｕｒｅｒ．　Ｈｉｓ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｉｎｔｅｌｌｉｇｅｎｔ　ｉｎｆｏｒｍａｔｉｏｎ　ｐｒｏｃｅｓｓ—　ｉｎｇ，ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ，ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ，ａｎｄ　ｇｒａｎｕｌａｒ　ｃｏｍｐｕｔｉｎｇ　ｅｔｃ．　ＳＨＩ　Ｚｈｏｎｇ‘Ｚｈｉ，ｂｏｒｎ　ｉｎ　１９４１，ｐｒｏｆｅｓｓｏｒ，Ｐｈ．Ｄ．ｓｕｐｅｒ—　ｖｉｓｏｒ．Ｈｉｓ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｉｎｔｅｌｌｉｇｅｎｃｅ　ｓｃｉｅｎｃｅ，ｉｍ　ａｇｅ　ｐｒｏｃｅｓｓｉｎｇ　ａｎｄ　ｃｏｇｎｉｔｉｖｅ　ｃｏｍｐｕｔｉｎｇ，ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ，　ｍｕｌｔｉａｇｅｎｔ　ｓｙｓｔｅｍｓ．　ｔｒｏｐｙ　ｉｓ　ｓｔｕｄｉｅｄ，ｆｏｕｒ　ａｘｉｏｍｓ　ａｂｏｕｔ　ｆｕｚｚｙ　ｅｎｔｒｏｐｙ　ａｒｅ　ｓｅｔ　ｕｐ，　ａｎｄ　ａｌｌ　ｋｉｎｄｓ　ｏｆ　ｄｅｆｉｎｉｔｉｏｎｓ　ｏｆ　ｆｕｚｚｙ　ｅｎｔｒｏｐｙ　ａｒｅ　ｄｉｓｃｕｓｓｅｄ．　Ｂａｓｅｄ　ｏｎ　ｆｕｚｚｙ　ｅｎｔｒｏｐｙ，ｔｈｅ　ｎｅｗ　ｆｕｚｚｙ　ｅｎｔｒｏｐｙ　ｍｅａｓｕｒｅｓ，　ｓｕｃｈ　ａｓ　ｆｕｚｚｙ　ａｂｓｏｌｕｔｅ　ｉｎｆｏｒｍａｔｉｏｎ　ｍｅａｓｕｒｅ（ＦＡＩＭ），ｆｕｚｚｙ　ｒｅｌａｔｉｖｅ　ｉｎｆｏｒｍａｔｉｏｎ　ｍｅａｓｕｒｅ（ＦＲＩＭ），ａｎｄ　ｆｕｚｚｙ　ｃｒｏｓｓ　ｅｎｔｒｏ—　ＰＹ　ｍｅａｓｕｒｅ（ＦＣＥＭ），ａｒｅ　ｓｅｔ　ｕｐ．Ａ１ｌ　ｔｈｅｓｅ　ｍｅａｓｕｒｅｓ。ｎｏｔ　ｏｎｌｙ　ｅｎｒｉｃｈ　ａｎｄ　ｄｅｖｅｌｏｐ　ＦＩＭ　ｔｈｅｏｒｙ，ｂｕｔ　ａｌｓｏ　ｐｒｏｖｉｄｅ　ａ　ｎｅｗ　ｒｅｓｅａｒｃｈ　ａｐｐｒｏａｃｈ　ｆｏｒ　ｓｔｕｄｉｅｓ　ｏｎ　ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ，ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ，ｃｌｕｓｔｅｒｉｎｇ　ａｎａｌｙｓｉｓ　ｅｔ　ａ１．　Ｔｈｉｓ　ｗｏｒｋ　ｉｓ　ｓｕｐｐｏｒｔｅｄ　ｂｙ　ｔｈｅ　Ｎａｔｉｏｎａｌ　Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ　Ｆｏｕｎｄａｔｉｏｎ　ｏｆ　Ｃｈｉｎａ　ｕｎｄｅｒ　Ｇｒａｎｔ　Ｎｏｓ．４１０７４００３　ａｎｄ　６０９７５０３９，ｔｈｅ　Ｎａｔｉｏｎａｌ　Ｂａｓｉｃ　Ｒｅｓｅａｒｃｈ　Ｐｒｏｇｒａｍ（９７３　Ｐｒｏ—　ｇｒａｍ）ｏｆ　Ｃｈｉｎａ　ｕｎｄｅｒ　Ｇｒａｎｔ　Ｎｏ．２００７ＣＢ３１　１００４，ａｎｄ　ｔｈｅ　Ｏｐｅｎｉｎｇ　Ｆｏｕｎｄａｔｉｏｎ　ｏｆ　Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｏｆ　Ｉｎｔｅｌｌｉｇｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　ｏｆ　Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ　（Ｎｏ．ＩＩＰ２０１０—１）．