网络信息挖掘系统评价初探

【  正  文】
　　随着电子商务的蓬勃兴起，许多企业已经开始意识到其所拥有的丰富的信息资源在商业决策中具有潜在的巨大商业价值。更好的决策支持需求和企业电子商务的开展正推动着网络信息挖掘系统的研究与开发。
　　鉴于网络信息挖掘是在数据挖掘的基础上发展起来的，因此对于网络信息挖掘系统的基本问题，本文仍将利用数据挖掘系统的基本理论来描述。
　　目前，由于网络信息挖掘系统的发展正在起步阶段，因此它的分类还无法达到数据挖掘系统分类那样细致。具体而言，对网络信息挖掘系统分类可以从商业能力、挖掘数据类型、挖掘功能、数据分析方法和应用领域角度进行。其中商业能力角度的分类与数据挖掘系统的商业能力分类完全相同，即分为商业产品和研究原型。而从另外几个角度看，网络信息挖掘系统的类型具有自身一些特点，例如从应用领域角度看，网络信息挖掘系统可以分为面向电子商务型、面向远程教育型、面向旅游型、面向广告业型等。随着网络信息挖掘技术的进一步发展，将出现更加丰富的网络信息挖掘系统类型。
　　　　　　1　系统评价现状调查
　　据调查，目前国内外还没有出现完全针对网络信息挖掘系统的评价成果，因而对网络信息挖掘系统的评价具有一定的创新性。笔者认为，对网络信息挖掘系统的评价可以充分地借鉴数据挖掘系统的评价方法。应该说这两类系统在很多评价指标上都有重合。
　　从国外来讲，1998年前后已经有一些研究人员和机构对数据挖掘系统进行了一定的评价研究。他们所采用的评价体系各有特点，以下是一些简要介绍。
　　1）J.F.Elder等人主要对17种数据挖掘系统进行了评价[1]，其中包括了著名的Clementine、Intelligent  Miner系统。这些系统具有以下共同的特点：单平台（Stand  Alone）、多用途、支持多种模式和分类算法，并支持模式构建中的项目阶段。他们主要从6大方面对这些系统进行比较，除此之外，他们还单独从用户端角度对数据挖掘系统性能进行评价。他们认为并非支持的算法越多越好，各种算法面对不同的问题其解决能力也是不同的，它们具有自身的优点与缺点。在文章的最后，还对这17种产品的优势/劣势作了总体的描述性评价。
　　2）M.A.  King等人针对14种桌面型数据挖掘系统[2]，重点对各个系统的特征和性能进行比较。他们选用了20个评价指标，并设计了一个标准的评价过程——6分制评分标准来评价各种软件工具的优点和缺点。他们评价的特色在于针对4种算法的产品分别评价，并采用4类数据集测试系统的性能。他们认为网络法（Polynomial  and  Neural）要比分割法（Trees  and  Rules）更精确，另外也提出可以加入计算机环境、数据库连接性、提供商的稳定性等指标进一步评价。
　　3）D.W.Abbott等人主要针对高端型（High-end）用于欺诈甄别的数据挖掘系统进行了评价[3]。尽管仅选择了5个系统（Clementine、Intelligent  Miner  for  Mata、Darwin、En-  terprise  Miner、Pattern  Recognition  Workbench）进行评价，但是他们针对这5个专门应用于欺诈甄别的系统进行了细致的比较。
　　4）M.Goebel等人将数据库中知识发现（KDD）与数据挖掘结合到一起评价[4]。他们在介绍一般知识发现任务以及解决这些任务的方法基础上，主要调查了43种提供这类功能的软件工具。这些工具既包括研究的原型系统，也包括已经商业化的产品。其中有较为著名的Clementine、DBMiner、Intelligent  Miner系统。他们采用了一个系统特征分类体系对上述产品进行比较，并提出一些尚待解决的问题：如不同技术的集成、可扩展性、与数据库的无缝集成、对正在变化中的数据进行管理以及非标准的数据类型等问题。
　　5）J.Hah博士没有针对个别的数据挖掘系统具体评价，但他认为评价一个数据挖掘系统应包括如下几个方面[5]：数据类型、系统问题、数据源、数据控制的功能与方法、数据挖掘系统和数据库或数据仓库系统的结合、可伸缩性、可视化工具、数据挖掘查询语言和图形用户接口。
　　6）A.Berson等认为数据挖掘软件产品因为不同的目标用户和不同类型的解决问题而具有不同的重点[6]。主要可以分为目标解决方案、商业工具、商业分析工具、研究分析工具4类。另外，从目前整个数据挖掘市场看也可以分成3个主要组成部分：通用的工具、综合DSS/OLAP/数据挖掘工具和快速成长的面向特定应用的工具。他们还进一步提供了一套专门用于数据挖掘工具评价的属性和方法，对11种具体的工具进行了评价，其中包括Clementine、Intelligent  Miner等著名的工具。
　　从国内来看，数据挖掘系统的评价研究不如国外活跃，这与数据挖掘系统在国内的应用仍处于初步阶段有直接关系。目前这方面的研究状况如下。
　　朱爱群提出了一种高级记分卡系统[7]，采用该记分系统有助于商业用户更好地比较不同的数据挖掘技术，并以此作出正确的选择。该系统共有3种不同的记分卡：商业记分卡、算法记分卡、应用记分卡。
　　从上述文献的调查看，国内外数据挖掘系统评价普遍具有的特点是：
　　1）重视系统算法能力的评价。在7个调查对象中，其中6个都明确采用了算法评价指标，特别是J.F.Elder、D.W.Abbott、朱爱群等人，对算法指标的分析尤为细致。
　　2）突出或者具有从商业能力角度的评价。朱爱群和A.Berson都明确提出采用商业能力指标，而其他研究者提供的从用户端角度对系统易用性的评价实际上可以作为系统商业能力评价的一部分。
　　3）缺少对数据挖掘流程的评价。数据准备、数据预处理、数据建模、模型评估、模型应用等一系列步骤是几乎每个数据挖掘系统所必须经历的，往往各种系统在每个阶段表现的能力各有不同，因此有必要对过程中的每个阶段进行评价。
　　4）缺少从应用能力角度的评价。从所有的调查对象中看，仅有国内的一个评价提到了应用评价，而且其具体的指标并不是直接针对如保险业、零售业、电子商务等实际应用领域的。
　　由此可见，本文所要进行的网络信息挖掘系统的评价应当积极吸取已有数据挖掘系统评价的优点，同时结合网络信息挖掘的特点来弥补评价中的不足。
　　　　　　2　评价系统的选择
　　由于目前许多数据挖掘系统也同时提供网络信息挖掘功能，因此本文所要评价的网络信息挖掘系统，一方面从一些著名的数据挖掘系统中选择，一方面将参考KD-nuggets上有关网络信息挖掘软件的最新统计报道。
　　从文献调查

看[8]，Intelligent  Miner、Enterprise  Miner、  MineSet、Clementine、Darwin、Scenario等被超过50％的团体或个人选用作为数据挖掘评价系统。
　　从KDNuggets2001对数据挖掘工具利用情况的调查看，位于前5位的工具依次为：Clementine（18％）、SPSS/An-swerTree（16％）、SAS（12％）、CART/MARS（11％）、  SASEM（6％）。
　　通过进一步调查KDnuggets关于网络信息挖掘的报道[9]，可以发现它所提供的19种网络信息挖掘软件工具是目前这个领域比较全面和权威的。因此，本文决定对这19种网络信息挖掘软件工具展开调查（见表1）。
　　表1　商业能力评价（产品成熟度和提供商实力）
　　附图
　　注：采用7分制评分，各个数字代表的含义分别是：1—优秀；2—好；3—一般；4—还可以；5—较差；6—没有；7—有，但无法评价。
　　从上述调查可以发现，比较熟悉的数据挖掘系统的提供商诸如SPSS公司、SAS公司在网络信息挖掘市场上仍然比较活跃，特别是SPSS公司，它目前拥有Clementine和net.Analysis两种网络信息挖掘软件产品。
　　　　　　3　评价指标与方法
　　通过对数据挖掘系统评价方法的调查，了解到目前还没有针对网络信息挖掘系统评价报告公布出来。因此，本文在借鉴多种数据挖掘系统评价方法的基础上，提出从商业能力、算法能力、网络信息挖掘过程能力、电子商务应用能力这4个角度来评价网络信息挖掘系统的综合能力，以期为网络信息挖掘系统的选择提供一定的参考。
　　　　3.1　商业能力
　　这个指标又具体通过下面3个子指标体现：
　　1）产品的成熟度和提供商的实力。这个指标可以体现网络信息挖掘软件产品是否成熟及它的提供商具备的实力的大小。通

《网络信息挖掘系统评价初探》