网络信息资源组织研究进展
【内容提要】主要从用于组织网络信息资源的搜索引擎、虚拟图书馆、文献分类法、主题法、窗口方式等方面全面总结与回顾20世纪90年代以来网络信息资源组织的理论与实践。
【摘 要 题】信息资源建设
【关 键 词】网络信息资源组织/网络信息资源整序/研究进展
笔者通过普查大量国内外期刊论文及有关出版物、分析相关网站,进而总结与回顾20世纪90年代以来网络信息资源组织的理论与实践,以期有助于优化其网络信息资源组织与揭示方法,促进该领域研究的蓬勃开展。本文着重总结网络信息资源组织的研究进展,有关其揭示方法将在另文总结。
1 用于组织网络信息的搜索引擎方式
(1)关于搜索引擎组织方式。
对于搜索引擎而言,网络信息组织采用主题树和数据库两种方式,也有称使用语词组织知识和使用分类法组织知识。所谓主题树组织方式,就是将信息资源按照某种事先确定的概念体系,分门别类地逐层加以组织,用户通过浏览的方式层层遍历,直到找到所需的信息线索,再通过信息线索联接到相应的网络信息资源。现有的提供目录分类式(或称主题指南、列表浏览)查询功能的搜索引擎就采用这种方法组织信息。而数据库组织方式,就是将所有已获得的网络信息资源以固定的记录格式存储,用户通过关键词及其组配查询,就可找到所需要的信息线索(即相关站点链接),并通过信息线索直接连接到相应的网络信息资源。
(2)关于搜索引擎的比较研究。
①搜索引擎的性能比较研究。早期研究大量集中在概要性介绍方面。殷雪松、徐斌分别介绍了12个大陆地区的中文搜索引擎网易、天网、华好网景、搜狐、四通方利、常青藤、北极星、悠游、搜索客、司南、我是野虎、若比邻等,港台地区茉莉之窗、哇塞、蕃薯藤等和5个国外的中文搜索引擎Yahoo雅虎中文、AltaVista(中文版)、Globepage(中文版)、华页指南、中文查寻。
王忠、周士波分别介绍了独立搜索引擎Altavista、Hotbot、Infoseek、Excite、Webcrawler、元搜索引擎Cyber411、Dogpile、Highway61、Inference Find、Mamma、Profusion、Savvy search、All4 one和网络英文搜索引擎Webcompass、Copernic98,并对6种主要搜索引擎的基本查寻、高级查寻、限定查寻、结果排序、结果输出等检索性能进行比较分析。
随着研究的不断深入,研究重点转入到了搜索引擎性能的比较上。孙丽等选取了北极星、常青藤、搜狐、中经网信息导航、网现引擎5个中文搜索引擎,从数据库类型、规模、库更新频率、抓取方式、日抓取页面数、抓取深度、<Meta>tag、显示方式、信息排序依据、信息描述质量、界面友好程度、用户欢迎程度等分析它们的优劣。徐建华等从数据库规模、信息采集方式、标引内容、检索功能、结果显示格式、结果排序规则、数据库更新频率等7个方面对Altavista、Excite、Go、Hotbot、Lycos、Yahoo这6个搜索引擎逐一进行分析。
张燕,惠佳颖就10个检索提问,从检索功能(布尔检索、邻近检索、截词检索等)、查准率、用户负担、输出方式对搜索引擎Google和Ask Jeeves进行详细比较,测试结果显示Google在查准率以及输出方式上明显优于Ask Jeeves,在检索功能及用户负担上两者各有特色。
②关于搜索引擎的质量评价指标。搜索引擎评价指标多种多样。1973年Lancaster和Fayen提出了6条关于信息检索系统效果评价指标:即覆盖范围、查全率、查准率、响应时间、用户负担及检索结果输出格式。这一评价指标影响甚广,许多学者在其基础上进行细化与扩充,提出搜索引擎质量评价标准。
储荷婷提出5条标准:A.索引构成(取决于标引数量、标引范围、索引词抽取法和索引更新频率);B.检索功能;C.检索效果(由查全率、查准率和检索时间衡量);D.检索结果显示(显示内容、显示数量以及是否按相关性排序);E.用户所需努力(从用户界面和帮助介绍材料)。
孙丽等提出的评价体系:A.数据库指标(数据库大小、类型、更新频率和信息抓取方式等);B.检索结果输出格式;C.检索性能完善程度(类目检索、关键词检索、短语检索、截词检索、布尔检索、概念检索、自然语言检索、指定字段检索、包含或排除检索等);D.响应时间;E.查全率;F.查准率;G.用户负担。
曾民族提出评价指标:A.数据库规模和内容(覆盖范围、索引组成、更新周期);B.索引方法(自动索引、人工索引、用户登录);C.检索功能(布尔查找、复杂布尔操作、相邻或相邻查询、截词查找、字段查找、概念检索、词语加权、词语限定、中断退出、上下文关键词等);D.检索结果(相关性排序、显示内容、输出数量选择、显示格式选择);E.用户界面(帮助文件、数据库和检索功能说明、查询举例);G.查准率及响应时间。
曹东等从检准率和检全率出发,提出搜索引擎的评价指标:A.收集网络站点数目的广泛性;B.搜索结果的满意度;C.数据库更新的频度和时效性;D.使用的便利性;E.目录设置的合理性和分类的深度及广度;G.内码转换的准确性。
贺亚锋就7个有代表性的主题进行测试,提出的评估准则有:A.命中率——查询主题的网页反应;B.检准率——首10个网页中切合主题的网页数目的比率;C.重复出现率——首10个网页中重复网页数目的比率(镜象点除外);D.不切题比率——相对于检准率。
尚克聪、杨立英提出的评价指标体系:A.数据库(从收录范围的明确性、收录相关内容的全面性及更新速度评价);B.检索软件,从智能化程度(由人—机接口、检索过程、检索结果输出、检索结果的反馈等指标衡量)、提供相关链接的程度、响应时间、提供各种检索途径;C.检索效率(综合使用查准率和查全率考察)。
黄如花提出的评价指标:A.收录范围(地域范围、语言范围、资源类型范围、专业范围);B.分类(分类方式、分类级次、交叉显示、类名是否规范、各类的内容说明);C.检索功能与效果(完善的检索手段、范围限制的功能、满足网上动态信息检索的要求、对检索结果的处理等,查准率、查全率、搜索条件频率、响应速度);D.结果处理;E.页面组织;F.其它功能与服务。
可见,数据库、检索功能、查准率、用户负担和检索结果输出方式是目前评价搜索引擎较普遍采用的基本指标。
(3)搜索引擎分类体系研究。
目前,一些大型搜索引擎普遍建立了指南型分类系统,对其分类体系进行研究逐步受到重视。陈树年在《搜索引擎及网络信息资源的分类组织》一文论述了综合性搜索引擎具备的功能;对网络信息进行组织使用的语言;网络
马张华、张宇萌认为网络分类体系与传统的文献分类体系的不同点在于:①重视以事物为中心设置类目;②类目收录的对象范围宽泛;③采用多重列类、重复反映方式揭示类目;排列方式简便;④直接以语词组织信息;⑤结合屏幕显示分类体系;⑥修订迅速。其不足是:类目设置缺乏规律性;类目归属存在不合理现象;同位类排列不能揭示相关性;横向关系揭示上存在不一致;部分类名不确切;分类规则有待完善等。马张华还对分类搜索引擎的类目体系进行了较为全面的研究,深入到类目结构的编制依据、大类结构、类目体系的特点等,并探讨了存在的问题。搜索引擎分类体系应遵守基本的逻辑规则,解决好类目的排列问题及横向类目的处理问题。研究者还对某一具体搜索引擎的信息组织方式进行了探讨。如,对Yahoo、搜狐等搜索引擎分类体系进行研究。
(4)搜索引擎功能的完善。
网络信息分类体系类目设置缺乏科学性、逻辑性,知识领域不全,知识体系不严密,分类标准、引用次序缺乏规律性。关键词式搜索引擎多为非控关键词索引,其检准率低。人们逐渐认识到搜索引擎应该以完善的情报检索语言原理为基础。曹东等提出:要运用分类检索语言的原理与方法;加强因特网信息资源分类表和电子化叙词表的理论研究,对自然语言实施控制机制;建立后控词表等情报检索语言的原理与方法来完善搜索引擎功能。
目前理想的网络信息资源组织模式应当是分类主题一体化。其组成为:①一个结构简明的知识分类体系,通过对信息的系统分类,实现对信息知识领域的宏观控制;②一个智能化的控制词表,实施对作者语言与用户语言的控制与转换;③建立分类体系与控制词表的系统联系,将标引语言纳入分类体系,实现自然语言检索和类与语词的组配检索。
2 虚拟图书馆(专题指引库)
虚拟图书馆是因特网上组织信息资源的一种有效而又经济的形式。具体说来,虚拟图书馆就是根据特定的目标,选定信息资源的学科领域,对有关的网站网页进行搜索和收集,加以鉴定核实,并对核实后的网址进行合理组织,使之能够提供检索、浏览和链接的信息集合。与搜索引擎的主要区别在于,它属于专题性和学科专业性的,系统性和易用性强。虚拟图书馆对网络资源组织是优越于搜索引擎的关键环节。该环节由专业图书馆员把 《网络信息资源组织研究进展》
本文链接地址:http://www.oyaya.net/fanwen/view/62705.html
【摘 要 题】信息资源建设
【关 键 词】网络信息资源组织/网络信息资源整序/研究进展
笔者通过普查大量国内外期刊论文及有关出版物、分析相关网站,进而总结与回顾20世纪90年代以来网络信息资源组织的理论与实践,以期有助于优化其网络信息资源组织与揭示方法,促进该领域研究的蓬勃开展。本文着重总结网络信息资源组织的研究进展,有关其揭示方法将在另文总结。
1 用于组织网络信息的搜索引擎方式
(1)关于搜索引擎组织方式。
对于搜索引擎而言,网络信息组织采用主题树和数据库两种方式,也有称使用语词组织知识和使用分类法组织知识。所谓主题树组织方式,就是将信息资源按照某种事先确定的概念体系,分门别类地逐层加以组织,用户通过浏览的方式层层遍历,直到找到所需的信息线索,再通过信息线索联接到相应的网络信息资源。现有的提供目录分类式(或称主题指南、列表浏览)查询功能的搜索引擎就采用这种方法组织信息。而数据库组织方式,就是将所有已获得的网络信息资源以固定的记录格式存储,用户通过关键词及其组配查询,就可找到所需要的信息线索(即相关站点链接),并通过信息线索直接连接到相应的网络信息资源。
(2)关于搜索引擎的比较研究。
①搜索引擎的性能比较研究。早期研究大量集中在概要性介绍方面。殷雪松、徐斌分别介绍了12个大陆地区的中文搜索引擎网易、天网、华好网景、搜狐、四通方利、常青藤、北极星、悠游、搜索客、司南、我是野虎、若比邻等,港台地区茉莉之窗、哇塞、蕃薯藤等和5个国外的中文搜索引擎Yahoo雅虎中文、AltaVista(中文版)、Globepage(中文版)、华页指南、中文查寻。
王忠、周士波分别介绍了独立搜索引擎Altavista、Hotbot、Infoseek、Excite、Webcrawler、元搜索引擎Cyber411、Dogpile、Highway61、Inference Find、Mamma、Profusion、Savvy search、All4 one和网络英文搜索引擎Webcompass、Copernic98,并对6种主要搜索引擎的基本查寻、高级查寻、限定查寻、结果排序、结果输出等检索性能进行比较分析。
随着研究的不断深入,研究重点转入到了搜索引擎性能的比较上。孙丽等选取了北极星、常青藤、搜狐、中经网信息导航、网现引擎5个中文搜索引擎,从数据库类型、规模、库更新频率、抓取方式、日抓取页面数、抓取深度、<Meta>tag、显示方式、信息排序依据、信息描述质量、界面友好程度、用户欢迎程度等分析它们的优劣。徐建华等从数据库规模、信息采集方式、标引内容、检索功能、结果显示格式、结果排序规则、数据库更新频率等7个方面对Altavista、Excite、Go、Hotbot、Lycos、Yahoo这6个搜索引擎逐一进行分析。
张燕,惠佳颖就10个检索提问,从检索功能(布尔检索、邻近检索、截词检索等)、查准率、用户负担、输出方式对搜索引擎Google和Ask Jeeves进行详细比较,测试结果显示Google在查准率以及输出方式上明显优于Ask Jeeves,在检索功能及用户负担上两者各有特色。
②关于搜索引擎的质量评价指标。搜索引擎评价指标多种多样。1973年Lancaster和Fayen提出了6条关于信息检索系统效果评价指标:即覆盖范围、查全率、查准率、响应时间、用户负担及检索结果输出格式。这一评价指标影响甚广,许多学者在其基础上进行细化与扩充,提出搜索引擎质量评价标准。
储荷婷提出5条标准:A.索引构成(取决于标引数量、标引范围、索引词抽取法和索引更新频率);B.检索功能;C.检索效果(由查全率、查准率和检索时间衡量);D.检索结果显示(显示内容、显示数量以及是否按相关性排序);E.用户所需努力(从用户界面和帮助介绍材料)。
孙丽等提出的评价体系:A.数据库指标(数据库大小、类型、更新频率和信息抓取方式等);B.检索结果输出格式;C.检索性能完善程度(类目检索、关键词检索、短语检索、截词检索、布尔检索、概念检索、自然语言检索、指定字段检索、包含或排除检索等);D.响应时间;E.查全率;F.查准率;G.用户负担。
曾民族提出评价指标:A.数据库规模和内容(覆盖范围、索引组成、更新周期);B.索引方法(自动索引、人工索引、用户登录);C.检索功能(布尔查找、复杂布尔操作、相邻或相邻查询、截词查找、字段查找、概念检索、词语加权、词语限定、中断退出、上下文关键词等);D.检索结果(相关性排序、显示内容、输出数量选择、显示格式选择);E.用户界面(帮助文件、数据库和检索功能说明、查询举例);G.查准率及响应时间。
曹东等从检准率和检全率出发,提出搜索引擎的评价指标:A.收集网络站点数目的广泛性;B.搜索结果的满意度;C.数据库更新的频度和时效性;D.使用的便利性;E.目录设置的合理性和分类的深度及广度;G.内码转换的准确性。
贺亚锋就7个有代表性的主题进行测试,提出的评估准则有:A.命中率——查询主题的网页反应;B.检准率——首10个网页中切合主题的网页数目的比率;C.重复出现率——首10个网页中重复网页数目的比率(镜象点除外);D.不切题比率——相对于检准率。
尚克聪、杨立英提出的评价指标体系:A.数据库(从收录范围的明确性、收录相关内容的全面性及更新速度评价);B.检索软件,从智能化程度(由人—机接口、检索过程、检索结果输出、检索结果的反馈等指标衡量)、提供相关链接的程度、响应时间、提供各种检索途径;C.检索效率(综合使用查准率和查全率考察)。
黄如花提出的评价指标:A.收录范围(地域范围、语言范围、资源类型范围、专业范围);B.分类(分类方式、分类级次、交叉显示、类名是否规范、各类的内容说明);C.检索功能与效果(完善的检索手段、范围限制的功能、满足网上动态信息检索的要求、对检索结果的处理等,查准率、查全率、搜索条件频率、响应速度);D.结果处理;E.页面组织;F.其它功能与服务。
可见,数据库、检索功能、查准率、用户负担和检索结果输出方式是目前评价搜索引擎较普遍采用的基本指标。
(3)搜索引擎分类体系研究。
目前,一些大型搜索引擎普遍建立了指南型分类系统,对其分类体系进行研究逐步受到重视。陈树年在《搜索引擎及网络信息资源的分类组织》一文论述了综合性搜索引擎具备的功能;对网络信息进行组织使用的语言;网络
信息的组织模式;中文搜索引擎与传统分类法的比较;建构网上知识分类体系的原则和技术等,可称为这方面研究的一篇力作。
马张华、张宇萌认为网络分类体系与传统的文献分类体系的不同点在于:①重视以事物为中心设置类目;②类目收录的对象范围宽泛;③采用多重列类、重复反映方式揭示类目;排列方式简便;④直接以语词组织信息;⑤结合屏幕显示分类体系;⑥修订迅速。其不足是:类目设置缺乏规律性;类目归属存在不合理现象;同位类排列不能揭示相关性;横向关系揭示上存在不一致;部分类名不确切;分类规则有待完善等。马张华还对分类搜索引擎的类目体系进行了较为全面的研究,深入到类目结构的编制依据、大类结构、类目体系的特点等,并探讨了存在的问题。搜索引擎分类体系应遵守基本的逻辑规则,解决好类目的排列问题及横向类目的处理问题。研究者还对某一具体搜索引擎的信息组织方式进行了探讨。如,对Yahoo、搜狐等搜索引擎分类体系进行研究。
(4)搜索引擎功能的完善。
网络信息分类体系类目设置缺乏科学性、逻辑性,知识领域不全,知识体系不严密,分类标准、引用次序缺乏规律性。关键词式搜索引擎多为非控关键词索引,其检准率低。人们逐渐认识到搜索引擎应该以完善的情报检索语言原理为基础。曹东等提出:要运用分类检索语言的原理与方法;加强因特网信息资源分类表和电子化叙词表的理论研究,对自然语言实施控制机制;建立后控词表等情报检索语言的原理与方法来完善搜索引擎功能。
目前理想的网络信息资源组织模式应当是分类主题一体化。其组成为:①一个结构简明的知识分类体系,通过对信息的系统分类,实现对信息知识领域的宏观控制;②一个智能化的控制词表,实施对作者语言与用户语言的控制与转换;③建立分类体系与控制词表的系统联系,将标引语言纳入分类体系,实现自然语言检索和类与语词的组配检索。
2 虚拟图书馆(专题指引库)
虚拟图书馆是因特网上组织信息资源的一种有效而又经济的形式。具体说来,虚拟图书馆就是根据特定的目标,选定信息资源的学科领域,对有关的网站网页进行搜索和收集,加以鉴定核实,并对核实后的网址进行合理组织,使之能够提供检索、浏览和链接的信息集合。与搜索引擎的主要区别在于,它属于专题性和学科专业性的,系统性和易用性强。虚拟图书馆对网络资源组织是优越于搜索引擎的关键环节。该环节由专业图书馆员把 《网络信息资源组织研究进展》