信息检索系统的评价.ppt
,提 问 1 试解释信息检索系统的内涵。2 什么是”评价”？,第十一章 信息检索系统评价 11.1 评价研究概述,一、意义评价（Evaluation）：发现和收集关于某种活动的数据，从中判断该项活动的质量及达到预期目标程度的行为。简单地说，评价就是对系统的价值和效率进行测评。信息检索系统评价：根据给定的指标体系，采用一定的方法和程序，对信息检索系统的功能、特性和运营状况进行评测，或对有关假设、预期效益、性能值进行验证，以确定系统达到了何种水平、投入成本是否值得、是否可以改进和如何改进，乃至系统是否应生存下去。,第十一章 信息检索系统评价 11.1 评价研究概述,一、意义 信息检索系统的评价研究，一直是信息检索领域的一项重要研究内容。多年来人们进行了大量的评价试验和多角度的探索。原因在于，检索系统评价工作在为研究者验证检索系统效益、比较各种检索技术的优劣、改进现有检索系统、开发新的应用领域等方面，都具有不可替代的作用。,第十一章 信息检索系统评价 11.1 评价研究概述,一、意义主要意义：了解已有检索系统的功能，找出缺陷并改进；比较各种检索系统的优劣；提高提高效率和效益；有助于新的检索系统的设计；丰富信息检索的理论。,第十一章 信息检索系统评价 11.1 评价研究概述,二、评价范围与类型 信息检索系统是一个有众多功能模块组成的集合体。评价可以从不同角度、基于不同目的和方法来进行。评价范围：各种类型的检索系统及组成要素。评价类型：宏观评价：着眼于检索系统的宏观方面，如情报源类型、系统结构、收录范围、利用率等。个别评价：仅对系统的某一性能、功能进行评价。性能评价(performance evaluation)：面向用户的评价，测定检索系统的质量或服务效果。也称为检索效果评价(effectiveness evaluation)。,第十一章 信息检索系统评价 11.1 评价研究概述,二、评价范围与类型评价类型：效益评价（benefits evaluation）：测定系统或用户获得的的经济效益和社会效益。(有直接的、潜在的；难以直接计量)费用/效果评价（cost effectiveness evaluation）：考察系统达到的性能与费用消耗之间的关系。（用户、系统两方面）费用/效益评价（cost benefits evaluation）：考察系统的服务效益与费用消耗间的关系。（计量难度较大）(详见P207的解释),第十一章 信息检索系统评价 11.2 评价指标,一、评价指标体系 要评价一个检索系统，必须有一套科学的评价标准。建立检索系统评价指标体系应遵循的原则：各指标应定义单一、明确，具有可操作性。评价指标最好能够量化或计量。指标要完善、细致、全面。下面给出传统检索系统评价指标体系模型：（供参考）,第十一章 信息检索系统评价 11.2 评价指标,逐一评价这些指标，可以判定检索系统的优劣。其中，比较重要的是检索性能指标。,11.2 评价指标,问 题:什么是查全率、查准率?,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析1查全率和查准率查全率(Recall ratio，R)：衡量一次检索中与提问相关的文献有多少篇被检出。（衡量检出相关文献的能力）,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析1查全率和查准率查准率(Precision ratio，P)：衡量被检出的文献中有多少篇与提问相关。（衡量检索的精确度）,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 例：设某检索系统的数据库中共有相关文献20篇。针对某一个提问，检出文献总数为30篇，其中相关文献数为15篇。求查全率R、查准率P。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 为便于分析，我们给出数学语言描述：设某文献库所存储的文献总量为L。对某一给定提问，a表示被检出的与提问相关的文献数；（前例 a=15）b表示被检出的与提问无关的文献数；（误检，前例 b=15）c表示与提问相关，但未被检出的文献数（漏检，前例 c=5）,显然，p,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析1查全率和查准率 下面讨论与查全率、查准率有关的几个问题。（）查全率和查准率的相互关系一个理想的检索系统，应是、。但实际上是不可能的。一般说来，二者之间存在着反变关系，即：若要提高查全率，查准率往往就会下降；若要提高查准率，查全率又就会下降。（二者相互制约）,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析（）查全率和查准率的相互关系与的关系可由下图描述：（称为图）,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析1查全率和查准率（）影响查全率、查准率的相关因素 文献库编制质量 文献收集是否齐全，索引体系是否完善，检索途径的多少，都会影响到查全率。对情报需求的理解 要达到较高的查全率和查准率，应较好地理解情报需求，制定好检索策略。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析（）影响查全率、查准率的相关因素 检索语言的一致性 检索的实质就是提问标识与文献标识的异同比较。为此，需要不同人员表达文献主题的语言一致，更需要标识提问与标识文献的语言一致。即，标引语言和检索语言的一致性，对查全和查准起着支配作用。标引的网罗性 对文献主题分析得越透彻，抽出的检索词越多，检索时可检出的相关文献就越多，即查全率越高。但检出的文献并非全部适用，因而查准率降低。反之，如果标引时只标出中心主题，检出的文献必然比较适用，即查准率较高。但漏检会增多，从而降低查全率。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析（）影响查全率、查准率的相关因素 检索词的专指性 检索词选得词意越狭窄、越具体、越专深，检出的文献就会越对口，查准率就越高。但命中文献就越少，查全率就会降低。相反，如果检索词定得较笼统、较宽泛，检出的文献就会增多，查全率会提高。但不相关的文献也会增多，查准率会降低。检索策略和提问构造 对检索词的选取，需恰当地确定网罗度和专指度。当采用布尔组配时，若使用AND较多，即限制严，则下降，而上升；反之，若使用OR较多，则上升，而下降。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析（）影响查全率、查准率的相关因素 检索软件的功能 检索软件功能是否完善，结构是否合理，影响到是否会漏检和误检。检索者的熟练程度 检索人员的专业知识水平、使用系统的熟练程度，对R和P影响很大。往往是系统一方的检索者自拟定检索式时查准率高，而检索用户编制检索式时，因不熟悉系统和不善于使用系统，就容易造成误检、漏检。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 1查全率和查准率（）对查全率和查准率的要求 作为一个检索系统，应同时具备较强的查全能力和查准能力。但并不是每个用户在任何时候都需要高查全率和高查准率，不同用户有不同要求。通常，根据不同的情报需求，可分为四种要求：a要求查全率=如申请专利、发明或评定某项成果，需要对世界范围的有关情报作全面了解，才能作出客观的评价。此时往往要求=的检索。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析（）对查全率和查准率的要求 b要求较高查全率 例如编写教材、综述某学科或技术领域的发展，往往需要较全面地获得有关文献或情报。此时对查全率有较高要求，但不一定要求。c要求较高查准率 例如要了解某种具体产品的有关信息，解决某一具体问题或查新等，往往只需了解某一方面或某一时期的有关情报。此时要求查准率较高。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析（）对查全率和查准率的要求 d对查全率、查准率无具体要求 有些情报需求，用户本身不能作出确切表达。因此，用户对查全率和查准率也无法提出具体要求。从上面的讨论可以看出，在分析和评价某一检索的检索质量时，不能千篇一律地追求查全率和查准率，而应具体问题具体分析。,二、主要性能指标及分析2响应时间（response time）对任何计算机应用系统，响应时间都是一个重要指标。信息检索的响应时间可分为两种情形：（1）委托检索，表示从用户送交提问到收到检索结果所花的时间；（2）非委托检索，表示用户实际的检索时间。计算响应时间一般都是针对某一个提问而言，不同的提问对应的响应时间不同。（因提问式长短、复杂程度而不同）有时给出平均响应时间T。ti表示对第i个提问的响应时间，k为提问个数,第十一章 信息检索系统评价 11.2 评价指标,问 题:检索响应时间与哪些因素有关?,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 2响应时间 通过对检索响应时间的分析，我们可归纳出影响该指标的因素：(1)文献库规模 规模越大，检索时间越长，响应时间值也就越大。(2)机器速度 主机运行速度越快，响应时间越短。(3)检索软件 检索软件是关键，其性能越好，检索时间就越短。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析2响应时间(4)存储设备类型和数据的存贮结构 存储设备的访问速度越快，数据的存贮结构（外存贮）越合理，检索越容易，响应时间也就越短。(5)提问组配形式 检索式的构造需要有一定的专业技能和检索经验，是一个不断修改和完善的过程。(6)信息中心与检索者的距离 通信传输时间与距离有关。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 存贮空间开销 包括系统所占用的内存空间和外存空间。对内存空间，当检索系统采用大、中型计算机时，一般不必考虑；而当系统采用小型、微型机时，因内存空间有限，就需合理分配。对外存空间，不同的文档结构所需存储空间差别很大。例如，顺排文档检索和倒排文档检索所需空间不同；而对倒排检索，系统仅提供布尔检索功能与提供正文检索功能相比，所需的空间也大不一样。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 其它指标（1）新颖率(Novelty ratio，N)：指一次检索中检出的相关文献有多少篇是新文献。（反映文献库更新程度）检出的新的相关文献量 N=检出的相关文献总量,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析其它指标（2）信息收录完备性(Coverage，C)：也称收录范围，是指文献库复盖的学科范围、信息类型、数量和时间跨度。给定时间内系统收录的文献总量 C=-同期相关领域中的实际文献量,谢 谢！,
