词汇丰富性测量方法及计算机程序开发:回顾与展望
词汇丰富性测量方法及计算机程序开发：回顾与展望
陆芸
【摘 要】Lexical diversity and lexical sophistication are the two most frequently used indices. Research on measures of lexical richness has been conducted mainly in two dimensions ： research on measures of lexical diver- sity and research on measures of lexical sophistication. The paper reviews research on the measures of lexical di- versity and lexical sophistication as well as their computer programs. Problems with these measures are discussed and suggestions are made to improve these measures.%词汇丰富性最常用的测量指标是词汇多样性和词汇复杂度,对词汇丰富性测量方法的研究主要沿这两个方向进行。通过对词汇多样性测量方法和词汇丰富性测量方法及其计算机程序开发进行回顾,分析以往测量方法的不足之处,并对未来研究提出展望。
【期刊名称】《南京工业大学学报（社会科学版）》
【年(卷),期】2012(011)002
【总页数】5页(P104-108)
【关键词】词汇丰富性;词汇多样性;词汇复杂度;计算机程序
【作 者】陆芸
【作者单位】南京工业大学外国语学院,江苏南京211816
【正文语种】中 文
【中图分类】TP39计算机语言种类
词汇评估是二语习得研究的一个重要方面。Read提出了词汇评估的三个维度:一是分离式还是嵌入式，关注词汇知识是作为独立概念进行测量还是作为某一更大概念之下的一个部分进行测量;二是选择型还是综合型，传统的选择型测量方法是由测试者选择一套目标词汇来测量学习者对这套词汇的掌握程度，而综合型词汇测量方法则考虑口语和书面文本中词汇使用的整体情况;三是脱离语境还是依赖语境，脱离语境是指测量词汇时不提供语境，依赖语境是将词汇置于语境中进行测量。传统语境观为词汇测量提供一个句子作为语境，现代
语境规则是将语境拓展到整个文本或语篇［1］。Read提出的三个维度并不足以涵盖词汇评估的全部模式，却为目前使用的各种各样的评估模式提供了一个基本的评估框架。最近几十年来，以嵌入式、综合性和语境依赖为特征的词汇测量方法不断被研究者提出，用于测量学习者口语和书面语产出中词汇知识使用的特点。为了便于测量结果的比较，研究者设计出各种可以从不同角度反映学习者词汇使用情况的指标，为了便于这些指标的计算，研究者编写了各种各样的计算机程序。由于测量词汇丰富性最常用的指标是词汇多样性和词汇复杂度，因此，本文将从词汇多样性和词汇复杂度两个方面对词汇丰富性测量方法及相应程序进行回顾，并重点介绍较为著名的vocd、LFP和P_Lex测量方法，思考其不足之处，并对未来的研究提出建议。
一、词汇丰富性测量指标
词汇丰富性体现了学习者语言产出的多样性和成熟性，是学习者语言发展的重要表征之一［2］。词汇丰富性广义上包含四个观测变量:词汇复杂度、词汇变化性、词汇密度和词汇独特性，而研究者使用最多的两个观测指标是词汇复杂度和词汇变化性即词汇多样性［3］。词汇复杂度测量学习者使用复杂词汇的数量，词汇多样性测量学习者使用词汇的范
围或种类。词汇复杂度利用词频表分析文本中使用不同词频词汇的情况，借助了外部标准;词汇多样性考察文本本身词汇种类的情况，不借助外部标准。Skehan等发现词汇多样性指标和词汇复杂度指标呈中度相关，说明它们之间的关系较为稳定［4］。Fluency Summer Intern Project的研究表明词汇多样性和词汇复杂度是两个既独立又相关的概念［5］。总之，词汇评估是多方面的，没有哪一种方法可以测量词汇知识的全部，因此，测量词汇丰富性可以从不同角度，使用不同方法，这些不同的测量方法可以提丰富的信息。
1．词汇多样性测量方法和计算机辅助程序的开发
词汇多样性主要是通过类符和形符比(TTR)，即文本中不同词汇T(类型)与文本总词数N(词符)的比率来测量。然而，传统的TTR方法明显受文本长度影响，文本长度越长，TTR的值越小，因此，不能很好地测量不同文本长度下的词汇复杂性［6－7］。于是，TTR 的各种数学变体被使用以减轻文本长度对词汇多样性的影响。如Guiraud的根号TTR(T/)［8］，Carroll 的 修 正 TTR(T/)［9］以及 Herdan 的对数 TTR(log T/log N)［10］。这些TTR也可以用一系列语言学分析程序来计算，如Hockey的牛津一致性程序［11］、Miller等的语言转录系统分析［12］和Whinney的计算机语言分析程序［13］。Vermeer在比较了几种词
汇多样性测量方法后发现上述几种用直观数据表达的词汇多样性测量方法的信度和效度并不令人满意［14］。
2000年，McKee等学者提出了与传统TTR不同的另一个数学变体等式TTR=*(1)，其中N是标记总数，D是参数［15］。他们承认将文本截取不同长度样本会产生不同的TTR值，并宣称一个文本的词汇多样性并不是由一个TTR值决定，而是由截取不同长度的样本得到的一系列TTR值决定。这一系列的TTR值可以由一条曲线来表示，这条曲线从左到右呈下降趋势，曲线的高低由参数D决定。D的计算原理是:首先，将选取的文本随机截取35个词100次，计算每一次的TTR值，并计算这100次TTR值的平均值;其次，随机截取36个词100次，计算这100次36个词TTR值的平均值，依此类推，一直到随机截取50个词100次，计算100次50个词TTR值的平均值，这样就得到了16个的截取文本的TTR的平均值，据此绘制一条经验曲线。根据上述公式，我们可以绘制一系列的理论曲线，而其中与经验曲线最为匹配的理论曲线的D值被用来描述文本的词汇多样性。McKee等据此思想设计了相应的计算机程序vocd。Meara等在vocd的基础上开发了D_Tools的软件［16］。D_Tools计算原理和vocd一样，只是D_Tools可以直接使用原始数据，而使用vocd时，数据必须参照CHILDES系统使用的格式进行处理。相对于之前TTR的各种变体，D测量作为词汇多样性最新测量手
段之一，总体上能够很好地控制文本长度对词汇多样性的影响，信度较高［17－19］。然而，用D测量词汇多样性并不能有助于了解文本中使用了什么样的词，即它未能区分文本中的低频词和高频词，也就不能了解学习者使用词汇的难易程度，于是，研究者提出了词汇复杂度的概念。
2．词汇复杂度测量方法和计算机辅助程序的开发
Meara等将词汇丰富性测量分为两种:一种是词汇丰富性的内在测量方法;一种是词汇丰富性的外在测量方法［20］。上述提到的词汇多样性测量属于词汇丰富性内在测量方法，即仅根据文本本身出现的词汇进行评估，不借助任何外部标准。而词汇复杂度测量则是借助外部标准即词频表的词汇丰富性外在测量方法。
词汇复杂度是学习者使用复杂词汇的能力。综观近30年的文献，我们可以发现一系列关于词汇复杂度测量方法和相应的计算机程序的研究，如 Laufer等的词频分布(LFP)［21］、Meara 等的P_Lex、Goethals 的 WordClassifier［22］、Meara 等的V_Size［23］，这些研究的共同点在于使用了相同的词频表。最为著名的词汇复杂度测量方法是LFP和 P_Lex。
LFP计算不同词频水平的单词数在文本中所占的比率。它可以将文本中不同词频的词汇以标注的形式呈现给使用者;可以根据已有的词频表将输入的英语目的文本中出现的词汇以类型、标记和词簇的形式按词频分布将其总数和百分比陈列出来［24］;也可以通过某个词表来了解文本覆盖率的情况，发现不同文本词汇使用的异同，甚至可以根据词频和范围构建词表［25］。
LFP的计算由微机程序 VocabProfile执行。VocabProfile软件包包含软件本身和三个词表。输入的文本不须经削尾处理，但须保存为ASCII码格式。在运行程序前，文本根据以下原则进行修改:不扭曲本来单词面貌的拼写错误被更正，此单词被视为学习者所熟悉;专有名词和错误使用的单词被删除，因为它们不被认为是学习者产出性词汇的一部分。程序运行后，该程序将文本中的词汇和词表中的词汇进行比较，并提供以类型、标记和词簇的形式呈现的词频概况。词表的单词分为四个类别:最常用的1 000词、次常用的1 000词、学术词汇以及不在上述词表中的词。Laufer等根据学习者的语言水平提出词表使用建议，对于较低水平的学习者，使用最常用的1 000词表和次常用1 000词表，对较高水平的学习者，还要使用学术词表来分析词汇复杂度。
LFP对文本长度的最低要求是达到200个词才能获得较为可靠的结果，低于200词的文本测量结果则不可靠。他们的研究报告了LFP的信度和效度:LFP对同一主体的两篇作文给出相似的稳定结果;LFP能区分不同水平的学习者;LFP和其他独立的词汇测量有较好的相关性。总之，它是一个有用的诊断工具和敏锐的研究工具。
尽管Laufer等宣称LFP具有其他词汇丰富性测量方法所不具有的优势，它仍然受到了不少批评。Meara等称LFP测量并没有那么稳定，且由于低水平学习者只能产出极少的低频词，不足以区分词汇复杂度，也就不能很好地区分低水平学习者的产出性词汇。2005年，通过一系列电脑模拟，Meara提出LFP在测量词汇复杂度方面并没有原作者认为的那样灵敏，只有被比较的组间词汇量差异明显才能获得良好的结果，LFP甚至对词汇量中等程度的差异都无法辨识［26］。Laufer等回应了Meara对LFP的批评，指出Meara分析中对LFP的各种“曲解”。尽管LFP存在各种缺陷，但它仍然不失为词汇评估的一个有用工具，尤其不失为一个便捷的学习者产出性词汇的教学诊断工具。
P_Lex是另一测量文本词汇复杂度的探索性工具。它观察难词在文本中的分布情况，并得出一个表示难词在文本中发生的可能性的指标。它基于这样的理念:难词在文本中出现的频
率较低，而具有较大词汇量的学习者比具有较小词汇量的学习者更有可能使用低频词汇。P_Lex的工作原理是:它将文本切分为10个单词一段，然后计算包含从0个到10个低频词段落的比例，据此绘制一条经验曲线。P_Lex认为低频词是偶然发生的，这种情况典型地符合泊松分布原理。根据这样的假设，P_Lex根据公式 PN=(λN*e－λ)/N!计算出一条与实际数据绘制的曲线最为匹配的理论泊松曲线。这条最佳匹配的理论曲线的λ值就是我们所需的比较词汇复杂度的指标。λ值通常在0．5～4．5。λ值越高，学习者词汇量越大，词汇复杂度就越高。
P_Lex在处理文本时，将文本中每一个词与词表比对，当文本中的词不在词表范围中，使用者可以人为地将它们划归为某个词频等级。分析结束后，P_Lex显示以下信息:文本总词符数，可识别和处理的10个单词一段的总段数，文本的λ值以及误差值(d)。误差值显示实际曲线和理论曲线匹配的程度，误差值越小，匹配程度越高。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。