2008 年 11 月 第 40 卷   6 期 第
外语教学与研究 ( 外国语文双月刊) Foreign L a nguage Teachi ng a nd Researc h ( bi mont hly)
N ov. 2008 V ol . 40 N o. 6
我国高校英语专业八级测试写作项目的 理论效度检验研究
鲁东大学
3
  修旭东
   提要 : 本文通过开发和预试一份调查问卷作为研究工具 、 运用相关统计程序调查了我国高校英语 专业八级写作测试的理论效度 。因子分析显示 , 八级写作测试基本上反映了写作内在过程或写作能力 。 回归和方差分析显示 , 考生的语言表达能力得到了统计上的边际性显著区分 “调整主题与体裁” 组织 , 、 “ 思想” 表达” 检查” “ 、 “ 、 子过程比其他子过程对写作成绩的影响更大 。上述分析结果表明 , 八级写作测试 总体上在多方面测量了考生的写作能力 , 但仍需进一步完善 。    关键词 : 八级写作测试 、 理论效度 、 效度检验   [ 中图分类号 ] H319   [ 文献标识码 ] A
1 . 引言 B ac h ma n ( 2000 : 22 ) 认为 : 语言测试的专业化和 “
t y) 会避免一些学者 ( 如 A nast asi 1988 ; Alde rs on 1991 ; Messic k 1994 , 1995a , 1995b ; Wei r 20
  05) 指出的传统术
语容易引起的混乱 ?? [ 构念效度 ] 既指包含所有 ?“它 效度类型的上义概念 ( sup e r or di nate te r m ) , 又指更具 体的 理 论 构 念 ( t heoretical const ruct ) ”( Weir 2005 :
14 ) 。本文使用的 “理论效度” 实质上是指传统 “构念效
效度研究是语言测试界现在和未来研究的两个重点领 域” 。我国高校英语专业八级测试 ( T EM
  8) 是根据 《高
( 等学校英语专业英语教学大纲》 2000 ) 在全国范围内
实施的大规模测试 , 但至目前对该测试中写作项目 ( 下 称 : 八级写作测试) 的效度检验研究还很少见 。
logical Association ( A PA ) 1985 :
  9) , 或是对效度证据 ( 的全面的 “评价总结” Messic k 1995b : 742 ) 。因此 , 检 ( “效度 ……是一个整体概念” A me rica n Psyc ho2 ( 本文的 “理论效度”t he ory2based validit y) 是 Weir
度” 中更具体的 “理论构念” 。
验某一测试的效 度 需从整 体 上 对 效度 证 据 ( validit y 一切与测试有关的因素进行整体研究 。但限于篇幅 , 其整体效度进行研究的标志性部分 。
evide nce) 进行全面的调查研究 , 即对所有效度证据或
本文仅检验八级写作测试的 “理论效度”以此作为对 ,
( 2005 ) 提出的一个新术语 , 它关注的是理论上认为语
言测试应测的能力 , 即“真实生活语言所蕴含的各种 能力” 或内在/ 认知过程 ( Weir 2005 : 18 ) 。本 文 使用
( “理论效度” 代替传统的 “构念效度” const ruct validi2
3 本文根据笔者博士论文 ( 英语) 的部分内容撰写而成 ,是对八级写作测试理论效度研究的一部分 。感谢 : 英国 Cyril Weir 教 授、 Barry OπSullivan 教授和 Roger Hawkey 研究员对论文的指导 ,上海外国语大学 、 河南大学 、 鲁东大学有关同学提供的预试研究 和主体研究的数据 ,匿名审稿专家提出的修改意见 。
B ridge ma n & Carls on 1983 ; Ha mp2L yons & Kr oll 1997 ;
Cum mi ng et al . 2000 ; Hyla nd 2002 ; Weigle 2002 ; 上海
外国语大学 T EM 考试中心 1997 ) 曾对多种测试 ( 如 :
I EL TS 、 F EL 、 R E 、 EM ) 的写作项目进行过研究 , TO G T
但仍存在一些问题 , 如缺乏经验性的 、 全面的 、 可操作 的对高风险写作测试进行效度检验的理论框架 ; 缺乏 根据该框架来开发和预试检验效度的工具和程序 ; 缺 乏从不同角度检验 [ 这些 ] 工具和应测的构念 ( t he o2 “ 尽管 Weir ( 2005 : 47 ) 建立了一个比较全面的 、 可操作 性较强的 ( 即从理论效度 、 内容效度 ( context validit y , 又译作环境效度) 、 评分效度/ 评分员信度 、 试后效度和 效标关联效度方面) 检验写作测试效度的框架 , 但仍缺 ・447 ・
retical const ructs ) 之间关系” 的研究 ( Weir 2005 : 2 ) 。
 [ 文章编号 ] 100020429 ( 2008 ) 0620447207
在非 母 语 写 作 研 究 中 , 许 多 学 者 或 机 构 ( 如
2008 年                     外语教学与研究                     6 期 第
少在该框架基础上开发和预试检验写作测试效度的有 效工具 , 因而也无从谈起检验工具和应测的构念之间的 关系或确立证据来支持对分数所作出的推论或解释 。 因此 , 对八级写作测试的理论效度进行检验 , 应首 先确立检验写作测试理论效度的框架 , 即首先从理论 上搞清楚应该测试哪些能力或反映这些能力的内在/ 认知过程 ( Ass ociation of L a nguage Teste rs i n Eur op e
Weir 2005 :
  18) , 然后以该框架为依据开发和/ 或预试 ( AL T E) me mbers 1998 : 139 ; Bac h ma n 1990 : 2542256 ;
图 1 . 写作测试的理论效度检验框架
“语言知识” “语法知识” 语篇知识” 功能 包括 、 “ 、 “ 知识” “社会语言知识” “语法知识” 和 。 包括词汇知识 、 音系/ 字系知识 、 句法知识 。 “语篇知识” 包括衔接知 识、 修辞结构知识 。 “功能知识” 包括概念 ( 达意 ) 功能 知识 、 操作功能知识 、 启发功能知识 、 想象功能知识 。 “社会语言知识” 包括方言/ 变体知识 、 语体 ( 语域 ) 知 识、 自然表达或习惯表达知识 、 文化特指和修辞手段
e r 1996 :662
  77) 。 ( 辞格) 知识 ( Bac h ma n 1990 : 84298 ; Bach ma n & Pal m2
相应的研究工具 ( 如 : 问卷 ) 和/ 或程序 ( 如 : 有关数理统 计程序) ( Weir 2005 ) , 再使用这些工具和程序来检验 该测试在多大程度上测试了应测的能力 。
2 . 写作测试理论效度的检验框架
ledge) 或主题知识 ( t op ical k nowle dge ) ( Bach ma n & Pal mer 1996 :65 ) 或文化背景知识或专业知识 ( subject mat te r knowledge ) ( Weir 2005 : 75 , 97 ) 。这些知识是
语言使用时的信息源 , 有的已存于写作者脑中 , 称为 资源 ( 如 : 文章 、 书籍或其他媒介) 中获得 , 称为 “外在知
( 识” Weir 2005 : 97 , 1
  11) 。
效度检验是一个类似评价的过程 , 在这个过程中
“内在知识”有的还未存于写作者脑中但可以从外部 ,
Bach ma n & Pal me r ( 1996 ) 关于语言能力的论述 , 在英
必须提供效度证据以支持对分数所做出的推论 ( Bach2 国专家 Weir 、 ’ O Sulliva n 和 Haw key 的指导下 , 笔者试 建了写作认知过程模型 ( 见图
  1) 作为检验写作测试理 论效度或提供效度证据的理论依据 。该模型涵盖了上
( 述多个模型中的所有成分或 “理论构念” 建模理据请
2005 : 15 ) 。根 据 先 前 研 究 , 特 别 是 参 考 Fl owe r & Hayes ( 1981 ) 、 reiter & Sca r da malia ( 1987 ) 、 be & Be Gra Kapla n (1996 ) 的 写 作 认 知 模 型 和 Bac h ma n ( 1990 ) 、
参看笔者 2002 , 2004 , f ort hcomi ng) 。为方便读者 , 此 处对该模型再作简要解释 。
组成 。前者提供的 “语言知识” “内容知识” 对后者 和 ,
提供支持 ( Flower & Hayes 1981 : 370 ; Be reit er &Sca r2
Kapla n 1996 : 226 ; Weir 2005 :
  47) 。
da malia 1987 :8 , 12 ; Bac h ma n 1990 : 1072108 ; Gra be &
ma n 1990 : 22223 ; AL T E me mbers 1998 : 168 ; Weir
裁” 产生思想” 组织思想” 表达” “检查” 个子过 “ 、 “ 、 “ 、 和 6 程组成 。该过程与 Weir ( 2005 :
  47) 的模型有所不同 ,
Weir 没有把 “检查” 包含在内 , 因为他认为 “检查” 与模型
中的 “监控” 重叠 。 “检查” 之所以在笔者模型中保留是 因为在多数情况下它发生在写作之后 ( 尤其针对不满意 部分) , 而 “监控” 是指在写作的任何阶段起到控制或扫 描作用的活动 。并且 “检查” “监控” , 与 也分别得到了
Field ( 2004 ) 以及 Flowe r & Hayes ( 1981 ) 的证实 。
一致的初始任务 。Flowe r & Hayes ( 1981 : 3
  72) 认为 ,
“确定目标”是整个写作过程中的一个 “计划过程” 。
Bereite r &Sca r da malia (1987 :
  12) 将它置于 “对任务的
心理 表 述 ( me nt al rep rese nt ation of assignme nt ) ” 之
Gra be 和 Kap la n (1996 :2
  27) 认为 “确定目标” 有三个
后 , 其他子过程在 “确定目标” 这个子过程基础上进行 。 任务 :1 ) 它 “为写作设定目标和宗旨” 2 )“提供与目标 ; 一致的初始任务表述” 3 ) 将 ; “环境” “言语短时工作 与
( 记忆” ve r bal w or ki ng me mory) 连 接 起 来 。本 研 究
中 “确定目标” , 与上述 Gra be 和 Kapla n 提出的三个功 能的论述基本一致 。 “调整主题与体裁” 指依据内容知识和篇章知识为
该模型由 “写作支持源” “写作实施过程” 和 两部分
・448 ・
写作提供主题提示和体裁提示 。根据 Bereite r & Scar 2
da malia (1987 :
  7) 的观点 , 对任务的心理表述在他们 ( 的 “知识陈述” k nowle dge2telli ng) 模型中 “可以分解为 t ra nsf or mi ng) 模型中 “确定目标” “任务的心理表 , 紧跟
( 对主题 和体裁 的调 整” “知识转 化” knowledge2 。在
“内容知识” 指现实世界知识 ( real2w orld know ~ “确定目标” 指根据写作情景确定目标及与目标相
“写作实施过程” “确定目标” 调整主题与体 由 、 “
修旭东   我国高校英语专业八级测试写作项目的理论效度检验研究
述” 之后 , 虽然 “调整主题与体裁” “确定目标” 没在 之后 出现 , 但这并不意味着写作者不调整主题与体裁 , 因为 在 “确定目标” 之后是与 “内容知识” “语篇知识” 和 互动 的 “解决内容问题” “解决修辞问题”而 和 , “解决内容问 题” “解决修辞问题” “内容知识” “语篇知识” 和 在与 和
lia 1987 :8 , 12 ) 。因此 “调整主题与体裁” “知识转 , 在
思想 ( Flowe r & Hayes 1981 : 370 ) , 也无论文本是否符 合确定目标和文本输出的要求 ( Gra be & Kap la n 1996 :
2
  26) , 写作者都需要对其进行评价和修正 。在该子过
程中 , 写作者既需要语言知识也需要内容知识 。 图 1 模型为寻找和确定八级写作测试理论效度的 证据提供了蓝图 。换言之 , 开发和预试相关的工具应 以图 1 中的因素或变量为依据 。
3 . 预试研究
“内容进展”( conte nt develop i ng ) 的过程类似 。在分 类、 组合 、 发展和排序过程中 ,“问题 转 换” ( p r oble m
t ra nslation ) ( 同上 :12 ) 频繁地与 “内容知识” “语篇知 和
“表达” 子过程中才能把思想用得体 、 精美 、 衔接和连贯 子过程与 Be reiter 模型 ( 1987 :
  8) 的 “更新对文本的心 理表 述 ” ( up date me nt al rep rese nt ation of text ) 和
Grabe 模 型 ( 1996 : 226 ) 的 “在 线 加 工 装 配” ( on2li ne
cessi ng outp ut ) 过程相似 。在该子过程中 , 写作者特别
( p r ocessi ng asse mbly) 、内在加工输出” i nte r nal p r o2 “
互动时 , 必然会调整主题与体裁 (Be reite r & Scar da ma2 化” 模型中依然得到了体现 。主题调整有助于内容切 题 , 体裁调整有助于语篇连贯 。 “产生思想” 是指产生完整的 、 更多是不完整的 、 零 散的甚至是不合逻辑的或矛盾的思想或观点 ( Fl owe r
te r 模型 ( 1987 :8 ) 中 “从记忆中提取内容” 的含义相似 , & Hayes 1981 :37 ) 。该子过程在很大程度上与 Be rei ~
预试研究用来开发和预试检验八级写作测试理论 效度的工具 。 根据图 1 模型 , 笔者设计和预试了一份问卷作为 研究工具用来调查或检验八级写作测试的理论效度 。

  3. 1   预试的总体程序
或在某种程度上与 Gra be 模型 (1996 : 2
  26) 中 “语言能 力” “社会知识” 和 互动的过程相似 。在该子过程中 , 内 容知识堪称主要的写作支持源 。 “组织思想” 指把产生的思想进行集中 、 归类 、 排序
预试的总体程序如下 :
1 ) 问卷发放前 , 邀请两位本族语英语教师 ( 来自
美国和加拿大 ) 和三位非本族语英语教师检查英语问 卷 ( 问卷开始时用英语设计 ) 中各个项目的正确性 、 恰 当性 、 简洁性和可理解性 。

  2) 邀请六位将参加八级写作测试的学生阅读并
和创新 。它与 Flower 模型 ( 1981 : 370 ) 中对思想进行 分类 、 组合 、 发展和排序的含义相同 , 也与 Be reiter 模 型 (1987 :112
  12) 中的 “文本进展”( text develop i ng) 和 识” 发生作用 。因此在该子过程中 , 写作者通常既需要 内容知识也需要语篇知识 。 尽管 “组织思想” 至少可以提供文章的框架 , 但却 不能把 “一个复杂的网络框架变成一段线性的英语文
( 本” Flower & Hayes 1981 :3
  73) , 因为在 “组织思想” 后
回答所有的项目 , 然后将他们分成两个小组就问卷中 的每个项目进行详细访谈 。大多数访谈的问题用汉语 表述 , 偶尔既用英语也用汉语表述 ( 访谈的
 

相关内容

全国高校英语专业四级口试考题

   全国高校英语专业四级口试考题 Task 1 Retell a story twice, You will listen to the story twice, and after that you should retell the minutes。 story immediately within three minutes。 (录音原文) 录音原文) A philosophy professor stood before his class and had some items in f ...

高校英语专业四级口试大纲

   高校英语专业四级口试大纲 SYLLABUS FOR TEM 4 ORAL 总 则 2000 年出版的《高等学校英语专业英语教学大纲》 (一下简称《大纲》 )规定, 高等学校英语专业基础阶段的主要教学任务是“传授英语基础知识,对学生进行 全面的、严格的基本技能训练,培养学生实际运用语言的能力、良好的学风和正 确的学习方法,为进入高年级打下扎实的专业基础”(《大纲》 ,2000:2)。 《大纲》指出, “为了帮助各校和有关部门了解执行本教学大纲的情况,教育 部委托全国高校外语专业教学指导委员会英 ...

高校英语专业八级考试大纲

   总 则 国家教委〈高等学校英语专业高年级英语教学大纲)规定,高等学校英语专业高年级英语的教学任务是“继续打好语言基本功,进一步扩大知识面,重点应放在培养英语综合技能,充实文化知识,提高交际能力上。” 同时,〈大纲)也指出,“大纲的执行情况主要通过统一测试进行检查。”“测试和评分应力求尽快达到标准化和电脑化,使其具有科学性、客观性和可行性。” 根据(大纲)中的上述规定,英语专业八级考试大纲规定了以下原则及考试内容: 一、考试目的 本考试的目的是检查大纲的执行情况,特 ...

高校英语专业八级考试大纲

   阳光家教网 www.ygjj.com 英语学习资料 高校英语专业八级考试大纲(2005 新大纲 新大纲) 高校英语专业八级考试大纲 总 则 国家教委《高等学校英语专业高年级英语教学大纲》规定,高等学校 英语专业高年级英语的教学任务是“继续打好语言基本功,进一步扩 大知识面,重点应放在培养英语综合技能,充实文化知识,提高交际 能力上。” 同时,<大纲)也指出,“大纲的执行情况主要通过统一测 试进行检查。”“测试和评分应力求尽快达到标准化和电脑化,使其具 有科学性、客观性和可行性。” 根据 ...

高校英语专业八级考试大纲

   高校英语专业八级考试大纲(2005 新大纲 新大纲) 高校英语专业八级考试大纲 总 则 国家教委<高等学校英语专业高年级英语教学大纲)规定, 高等学校英语专业高年级英语的教 学任务是“继续打好语言基本功,进一步扩大知识面,重点应放在培养英语综合技能,充实 文化知识,提高交际能力上。” 同时,<大纲)也指出,“大纲的执行情况主要通过统一测试进行检查。”“测试和评分应力求 尽快达到标准化和电脑化,使其具有科学性、客观性和可行性。” 根据(大纲)中的上述规定,英语专业八级考试大纲规定了 ...

英语专业八级考试范文集锦

   英语专业八级考试范文集锦 Children should begin their formal schooling at an early age People have different views on what children should do at a very early age. Some think that children should begin their formal education and start to spend most of their time ...

英语专业八级考试翻译题2

   英语专业八级考试翻译题 2 ①Opera is expensive: that much is inevitable. ②But expensive things are not inevitably the province of the rich unless we abdicate society's power of choice. ③ We can choose to make opera, and other expensive forms of culture, accessi ...

英语专业四级口试的效度研究

   第3 2卷 第 5期 解 放 军 外 国语 学 院 学 报 Jun lo L iest fF min L n u g s o r a fP A Unv ri o o g a g a e y V 1 3 No 5 0. 2 . 20 09年 9月 Sp.20 et 0 9 英 语 专 业 四级 口试 的 效 度 研 究 文秋 芳 ,王 凌 ( .北京外 国语大学 中国外语教育研究 中心 ,北京 10 8 ;2 1 0 0 9 .南京 大学外国语 学院 ,江苏 南京 2 0 9 ) 1 ...

1998年英语专业八级全真试题

   www.tingroom.com 在线英语听力室 TEST FOR ENGLISH MAJORS (1998) -GRADE EIGHTPAPER ONE TIME LIMIT: 95 MIN PART I LISTENING COMPREHENSION [40 MIN.] In Sections A, B and C you will hear everything ONCE ONLY. Listen carefully and then answer the questions that ...

2010年英语专业八级考试大纲

   大家论坛 club.topsage.com 2010 年英语专业八级考试大纲 总 则 国家教委<高等学校英语专业高年级英语教学大纲)规定,高等学校英语专业高年级英语的教 学任务是"继续打好语言基本功,进一步扩大知识面,重点应放在培养英语综合技能,充实 文化知识,提高交际能力上. " 同时,<大纲)也指出, "大纲的执行情况主要通过统一测试进行检查."测试和评分应力求尽 " 快达到标准化和电脑化,使其具有科学性,客观性和可行性. & ...

热门内容

新目标七年级英语下册unit5 SectionA 1a-1c教学设计

   新目标英语七年级(下)Unit5 I'm watching TV. 教学设计 SectionA1a-- --1c -- 一、教材分析 本单元是 Go for it ( 下 ) Unit 5。主要围绕“What are you doing?”这一主题 展开各种教学活动,并以这一主题引出现在进行时的一般疑问句,否定句以及特 殊疑问句等语言功能。本单元旨在创造一个轻松、愉快的学习、交流环境,通过 听、说、读、写来培养学生综合运用这些知识的能力。并让学生能在“做中学” (learning by do ...

经典:无须复习,只要十天英语四级就能过

   经典:无须复习,只要十天英语四级就能过 1,听力,有三种题型,dialogue(十个对话),passage(三个 短文),compound dictation(复合式听写,也就是传说中的段 子题),第一种每年必考,后两种逐年交替,其中考 passage 的次数相对较多. 最容易得分的是 dialogue 和 passage, 只要记住一个超 级技巧即可:对话所述事情总是向不好的方面发展.举几个 例子:比如对话里问教授的讲座 lecture 难不难,记住一定 难,老师的作业 assignmen ...

英语老师不想让你知道的一些网站

   英语老师不想让你知道的一些网站 2009-04-07 14:10 来源: 美国国家公共广播电台 NPR ( 请大家在百度搜索 "npr" ,搜索结果的首条就是 NPR ) 。 今日推荐 1、 练习听力 、 美国国家公共广播电台 NPR ( 请大家在百度搜索 npr ,搜索结果的首条就是 NPR ) 。 特点:标准美式英语。 建议:每天花三十分钟左右,反复听英语广播,这是听力过关的必经之路。点击网页中左边“ BROWSE TOPICS ”下面的“ News ”选项。选择自己 ...

中考英语写作训练

   与一般的课文一样) 一、描写 记述 (与一般的课文一样) 二、英文书信 三、英文请假条、便条 英文请假条、 四、英文讲稿(发言稿、自我介绍 英文讲稿(发言稿、 五、 英文通知 六、英文日记 看图写话:给出画面,或英文提示, 看图写话:给出画面,或英文提示,按要求 写作。 写作。 看图(或材料) 看图(或材料)填空 材料作文(近年各地市常考的题型): 材料作文(近年各地市常考的题型): 给出一定的书面(中文或英文)材料, 给出一定的书面(中文或英文)材料,按题目要求写作 命题作文(多为描写,记 ...

英语学习_it、one、that的用法与区别_必备

   弃我去者, 弃我去者,昨日之日不可留 乱我心者, 乱我心者,今日之日多烦忧 it/one/that 的用法和区别 I. it/one /that 三者均可用作代词, 指代前面提到的名词。一般说来, it 指代同名同物; one 与 that 则指代同名异物。 I have lost my umbrella; I'm looking for it. (该句中 it 就是指前面 的 my umbrella) I have lost my umbrella; I think I must buy ...