TOEFL メールマガジン

ユーザーの声

バックナンバーはこちら

このコーナーでは、TOEFLテストの実施運営団体であるETSのプロダクツをご利用いただいている高等学校・大学での導入事例を、現場の教室からお伝えします。

ETSプロダクツとは、TOEFL PBT(Paper-Based Testing)テストの過去問題を使った「団体向けTOEFLテストプログラム:TOEFL®テストITP」や、インターネットに接続できる環境があればどこからでもアクセスができ、短時間で採点とフィードバックを自動で行う、ライティングの授業には欠かせない「オンライン・ライティング自動評価ツール:Criterion®」など、現在日本国内のみならず世界の教育現場の皆様に多くご利用 ・ご活用いただいているETS開発のテスト・教材です。

今回はCriterionを導入されている早稲田大学の鈴木利彦先生からご寄稿いただきました。鈴木先生には8月に開催するCIEE主催 教職員向けセミナーでも発表いただく予定です。セミナーの詳細はこちら

鈴木利彦

鈴木利彦(すずき・としひこ)先生プロフィール
早稲田大学商学学術院准教授
早稲田大学教育学部英語英文学科卒業後、英国ランカスター大学にてM.A.、Ph.D.を取得
小・中・高等学校英語教諭、上智大学一般外国語教育センター嘱託 講師などを歴任後、2008年に早稲田大学商学学術院専任講師に就任し2010年より現職
専門は言語学(語用論)、英語教育
NHKラジオ第二放送講師(「英語ものしり倶楽部」内、「おとなのためのGrammar講座」2009.7-9、2010.7-9(再放送)担当)
上智大学国際言語情報研究所客員研究員

1.はじめに

ここでは、私が勤務校(早稲田大学商学部)で担当している、英語ライティング(2年生必修)でのCriterionの活用例についてご紹介します。本学部の英語クラスには様々な英語力を有する学生たちが混在しており、また受け持ちの受講生の数も比較的多い現状ですが、そのような状況でもCriterionを有効活用することによって、「どのようにすれば正しい英語を使ってパラグラフやエッセイを書けるようになるのか」というテーマを効果的に指導することが可能になっています。どのような活用をして、どのような点で効果的なのか、以下で全体的にご理解いただければ幸いです。

2.Criterion導入の背景

私は2009-10年度に「英語Ⅱライティング」(2年必修)の4クラスを担当することになり、各クラス約30名の受講生(=総計約120名)を「英語ライティング」で受け持つことになりました。英語ライティング指導における重要ポイントとしてあげられるのは、(1)文レベルの指導(語彙、コロケーション、文法)、(2)パラグラフレベルの指導(論理性)、(3)エッセイレベルの指導(論理性+パラグラフ配列)、(4)転換語句(transition signals)の指導、などであり、文章全体と細部に関してきめ細かい、かつ個々のケースに応じた指導が必要です。それゆえ、「個々の受講生にフィードバックをどれだけ与えられるか?」というのが英語ライティング指導では常に重要な命題となり、「添削の必要性と限界」のジレンマに教員は悩まされることになります。この課題をポジティブに解決するため、私は前勤務校で使用した経験のあるCriterionの活用を選びました。

3.実感したCriterionの有用性

Criterionは米国ETS(Educational Testing Service)によって開発・運営され、それゆえETSのTWE(*)におけるknow-how(トピック、指示文、採点対象項目、採点方法などに関して)が集約されています。Criterionを教室で使用することは、早稲田大学という日本の一大学の教室が全世界規模のライティングの世界につながることを意味します。学生が書いた英文エッセイも担当教員の評価(Local assessment)だけでなく、世界に通用する評価(Global assessment)も与えられることになります。何といっても素晴らしいのは、Criterionに英文エッセイをインターネット経由で提出すると、瞬時にフィードバックが返ってくることです。上記の「個々の受講生にフィードバックをどれだけ与えられるか?」という課題に対し、「語彙」、「文法」、「転換語句」、「パラグラフレベルの構成」、「エッセイレベルの構成に関する指導」の各ジャンルで世界トップレベルのフィードバックが瞬時につけられるわけですから、どれだけ素晴らしいものかご理解いただけるのではないかと思います。フィードバックがついた後、受講生たちはETSの英語ライティングに関するknow-howがあまねく活用されている“Writer’s Handbook”を使って各項目(文法、転換語句など)における個々のフィードバックの意味や、誤りをどのように修正していくかを学ぶことができます。これにより、「何がいけないのか」、「何が評価されるのか」、「これから何を身につければ良いのか」に関し、貴重な指針を得ることができるわけです。

*編集部注:
TWE®(Test of Written EnglishTM)…TOEFL PBT(ペーパー版TOEFLテスト)と同時に実施されるライティングの試験。トピックが一つ与えられ、それに対する英文エッセイを30分で書く。2人の採点者によって総合的に採点され、スコアは1から6まで0.5刻みとなる。TOEFL CBT(コンピュータ版TOEFLテスト)のライティングセクション、TOEFL iBT(インターネット版TOEFLテスト)ライティングセクションのインディペンデントタスクも出題形式は同じである(但し後者は5点満点)。なお、TOEFL CBTは2006年に実施終了、TOEFL PBTは現在日本では実施未定。

また教員も、英文エッセイ評価・指導への貴重な指標を得ることができます。前述の、(1)文レベル(語彙、コロケーション、文法)、(2)パラグラフレベル(論理性)、(3)エッセイレベル(論理性+パラグラフ配列)、(4)転換語句(transition signals)、更には総合的な評価と指導に関して、世界的な基準に基づいた指針を示してもらえるわけですから、これはある意味素晴らしいFD (Faculty Development = 大学教員の教育能力を高めるための実践的方法)を受けているともいえます。もちろん、受講生たちにエッセイをCriterionに提出させてフィードバックを読ませて終わりというわけにはいかないことは強調しておきたいと思います。それぞれのエッセイを「人間の目を通して」精密に読んで、更に良いエッセイに仕上げられるようにアドバイスができなければ、本当の意味でCriterionを活用していることにはなりません。実際に、学期の後半になると学生たちも論理的でよいパラグラフライティングができるようになり、また語彙・文法などの面でも読みやすい英文が書けるようになり、Criterionでも高い評価(5点、6点)をもらえるようになります。しかしながら、私の今までの指導では、6点がついたエッセイでも100点満点で80点という場合もありました。もちろんその場合にはなぜ100点ではなく80点なのかを説明できなければなりません。Criterionは全体的な英文エッセイ・ライティングの能力を高めてくれ、教員と学生たちに総合的な指標を与えてくれますが、精読での評価においては教員の指導能力が問われるわけで、その意味でも教員自身がライティングを精密に評価する能力を常に磨いていかなければなりません。

4.指導効果の検証

私が以前Criterionを使用した時は、質の高い外国語教育で有名である前勤務校での最上位の2レベルのクラスで、その効果と云うのはある意味当然のこととして期待できました。今回は商学部と云う、特に外国語教育に特化した学部ではなく、またクラスには様々な英語レベルの学生たちが混在する状況で、Criterionの導入にはいささかためらわれる部分もありました。しかし、2009年秋学期が終わって、Criterion内のデータを検証してみると、下記の通り非常に効果があったことが実証されました。

Table 1. トピックごとの平均点の変遷

上記はデータ収集対象にした2クラスのトピックごとの平均点の推移です。一番最初のトピックでの平均点が3点未満だったのに対し、学期の最後には約4.5点となり、指導するクラス全体で効果があったことが判明しました。最初がどのような実力で、最後にはどのような力がついたかは、下記のCriterionの“Criterion Scoring Guide”が示してくれています。英語の実力が高い学生だけでなく、あまり英語を得意としていなかった学生も、アカデミック・ライティングやTOEFL iBTのライティングセクションのための基本的・総合的スキルを身につけたことになります。こちらの“Scoring Guide”の文言からわかるように、「4点」が「良い英文エッセイ」の分岐点になっており、その意味でも最後に平均点が4点を超えたことをとても意義深く感じました。

次に、上記ライティング評価の数字による指導効果の検証に加え、指導終了後に実施したアンケート調査(概要下記)で、受講生自身がCriterionを活用した授業の効果をどのように感じているかを検証してみたいと思います。

Table 2. アンケート調査項目(抜粋) (5点満点)

  1. Criterionは使いやすいですか。
  2. Criterionで出題されるトピックは取り組みやすいと思いますか。
  3. Criterionのスコアは正確だと思いますか。
  4. Criterionのフィードバックについて、以下それぞれの分析結果は信頼できると思いますか
  5. Writer’s Handbookを使用しますか
  6. Criterionの良い・便利だと思う点を記入してください
  7. Criterionの悪い・不便だと思う点(改善すべき点)を記入してください
  8. Criterionに追加して欲しい機能があれば記入してください
  9. Criterionを使用した授業で英語ライティングの実力がついたと思いますか
  10. 以下それぞれについて力がついたと思いますか:論理構成力、文法力、語彙力
  11. Criterionを使ってから心がけるようになったことはありますか(複数回答可)
    1) 辞書を使うようになった
    2) 英字新聞を読むようになった
    3) 英語の本を読むようになった
    4) その他

Table 3. 学生が高い評価をした項目Top3 (5点満点)

  1. Criterionを使用した授業で力がついたと思いますか
    : 論理的構成力…4.23点
  2. Criterionのフィードバックについて、分析結果は信頼できると思いますか
    : 文法…4.12点
  3. Criterionを使用した授業で英語ライティングの実力がついたと思いますか
    …4.04点

ほぼ全ての項目で平均点が3点以上となった中で(Writer’s Handbookの使用のみ2.45)、平均点が4点を上回る特に高い評価を得たのが上記3項目で、私が授業と評価で実感している効果とほぼ一致しています。「論理的構成力」は、エッセイの組み立てで、<[Introduction] – [Body paragraph 1,2(,3)] – [Conclusion]>という流れとそれぞれでどのような書き方(例えば、Body paragraphはTopic sentenceとSupporting sentencesで構成される)が必要かを授業でもかなり詳しく取り扱ったので、その効果を受講生たちも実感していることが分かります。文法もCriterionがかなり詳細にフィードバックをつけてくれるので、受講生にとても役立ったようです。3番目は全体的な英語ライティングの実力に関してで、この点で高い評価を得たことはある意味当然とはいえ、担当教員としては一番うれしく感じる部分です。また、上の表には出ていませんが、半数以上の学生が「英和・和英などの辞書を使うようになった」と回答しています。辞書を使用し、またその効果的な使用法を学ぶことは英語ライティングのみならず英語学習にとって非常に大切なことで、この点にも効果が派生したことも喜ばしいことと考えています。

指導効果の検証の最後として、受講生たちのCriterionに対する「生の声」(抜粋)を下記にご紹介します。

Table 4. Criterionの良い・便利だと思う点(記述・抜粋)

  • レスポンスが早い。悪い点を色つきで指摘してくれる
  • 自分の作った英文が文法にのっとってきちんと作られているかをすぐに採点できるシステムは非常に画期的。
  • 自分では見落としてしまっていた文法のミス等に気づくことが出来た。
  • 文章の構成を意識するようになった。
  • 速さが一番。もう一つは自分の英作文はなかなか誰かに評価してもらう機会はないので、その点が嬉しい。
  • ネット環境があればどこでも使える、時間制限がある、すぐに結果が返ってくる
  • ライティングの練習が一人で簡単にできるところ
  • 単語・文法・構文のミスが即座にわかる
  • すぐに評価が出るので、自分の間違いが印象に残る。

Table 5. Criterionの悪い・不便だと思う点(記述・抜粋)

  • エッセイの重複単語でI, He, She, 等も減点対象になってしまう。土地などの固有名詞を識別できない。
  • コンピュータなので見逃されている点がある。
  • 短い文章を全てtoo shortとして評価する点は改善した方がよい。
  • やはり機械的な採点であるため、より適切な表現はないのか、といった点を判断することが出来ない点。
  • 間違っている箇所の指摘はしても、どのように良くないのか、どのように改善すればいいのかまでは結局先生に言ってもらわないと分からないので、評価の納得ができませんでした。

Table 6. Criterionに追加して欲しい機能(記述・抜粋)

  • Writer's Handbookの例文をもっと増やしてほしい。
  • 自分が書いた文章を正しい発音で読み上げる機能。

上記の記述から、Criterionを実際に使用した受講生たちが、私が述べたような全体的な効果を実感したことが見て取れます。また個々の改善が必要な点に関しては、今後のCriterion活用の中で解決方法を模索していきたいと思います。

5.Criterion活用の今後の指針

私の担当する英語ライティングの授業では、大学レベル英語教育の一環として、Criterionを活用した「アカデミック・ライティング」(EAP = English for Academic Purposes)と、早稲田大学のLMS(Learning Management System)を利用した海外交流校(韓国・台湾など)との「国際コミュニケーションのための英語ライティング」(EGP = English for General Purposes / ESP = English for Specific Purposes)を2つの柱にしています。1本の大きな柱であるアカデミック・ライティングで、上記のように大きな教育効果が実証されたパワフルなツールであるCriterionを使えるというのは非常に心強いことです。今後も活用法の検討を重ね、更に教育効果を高めることができるよう下記のテーマについて現在研究中です。

  • 1)Pre-writingにおける“Planning tool”の活用
  • 2)早稲田大学LMS (Course N@vi)の機能のフル活用(電子黒板、掲示板、レポート提出etc.)
  • 3)Writer’s Handbookの教科書的な使用
  • 4)Criterion提出データの「学習者コーパス」化とその利用
  • 5)Criterionでの「アカデミック・ライティング」と上記「国際コミュニケーションのための英語ライティング」の更なる結びつき

以上については、2010年8月2日(月)に予定されているCIEE主催の教職員向けセミナーにて発表を予定しています。こちらでは、実際にCriterionを活用した授業を受けた受講生の生の声のビデオ紹介なども企画しています。皆様にぜひご参加いただき、Criterion活用法について色々と情報交換や意見を交わさせていただいと考えております。

2010年8月2日(月)、東京・青山にて教職員向けセミナー開催決定!

早稲田大学での鈴木先生の取り組みについてもお話いただきます。詳細についてはこちらのページをご覧ください。

▲このページのトップへ戻る▲