タグ別アーカイブ: ChatGPT

ChatGPTにフィードバックを「外注」する

はじめに

ずっと下書き状態だったんですが,もうこのままサクッと公開しようと思って公開します。授業の中で,今まで自分(教員)が学生の書いた英文(基本的には単文)にフィードバックしていたのですが,それを学生がChatGPTにフィードバックを求める課題にした,というお話です。

どんな授業か

2回生向けの,Listening&Speakingの授業です(教養外国語のクラスで学部は理系)。クラスサイズは35名くらいで,教科書を使いつつ,半分くらいの時間はペアでのインタラクション・タスクをやっていました。そして,post-taskとして,ワークシートに「言いたかったけど言えなかったこと」という欄に自分がタスク中に言いたかったけどうまく言えなかったことを日本語と英語で書くということを学生には求めています。この部分は授業中に終わらなかったら宿題ね,という感じで,ワークシートは写真に撮ってPDFにして毎回LMS上で提出してもらっていました。このpost-task部分の英文をLMS上に提出されたPDFを見て,私からコメントが必要な場合はコメントを返す,というようにしていました。単文とはいえ,この言い方はどうなんだろう,と思うことは結構あって(もちろん自分の感覚が間違ってることもありました),それをChatGPTにやってもらおうと思ったという。最初は自分がChatGPTに学生の書いた英文を見てもらうようにしていたのですが,なにせLMS上でタイピングしているわけではないので,手書き文字をいちいち打ち直さないといけないと。どっちにしろめちゃくちゃ時間かかるじゃん,ということで,それなら学生がChatGPTで事前に添削してもらったものを教員がチェックするほうがいいかなということで,学生に使わせることにしました。

具体的な方法

学生には,ChatGPTのアカウント作成方法などを書いた資料を配っていました(今はログインなしでも使えるのでこれは不要ですね)。ChatGPT3.5(無料版)だと,英文の添削と理由の説明をお願いしても,理由も英語で説明してくる場合があります(今はわからないです)。そういうときに,日本語で説明して,とやりとりをして日本語の説明を出してもらう,そういう部分も含めてスレッドを全部画像として提出するように学生にはお願いしていました。つまり,最初にどういう入力をして,どういう出力が返ってきたのかのやりとりを提出させる,ということです。こうすることで,一応ChatGPTが全部書く,ということを抑制しようという狙いがありました。

また,私はそこは直接的には狙っていなかったのですが,こういう方式をとることで,結構学生の学習になっている部分があるな,学習につながるやりとりができているな,と感じる部分もありました。一応こちらでテンプレのプロンプトは提示していますが,自分で考えて,「XXXXXXXXXXXXをYYYYYYYYYYと訳しました。あってますか」(Xには和文,Yには英文が入ります)と聞いてる学生もいました。その他にも,自分で色々気になったことを聞いてる様子がみられました(すべての学生からではないですが)。以下はその例です。

  • separeteとdivideの意味の違い
  • 冠詞のaとtheの使い分け,訂正された英文に冠詞を入れる必要がないかどうか
  • be動詞と動詞の接続(may be likeはあってるか,とか)※このlikeは動詞
  • severeとseriousの違い
  • thinkとconsiderの違い

また,ただ添削するだけではなく,語彙や文法について,私が指示していなくてもChatGPTに聞いている様子もありました。さらに,次のようなことをChatGPTとやりとりしている学生もいました。

  • 英語にしてもらったものをさらに日本語に訳させて自分が伝えたい意味になっているかを確認する
  • 提案された表現が自分にとって新規のものであった場合に,どのようなケースで使用するのか
  • 修正の提案が間違っている場合に,間違っていることを指摘する
  • 英文を読み,自分の意図と違っている場合には自分の意図を伝えて再度英文を作ってもらう

最初は使い方へのフィードバックがいる

最初からうまくできるわけではないので,最初の何回かは明示的にうまく英文添削をしてもらえている例とうまくできていない例(例えば,自分で英文を作らずに日本語を英訳してもらうことをお願いしている,英文を添削してほしいというプロンプトなしで英文をChatGPTに投げるので,ChatGPTは普通にその英文に応答して会話をしているなど)を提示していました。そのうち,私が別に教えなくても学生自らが様々な方法でChatGPTとやりとりを繰り広げる様子が見られるようになったという感じです。

授業中に学生に声を掛けることに対する迷い

こうやって文法指導的な部分をChatGPTに外注していると,それまで授業の内外で自分が担っていた指導が必要なくなることになります。もちろん,ChatGPTの出力と学生の言いたいことをモニターして,うまく英文を作れていなかったら,あるいは文法解説が間違っていればこちらからフィードバックを出すことはあります。ただ,授業中に例えば学生の書いている英文に誤りを見つけたときに,迷うことが増えました。その場でフィードバックもできるのですが,結局あとでChatGPTに自分でフィードバックをもらいにいくことになるわけで,そこで誤りが見つかるほうが学生にとって良い経験になる可能性もあるのではないかと考えるようになったのです。

個人的な感覚ですけど,間違いを指摘される際にその場で,なんなら周りにそのことがもしかしたら聞かれているかもしれない,という状況でフィードバックをもらうよりは,自分の自学の時間で感情のないAIからフィードバックを受けるほうが精神的にいいのかなみたいな。

このあたりは,まだまだ試行錯誤という感じです。

学生の反応

ちなみに,学期末の授業評価アンケートで,このChatGPTに英文を添削してもらうという課題は意味がないからやめたほうがいいというコメントもありました。私から見ると有効活用している例が結構あったのでそれはいい英語学習になっているなと感じたのですが,私の意図が伝わっていない学習者にとってはこの課題自体を自分の英語学習に有用だという認識を得られなかったということになります。匿名のアンケートなので詳しくどういう印象だったかを聞くことはできなかったのですが,結構気にはなっています。

おわりに

最近は研究でもどんどん生成AIの利用について様々な観点の研究が出てきていますね。実践するうえではそういう研究も参照しないとなーと思ったりはします(するだけ)。

なにをゆう たむらゆう

おしまい。

お世話になります。私は大学生であり、ChatGPTの使用に関するラインについて分からない点があり…

Querie.meの回答をブログに書くシリーズ。最近これでしかブログを更新していない気がしてきています。質問は以下のとおり。

質問

お世話になります。私は大学生であり、ChatGPTの使用に関するラインについて分からない点があり、Tamさんに大学教員として今現在のchatgptの使用についてどの程度まで学生に認められると考えられているかご意見をいただきたいと思っています。

一つの具体例として、エッセイ課題(どの言語でも、例はライティングスキルをみる課題)を書く際にどのくらいChatGPTを使用するとチートと見なされると現在お考えでしょうか。

①単語について質問する。e.g. 今まで、例文を確認して”noxious”という単語が自分のエッセイの文脈に合っているか判断していたが、ChatGPTに聞く。代替え案があれば、その英単語を使う。

②文法や構成の質問をする。e.g. 自分が書いたエッセイをChatGPTに改善(redundantなところはないかを聞くなど)の提案を聞き、その改善された文章をそのまま使用する。

③内容の指示をする。e.g. 自分で考えたthesis statementをサポートする内容の提案を聞く。(具体例の提案など)その内容を参考にする。(あるいは使用する)

Tamさんはなんでも活用できるなら時場合に応じて活用すべきだとお考えだと思いますし、ChatGPTの機能を目的によっては活用することができる点もたくさんあると思います。しかし、現在大学においてChatGPTの使用に関するガイドラインがなく、これから課題のエッセイ、レポート、またプレゼンの制作などにおいてChatGPTをどの程度使用していいかわからず、tamさんのご意見をいただきたいと思っています。

よろしくお願いいたします。

回答

非常に良い質問だとは思いますが,授業を担当される先生に聞くのが一番良いと思います。私の意見も質問者様に理解いただいているようですし。もし万が一私の授業を取っている学生であれば,匿名でこういう場所で聞くのではなく直接メールやLMSのメッセージ機能を利用して連絡してください。

剽窃とはまた違うレベルの話なので,認めるか認めないかや,どの程度認めるのかの線引きを教員側が仮に決めたとしても,学生がそれを守っているかどうかを確かめることは教員側からは不可能でしょう。レポート提出課題などは,教室で実際にレポートを書かせて提出させないのであれば,実際に本人が書いているかを確かめようがないというのと同じような話ではないでしょうか。剽窃検出ソフトウェアは,ウェブ上にあるものに引っかかるかどうかしか検出できないので,例えばですが親や兄弟や友達が代わりに書いたものを自分のものだと偽って提出してきた学生がいたとして,そのプロダクトについての質疑応答のようなテストが無い限りはそのプロダクトの本当の著者が誰かは教員が採点するときにはわかりません。ChatGPTを使ったのかどうかも,教員がコントロールできるものではないと私は思います。だからこそ,実際に授業をしている教員に確認するのが最も重要だということです。

というのが回答です。例として挙げていただいたライティング課題の話だと,どれも「チート」と私は思いません。テストや課題のcheatingはもっと悪質性があるものだと考えています。質問者様の「チート」の使い方や意味と,私がその単語をどう解釈しているのかにズレがあると,そもそもやりとりが噛み合わなくなります。したがって,以下では挙げていただいたライティング課題の例で,1から3の行為をしても良いかと学生に聞かれた時に私はどう答えるのか,という点で書きます。

したがって,「Tamさんはなんでも活用できるなら時場合に応じて活用すべきだとお考えだと思いますし、ChatGPTの機能を目的によっては活用することができる点もたくさんあると思います。しかし、現在大学においてChatGPTの使用に関するガイドラインがなく、これから課題のエッセイ、レポート、またプレゼンの制作などにおいてChatGPTをどの程度使用していいかわからず、tamさんのご意見をいただきたい」という部分については,以下をお読みいただいても回答はありません。

どんな力を身につけるための課題なのか

まず大事なことは,その課題を通してどのような力を身につけることが意図されているのかということかと思います。ツールを利用することも含めて能力であるとみなすのか,その個人が持つものだけをその人の能力であるとみなすのかによって,ツールの利用に対する考え方も変わってくるでしょう。私はツールが使えることも,ツールを使わなくてもできることも,どちらも大事だと思っています。よって,ツールを使うことを認める場合や,積極的に推奨する場合でも,それなしでも同じようなパフォーマンスができることを目指してもらいたいと学生には伝えています(目指すだけでそうなれとは言ってないところがポイント)。

アカデミック・ライティングに限って言えば,その「頂上タスク」と呼べるような目標は,エッセイやターム・ペーパーを書くことであったり,あるいは学術論文を書くことであると思います。そのような課題に実際に英語学習者が取り組む際に,実際には一切のツールの利用が制限されるわけでもありませんし,むしろ使えるリソースは何でも動員して言語面のクオリティを上げることが良いとされているはずです。ライティング・センターのような場所でアドバイスを受けたり,学術論文であれば専門の業者に校閲を依頼することも一般的です。そこを目指していると考えれば,ツールを利用することを制限するよりはむしろ,どうやってうまく使いこなせるようになるのかを教えることも目標に近づくための手段としては何も不自然なことではないでしょう。

ただし,そうしたツールがない状態ではエッセイを書くこともままならないのであれば,質の向上の見込める最大値はリソースを総動員しても低いままだと思います。結局は,どういうものがいいエッセイ,いいターム・ペーパー,いい学術論文であるということがわかっていなければいいものが書けませんし,そういうことがわかるために,そしてそれが自分でも一定程度の水準でできるようにするために必要な(リソースなしでの)英語力は身につける必要があるだろうなと思います。

カリキュラムにもよりますが,ツールなしでのライティングも継続的にやっていくことは,ツールがある場合とない場合の差に自分自身が常に自覚的になれるのでやってほしいところですね。英語力とかどうでもいいし,別に単位だけもらえればそれでいいんですという人は,そもそも大学の授業でもらえる単位がなんらかの知識や技能を習得したことにより得られるものであるという感覚もないと思いますので,何でもやっていいんじゃないかと思います。質問者様はおそらくそういう方ではないからこそこうして長文の質問を送ってくださっているのだと思いますが。

形式面の質向上のための利用

1や2はGrammarlyQuillbotなどのライティング支援ツールを使うのとあまり変わらないと思います。私はこれらのツールをライティングの授業で使うことを推奨しているので,ChatGPTを言語の形式面の質を上げるために使用することを認めないということはないでしょうね。

ただし,私が今年度秋学期に担当していた1年生向けのアカデミック・ライティングのクラスでは,14週目にそうしたツールなしで制限時間付きのエッセイライティング課題を授業内で行いました。ほとんど全ての学生は,その際にツールがないと自分の語彙や文法の知識が圧倒的に不足していてライティングを満足に行えないということを強く感じていたようで,テストの振り返りや学期末のポートフォリオでもそのようなコメントが多くみられました。

ツールを使いこなせばそれなりのものが作れるというのも私は能力であると思っていますが,standardized testなどで測定されるようなproficiencyはそういうものではないので,そこを伸ばしたいと思えばツールを使わないようにしてみるというのも一つの方法なのかもしれません。

内容面のサポート

3についても,Googleで検索して見つけた記事の内容を用いるのとやっていることはあまり変わらないと思います。ウェブ検索を禁じる人はいないと思いますので,3の意味での使用も認めないというのは難しいかなと思います。ただし、ウェブ検索の場合は検索の過程で情報を探し出す,たどり着いた情報を吟味する,得られた情報を取捨選択する,などのような能力が必要となります。こうした能力を重視するのであれば,それはChatGPTではなくウェブ検索でやってもらいたいという意見もありうるかなと思います。

もちろん,ChatGPTの場合も,提示されたものが本当に自分のエッセイにフィットするかどうかを吟味し,提示されたのが複数あればその中から選ぶ必要は出てくるでしょう。しかしながら,ChatGPTに聞く時点で情報はかなり絞り込まれていますので,ウェブ検索で自分の得たい情報を探し出すスキルはChatGPTを使う際には必要ないでしょう。さらに,ChatGPTは平気でそれっぽい話をでっち上げることもあるので,存在しないデータや調査を提示してくるなんてこともあるかもしれません。そうしたことが起こったとしても,それをまたウェブ検索で確かめれば良いという見方もありえますが,それなら最初からウェブ検索で良いのでは?と思います。

辞書は使って欲しい

話を1に戻しますね。1については,辞書は使って欲しいなと私は思います。辞書の例文で確認した上で,自分の判断についてChatGPTの意見を求めるという使い方はいいのではないでしょうか。ChatGPTにどのようなプロンプトを入力するのかによって答え方も変わってきますが,辞書は意味や例文以外にもコーパスのような頻度の情報であったり,文法的な補足が書かれていることもあります。そういった情報に触れる意味でも,辞書は使わない,もうChatGPTでOKというようにはなってほしくないかなと思いますね。少なくとも今の時点では。

理由は理解した上で修正や提案を受け入れる

2の中で文法はともかく構成については,教員が求めるものとChatGPTが出してきたものが必ずしも一致しているとも限らないので,そこは理解しておく必要はあるかなと思います。使用している教科書や題材,エッセイであればエッセイのスタイルなどによって,構成が変化する部分もあるでしょうし,教員が独自に重要視している部分もあるかもしれません。例えば,私は典型的なfour/five paragraph essayにおいて,イントロのthesis statementにボディで言及する内容が含まれているかどうかを重視しています。理由を述べる際に, I believe that this change is necessary because of the following three reasons. のように書くよりは,その3つの理由を簡潔にまとめて,because of A, B, and Cのようにするほうがボディとのつながりが強くなり,結果として読み手にとって内容が理解しやすい文章になるからです。そういうことまで考慮した上で,提示された修正や提案を受け入れるかどうかを判断できるのであれば良いと思います。

また,文法(というか文レベルの話)についても,例えば,「こちらのほうが読みやすいのでこうしたほうが良いです」という理由で修正がなされたときに,その読みやすさは何によってもたらされているものなのかを考える必要があると思います。あるいは,「確かにこっちのほうが読みやすいな」という感覚のようなものを持てているかどうか。そういう判断ができないなら,「使いこなしている」とは言えないでしょう。

おわりに

これは結構いろんな意見の人がいそうですよね。大学がガイドラインを作るっていうようなものでもないかなと個人的には思ったりします。

https://querie.me/user/tam07pb915

なにをゆう たむらゆう。

おしまい。

ChatGPTで英語授業の教材づくりをしてみる

はじめに

ChatGPTという,OpenAIが公開したチャットができるAIがあり,話題を呼んでいます。私は,教員という立場で,これをなにか授業の準備などに活かせないかなと考えています。

ライティングのフィードバックなんかを考えたり,あるいは学生にライティングさせる際には使い方次第でツールとして利用できるかもしれないなと思います。ただし,他にも教材を作る際には結構労力がかかるもので,それをChatGPTで代替できたら結構楽かもしれないなと思いました。以下,私が試しにやってみたものを紹介します。

  1. 物語の続きを書かせる
  2. 語彙を簡単なものに書き換える
  3. 文章の書き換え
  4. オリジナルのストーリーを書かせる
  5. 文章の要約を書かせる
  6. 内容理解の問題を作らせる
  7. 内容理解問題の選択肢を作らせる

1. 物語の続きを書かせる

プロンプトを入力して,その続きとなる物語を書かせるとどうなるかやってみました。使用したのは,『Getting Things Done: Book1』のUnit13にある”Safe Driving”の冒頭です。

PDFからコピペしたので”This driver isjust”のところ,スペースがないのにあとから気づきましたが,まああまり問題になってなさそうです。

元の文章のほうがもっと面白いですが,まあ面白い物語にしてくれとかお願いするともっと違うんでしょうね。オリジナルのストーリーのcreativityにそれでも勝てるかどうかはわかりませんね。もしかしたらそのあたりはまだ人間が強いのかもしれません。

2. 語彙を簡単なものに書き換える

ChatGPTの大きな特徴として,前の会話の内容を覚えているというものがあります。したがって,一度入力したものは同一スレッド内であれば記憶されているので,”the story”とするだけでいけます。すごいですね。

夫が亡くなったというくだりが無くなっているのは,子ども向け,としたからかもしれません。

ちなみに,どれだけ簡単になったのかを,New Word Level Checkerを使って見てみると次のようになりました。参照するWord ListにはNew JACET 8000を指定しています。まずは元の文章から。

これでもほとんどはL1, L2で,L4までで96%くらいなので,そこまで難しい語彙が使われているわけではありません。では,書き換え後を見てみましょう。

書き換え後の文章はL3までで98.27%です。sawが黄色になっていますが,これはおそらくseeの過去形ではなく「のこぎりで切る」の意味のsawだと認識されているためかと思います。よって,実際にはこのパーセンテージはもっとあがるでしょうね。

3. 文章の書き換え

次は,同じ教科書のUnit20にある不動産広告の文章を書き換えたものを作ってもらいました。

2つの似たような文章を読んで,類似点や相違点を比較するようなタスクを想定しています。これも,自作しようと思えば結構難しい部分もありますが,1つの文章さえあればそれを書き換えるのは割と容易にできるようです。指示の与え方を工夫すれば,条件に沿った書き換えなどもできるかもしれませんね。ただし,仮にそうしたことが可能であったとしても違いがどこにあるのかは自分で見つけないといけなかったり,「教材研究」的な部分が教員に求められるということには変わりないでしょう。また,自分で作ればその過程自体が教材研究を兼ねることにもなりますから,機械にやらせることで自分の教材作成力を磨く機会が損なわれることにもなるかもしれません。

4. オリジナルのストーリーを書かせる

では,お題を与えてオリジナルのストーリーを書かせるというのはどうでしょう。1つ目の文章の続きを書かせるパターンに似ていますが,出だしではなくトピック的なものを与えて書かせるパターンです。

ちなみにこれも,Getting things done: Book1で扱われている話のほうがもっと面白いです。

5. 文章の要約を書かせる

要約というのは教師の英語力が問われる部分というか,そこに英語教師としてのプロフェッショナリティが求められる部分ではあります。ただ,時間がある程度かかるというのは間違いないんですよね。そこをChatGPTなら数秒でこなしてくれます。

もうちょい文構造や単語などを書き換えた上で内容を保持してほしいところはあります。要約する箇所は適切かと思いますが。

6. 内容理解の問題を作らせる

文章を入力して,その文章の内容理解を問う問題を作ったらどうだろうと思ってやってみました。

7. 内容理解問題の選択肢を作らせる

問題を作ってもらったはいいものの,選択肢がなかったので,4つの選択肢も作ってもらいました。

1と2の問題が関連しているどころか,2の正答が3の選択肢に含まれていることなど,テスティング的には全然いい問題だとは言えないですね。また,4も物語のオチを言っちゃっている上に,正答は元の文章に使われている単語そのものです。このあたりは,人間の手で修正を加えなければいけないでしょう。あるいは,人間が作成する問題のほうが(少なくともテスト問題作成に熟知した人であればですが)上だと言えそうです。テスティング・評価関係の授業で,この問題の何がいけないのか,自分ならどのように作り変えるのかなどを学生に考えさせる課題のネタとしては良い教材かもしれません。

おわりに

今回はすべて文章を扱いましたが,もちろん会話文の出力もできます。

ちなみに,ですが,ChagGPTへの指示の入力は命令文でOKです。別にCan you…?とお願いする必要はありません。その部分の書き方の違いで出力が異なることはおそらくないでしょう。ただ,細かい部分では出力されるものに違いが出る可能性はあります。そのあたりは試していくしかないでしょうね。また,もし出力されたものに納得いかなければ,違うものを出してくれます。

アクセスが混み合っているとページが表示しにくかったり,入力を頻繁に入れていると,”slow down”と言われたりします。また,今後もずっとオープンに無料で使えるかどうかはわかりませんよね。ただ,現時点では色々試して活用していけるレベルではあるのかなとは思いました。

ただし,出力されたものを見てプロダクトの質を判断する英語力だったり,授業で扱うときに注意しなければいけないポイントがないかどうかを見極める英語教師の「目」のようなものは求められるのだろうなとは思います。

なにをゆう たむらゆう。

おしまい。

2023.03.01追記

この記事の内容に関連するトークをしたときの投影資料があるので置いておきます。上記のうち,「物語の続きを書かせる」,「オリジナルのストーリーを書かせる」,「文章の要約を書かせる」の3つに絞ってそれぞれを少しずつ丁寧に扱っています。

2023.06.27追記

画像生成AIのMidjourneyを使って視覚教材を作る,教科書本文とタスクの定義を与えて教科書本文に関連したタスクを作る,等の話と,ChatGPTのようなものが登場しても語学教師が廃業しないためには,という話などをしたので投影資料を置いておきます。