サカグチ　タクヤ   SAKAGUCHI Takuya   坂口　琢哉    所属   広島修道大学  経済科学部    職種   准教授
言語種別	日本語
発行・発表の年月	2023/09
形態種別	学術論文
標題	大学の授業試験問題を用いた大規模言語モデルの評価と解答精度向上の検討
執筆形態	単著
掲載誌名	広島修道大学論集「経済科学研究」
掲載区分	国内
巻・号・頁	27(1),13-24頁
頁数	12
概要	本研究では，近年急速に発達したLLMの中でも，とりわけ2022年11月に一般公開されたChatGPTに着目し，その問題解答能力について評価実験を行った。 実験には広島修道大学の教養科目である「総合教養講義a(情報と社会)」の試験問題を使用し，これらの問題を含めたプロンプトを構成した上でシステムに入力し，その出力結果を手作業で採点した。 その結果，システムが分野の偏り無く知識を有していることや，人間の正答率には及ばないものの，十分な解答能力を備えていることが示された。 また実験結果を元に，正答率を向上させるためのプロンプトエンジニアリングについて検証を行った。 具体的には，プロンプトによる入力を複数回に分割することとし，問題文を5問ずつ提示する場合，10問ずつ提示する場合，20問ずつ提示する場合についてそれぞれ実験を行い，それらの結果について分析した。 その結果，いずれの場合についても，問題文を一括提示した場合と比較して正答率が有意に改善した。 このことから，プロンプト構成において適切な情報量に配慮することの重要性，および問題文を分割提示するという提案手法の有効性が示された。