サカグチ　タクヤ   SAKAGUCHI Takuya   坂口　琢哉    所属   広島修道大学  経済科学部    職種   教授
言語種別	日本語
発行・発表の年月	2025/02
形態種別	学術論文
標題	大学授業試験を対象とした大規模言語モデルの性能評価とRAGを用いた学習支援システムの試作
執筆形態	単著
掲載誌名	広島修道大学論集「経済科学研究」
掲載区分	国内
巻・号・頁	28(2),1-12頁
概要	本研究では，近年更なる発展を遂げているLLMに着目し，特に最新モデルの「GPT-4o」を対象として，ChatGPTを通じた評価実験を行った。具体的には，広島修道大学の教養科目「総合教養講義a(情報と社会)」の2022年度期末試験として実施した問題計40問を対象とし，これを選択式と自由解答式の2種類の方法でChatGPTに入力し，得られた解答の正答率を集計した。これらの結果を，同条件で過去に筆者が行った「GPT-3.5」に対する実験結果と比較したところ，選択式と自由解答式のいずれも正答率が大きく改善していることが明らかになった他，関連するデータをアップロードすることで更に正答率向上を期待できる結果となった。 一方，これらの実験結果から，本研究ではLLMの知識拡張が教育分野において有効であると考え，「RAG」と呼ばれる知識拡張技術を用いた学習支援システムの試作を行った。本システムについて簡単な評価実験を行った結果，参照データに沿った応答文の最適化や無関係な質問に対する応答抑制といった効果が確認され，提案手法の有効性が示唆された。