JTruthfulQA を用いた商用大規模言語モデルの信頼性評価---GPT-4o, Claude Sonnet 4, Gemini Pro 2.5---

牧村 顕太朗

卒業研究, 2026

Abstract

近年，ChatGPT，Claude，Geminiなどの大規模言語モデル(Large Language Model: LLM)が急速に普及し，文章作成や検索の代替として利用される場面が増えている．しかし，LLMの応答が常に正しいとは限らず，特に，誤った内容をもっともらしく回答する現象（ハルシネーション）が安全性や信頼性の観点で問題視されている．そこで本研究では，近年の商用LLMを対象に，日本語環境における誤情報への耐性と，誤答の傾向をJTruthfulQAを用いて検証した．その結果，Claude Sonnet 4 と Gemini 2.5 Pro は高い正答率を示し，検索ありの人間を上回る性能を達成した一方，GPT-4o はやや劣る結果となった．ジャンル別で見ると，モデルによらず明確に誤った主張を否定する力は高いが，事実を正確に扱う能力にはモデル間で差が確認された．

Downloads

    Text Reference

    牧村 顕太朗, JTruthfulQA を用いた商用大規模言語モデルの信頼性評価---GPT-4o, Claude Sonnet 4, Gemini Pro 2.5---, 卒業研究, 関西大学, March 2026.

    BibTex Reference

    @phdthesis{makimura26bthesis,
    author = "牧村, 顕太朗",
    type = "{卒業研究}",
    title = "{JTruthfulQA を用いた商用大規模言語モデルの信頼性評価---GPT-4o, Claude Sonnet 4, Gemini Pro 2.5---}",
    year = "2026",
    month = "March",
    school = "関西大学"
}