JSET2024_生成AIを利用したDXリテラシー標準スキルサーベイの作問とその実施結果

日本教育工学会 2024年春季全国大会 ２０２４年３月２日・３日 生成AIを利用したDXリテラシー標準スキルサー ベイの作問とその実施結果 ー地方自治体職員を対象としてー 坂本昌宏 広島市立大学大学院情報科学研究科 松原行宏 広島市立大学大学院情報科学研究科 毛利考佑 広島市立大学大学院情報科学研究科

前説 コースの開発 Improvement of teaching courses through formative evaluation

形成的評価によるeラーニングの開発と改善 Relevance 独自開発 民間委託 第１次 2021 ～2020 広島市役所及び各区役 所を会場とした民間委 託による集合型研修 Moodleを用いたプロト タイプによる環境構築 及びeラーニング効果測 定 広島市・広島広域都市圏職員 3 第２次 2022 2021年の取り組みを踏 まえた教材改善と改善 に関する効果測定 第３次 2022 Udemyを利用した全国 自治体職員への提供開 始 全国自治体職員

第３期教材サンプル 4

第３期実施結果 とっつきやすさの2極化 が収束 受講者の全員がDX推進 意欲改善 5

研修結果としての行動変容 【カークパトリックの4段階評価】 レベル4：結果 ＤＸ推進件数 レベル3：行動 DX推進支援件数 レベル2：学習 小テストによる評価 レベル1：反応 アンケートやヒア リングによる評価 6 2018年度 28件 2019年度 30件 2020年度 23件 2021年度 49件 👈第1期研修の成果 2022年度 104件 👈第2期研修の成果

くわしくはポスター発表をご覧ください

残された課題 興味を引くことには成功したけれども、コースが簡単になり すぎた 形成的評価に協力してくれた職員の声のみが反映された結果となった DX全般に対して、コースで扱う範囲が狭すぎる 個別最適化した学びを提供するために、スキルの把握が必要なのでは スキルサーベイの開発をしてみよう 8

DXスキルサーベイの開発 Development of the DX Skills Survey

DXスキル標準とは DXリテラシー標準（経済産業省） ２０２２年3月 10

生成AIの使い方 分野１－１ Why-社会の変化 分野１－２ Why Why-競争環境の変化 分野１ー３ Why-顧客価値の変化 分野２－１ What-社会におけるデータ 分野２－２ What-データを読む・説明する 分野２－３ What-データを扱う 分野２－４ 分野２－５ What What-データによって判断する What-デジタル技術-AI 分野２－６ What-デジタル技術-クラウド 分野２－７ What-デジタル技術-ハードウェア・ソフトウェア 分野２－８ What-デジタル技術-ネットワーク 分野３－１ How-データ・デジタル技術の活用事例 分野３－２ How-ツール活用 分野３－３ Jow How-セキュリティ 分野３－４ How-モラル 分野３－５ How-コンプライアンス 11 各項目10問としても、１６０問の問題を作 成する必要がある …分野によってはもっと必要…これは大変 生成AI(Microsoft Bing)を使ってみよう！

Bingにより作成された問題群 問題ID ジャンル 問題 11 DXとは何の略語でしょうか？ 21 DXが必要とされる背景として、正しいものを選びなさい。 31 DXにおいて、データやデジタル技術はどのような役割を果たすでしょうか？ 41 51 DXにおいて、製品やサービス、ビジネスモデルを変革するだけでなく、変革すべきもう一つの要素は何でしょうか？ DXにおいて、競争力の源泉が変わったり、従来の業種や国境の垣根を超えたビジネスが広がったりしていることを示す 言葉は何でしょうか？ DXにおいて、社会課題を解決するためにデータやデジタル技術の活用が有用であることを示す国際的な目標は何で 61 しょうか？ 71 DXにおいて、日本と海外におけるDXの取り組みの差を示す指標の一つとして、よく用いられるものは何でしょうか？ DXにおいて、社会・産業の変化に関するキーワードとして、「人間中心の社会実現に向けた日本の未来ビジョン」を意 味するものは何でしょうか？ DXにおいて、社会・産業の変化に関するキーワードとして、「データを活用した新たな価値創造やイノベーションを推進 81 91 10 1 する社会」を意味するものは何でしょうか？ DXにおいて、社会・産業の変化に関するキーワードとして、「インターネット上で分散的に管理される情報やサービスが 増えることで、個人やコミュニティがより自律的に活動できるようになるインターネットの進化段階」を意味するものは何 … 12 241 15 データ活用に関する禁止事項の一つであるデータ隠蔽とは、データを（ ）することである。 242 15 データ活用に関する禁止事項の一つであるデータ偏見とは、データを（ ）することである。 243 16 コンプライアンスとは、何に従って行動することをいうか。 244 16 コンプライアンス違反の事例として、適切でないものはどれか。 245 16 コンプライアンスを守るためには、どのような姿勢が必要か。 246 16 コンプライアンス違反の事例として、適切でないものはどれか。 247 16 コンプライアンス違反が発生した場合、事実関係の究明と原因分析を行うことが重要な理由は何か。 248 16 コンプライアンスに関する相談や報告の体制を整えることが重要な理由は何か。 249 16 コンプライアンス違反に対する処分や保護の基準を明確にすることが重要な理由は何か。 250 16 コンプライアンス違反に関するデータや情報を収集・分析することが重要な理由は何か。

試験実施状況 ●対 象：中堅研修対象職員（入庁４～６年目：約４００名） ●期 間：２０２３年７月１日～２０２３年８月３１日（頃） ●回答者：３３８名 ●実施方法：Moodleの小テスト ・各分野ごとにランダム出題 ・１人あたり出題数１００問/総問題数２４９問 ●カンニング防止のため５０分で１００問回答 Powered by DALL-E 3 13

取組結果 ①時間の軸 30点程度が250秒付近に存 在することから、急いでやっ たとして一通り取り組むには 250秒必要であったと判断す る。 ②得点の軸 3,000秒で15点未満のものは、 受験中に他業務が入って、時 間切れになった（受験を完遂 していない）ものとする。 この領域のデータ（15点未満）を不採用とする 14 N=339

対象外とした受験者の回答状況 評点 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 Q 100 /1 53 0 1 1 1 0 0 1 0 0 0 0 1 0 1 0 1 1 0 1 1 1 0 0 0 0 0 0 0 0 1 0 1 0 1 0 0 0 1 1 0 1 0 1 0 1 1 1 1 1 1 0 1 1 1 1 1 0 1 1 1 0 1 1 0 0 1 0 0 1 1 1 1 0 0 0 0 1 0 1 1 1 1 1 1 1 1 1 1 1 0 1 1 0 - - - - - - - 47 0 0 1 1 0 0 0 0 0 1 - 1 0 0 1 1 1 0 1 0 0 0 1 1 0 0 0 0 0 1 0 1 0 0 0 1 0 0 1 0 0 0 0 0 1 1 1 1 1 1 1 0 1 1 1 1 1 0 1 1 0 0 0 1 1 1 1 1 0 1 0 0 1 1 0 1 0 1 0 0 0 0 1 1 1 1 1 1 1 1 1 0 0 0 0 - - - - - 43 1 1 1 1 0 1 0 0 0 0 0 0 1 1 0 0 0 0 1 0 1 1 1 0 0 0 0 1 1 0 1 0 0 1 1 1 0 0 0 1 0 0 0 1 1 0 0 1 0 0 1 0 1 1 1 1 1 1 0 1 1 1 0 1 0 1 0 1 0 0 0 1 1 1 1 0 0 1 0 1 1 0 1 0 0 0 0 0 1 - - - - - - - - - - - 42 1 0 1 1 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 1 1 0 0 0 0 1 1 1 0 1 1 0 0 1 1 0 0 1 1 0 0 0 0 1 0 1 1 1 0 1 1 0 0 0 1 1 1 1 1 1 1 1 1 1 0 0 0 1 0 1 0 0 1 0 0 1 0 0 1 1 1 0 1 0 1 0 0 0 0 0 1 0 - - - - - - - 39 1 1 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 1 0 1 0 0 0 1 1 1 0 1 0 0 1 1 0 1 0 1 0 0 0 1 0 0 0 0 1 1 1 0 0 0 1 0 0 0 1 1 1 0 1 1 1 0 0 1 0 0 1 1 1 0 1 1 1 0 1 0 1 1 1 0 1 0 1 0 1 1 0 - - - - - - - - - - - - 38 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0 0 0 0 1 0 0 0 1 1 1 0 0 0 0 0 0 0 1 0 1 - 0 0 1 0 0 1 1 1 1 1 0 0 0 0 1 1 1 1 0 0 1 1 0 1 0 0 1 0 0 1 1 0 0 1 0 0 0 0 0 0 0 0 1 1 0 0 1 1 0 1 1 0 1 0 1 0 1 1 1 1 - - - - 37 0 0 1 0 0 0 0 0 0 1 0 0 1 0 1 1 1 0 1 1 1 0 1 1 0 0 0 1 - 0 0 1 1 0 0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 1 0 1 1 1 0 1 1 1 0 0 1 1 0 0 0 1 1 1 1 0 0 1 0 0 0 0 1 0 0 0 1 1 1 - - - - - - - - - - - - - - - - - 36 1 1 0 1 1 1 0 0 0 0 1 1 1 0 1 1 1 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 1 0 1 1 0 0 1 0 1 1 0 0 1 1 1 0 1 1 0 1 0 1 1 1 0 1 0 0 0 1 1 0 1 0 1 - - - - - - - - - - - - - - - - - - 36 0 1 1 0 0 1 1 0 0 0 0 1 1 1 1 1 0 1 0 1 1 0 1 0 0 0 0 1 1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 1 1 1 1 1 0 0 1 1 1 1 1 1 1 0 1 1 1 0 1 1 1 0 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 35 0 1 1 0 0 0 0 1 0 1 1 1 0 1 1 1 0 0 1 0 1 0 1 0 1 0 0 0 1 0 0 0 1 0 1 0 1 0 0 1 0 0 0 0 1 1 1 0 1 0 1 0 0 0 1 0 0 1 0 1 0 1 0 0 1 1 0 0 0 0 0 0 1 1 0 1 1 1 0 0 1 0 0 - - - - - - - - - - - - - - - - - 34 0 0 0 1 1 1 0 0 0 0 1 0 1 1 1 0 1 1 0 0 1 0 0 0 0 0 1 0 0 0 0 1 0 0 0 1 1 0 1 0 0 0 0 1 1 0 1 1 1 0 1 1 1 0 0 0 1 1 0 1 1 1 - 0 0 1 1 0 0 0 0 1 1 1 1 - - - - - - - - - - - - - - - - - - - - - - - - - 32 1 1 0 1 0 0 0 1 0 1 0 0 0 0 1 0 1 0 0 0 0 0 0 0 0 1 1 0 0 0 1 0 0 0 0 0 1 0 0 0 1 1 0 0 1 0 1 0 0 0 1 1 1 1 1 1 1 1 1 1 0 1 0 0 1 0 1 1 0 0 0 0 1 1 0 1 0 - - - - - - - - - - - - - - - - - - - - - - - 32 0 1 1 1 0 0 0 0 1 0 0 0 1 1 0 1 1 0 0 0 1 1 0 1 0 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 1 0 0 0 0 1 0 0 1 0 1 0 1 1 1 1 0 0 0 1 0 0 0 0 0 1 1 1 0 0 0 0 1 0 0 0 0 0 1 0 0 1 1 0 0 0 0 0 - - - - - - - - - - 31 1 0 0 1 0 1 1 1 0 0 0 0 1 0 1 0 1 0 1 0 1 1 1 1 1 0 1 1 0 1 0 1 0 0 1 1 0 0 1 1 0 0 0 1 1 1 0 0 1 1 1 1 1 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 31 1 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 1 0 1 0 0 0 1 0 1 1 0 1 0 0 0 0 0 1 1 0 0 0 0 0 1 0 0 1 0 0 0 1 0 0 1 1 0 0 0 1 1 0 0 0 1 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 1 1 1 0 1 1 1 0 0 1 1 1 - - - - 31 0 0 1 1 0 0 0 1 0 0 0 0 0 0 1 1 0 0 1 0 1 1 0 0 0 0 1 0 0 0 0 1 1 0 1 1 0 1 0 0 0 0 0 0 1 1 1 0 0 1 0 1 0 1 0 0 1 0 0 1 1 0 1 0 1 0 0 1 0 0 1 1 0 1 1 0 1 0 0 - - - - - - - - - - - - - - - - - - - - - 28 1 1 0 1 0 1 0 1 0 1 0 0 0 0 1 0 1 0 0 0 0 0 1 0 0 0 1 1 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 1 1 0 1 0 0 0 0 1 0 1 1 1 1 1 1 1 0 0 0 0 0 0 0 1 0 0 0 0 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - 25 0 1 0 0 1 1 0 0 0 0 1 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 1 0 0 1 1 1 0 0 1 1 0 1 1 1 1 1 1 1 1 0 1 0 0 1 1 0 0 0 0 - - - - - - - - - - - - - - - - - - - - - - - - - 24 1 1 1 1 0 0 1 0 0 0 1 0 1 1 1 0 0 1 0 1 0 1 0 0 1 0 1 1 0 0 1 0 0 0 0 1 1 1 0 0 0 0 - 0 1 1 1 1 1 0 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 23 1 1 0 0 1 0 1 1 0 0 1 0 0 0 0 1 1 0 1 0 0 - 0 1 0 0 0 1 0 0 1 0 - 1 0 1 0 1 1 0 0 1 1 1 0 0 0 1 0 0 0 0 1 1 0 0 0 0 0 0 0 0 1 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 23 1 1 1 1 1 0 1 0 0 0 1 1 1 0 1 0 0 0 1 0 1 0 1 1 1 1 1 0 1 1 1 1 1 0 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 22 1 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 1 0 1 0 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 1 0 0 1 1 0 0 0 1 1 1 - 1 0 1 0 0 1 0 1 0 0 0 0 0 0 1 0 0 0 0 1 - - - - - - - - - 19 0 1 1 1 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 1 0 0 1 0 0 1 0 0 0 0 0 1 0 0 0 1 0 0 0 0 0 1 0 0 1 1 0 0 0 0 1 1 0 0 0 0 0 0 1 1 0 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 19 1 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 1 1 0 1 0 0 1 0 0 0 0 0 0 0 0 1 0 - 1 0 0 1 0 1 1 0 0 0 0 1 1 0 0 1 0 1 1 0 1 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 18 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 1 1 1 1 0 0 1 0 0 0 1 1 0 0 1 0 0 0 1 0 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 1 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 16 1 0 1 0 0 0 0 0 0 0 0 1 0 0 1 0 1 0 1 1 1 1 1 0 0 0 0 0 1 0 1 0 0 0 0 0 0 1 0 1 1 0 0 0 1 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 15 0 1 0 1 0 0 1 0 0 1 0 0 1 0 0 0 1 0 1 0 0 1 1 1 0 1 0 0 1 1 1 0 1 0 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 15 1 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 1 1 1 0 0 0 0 0 0 1 1 0 0 0 0 0 1 1 0 0 1 0 0 0 0 1 1 0 0 0 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 15 1 0 1 0 1 0 0 0 0 1 0 0 0 0 0 1 0 1 1 0 0 1 1 0 0 1 0 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 1 0 0 0 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 11 1 1 0 1 0 0 0 0 0 1 1 0 1 1 0 1 0 0 0 0 1 0 1 1 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 10 1 1 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 1 0 1 0 1 0 1 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 10 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 1 0 0 0 1 0 0 0 0 0 1 1 0 0 0 0 0 1 0 0 1 1 0 0 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 9- - 1 0 - 0 - 0 - 0 0 - 0 - 0 0 1 0 - - - - - - - 1 0 0 0 0 0 0 0 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - 1 1 0 1 0 0 1 0 - - - - - - - 0 0 1 - - - - - - - - - - - - - - - - - - - - - 90 1 0 0 0 1 0 0 1 0 0 0 1 0 0 1 1 0 0 0 0 1 1 1 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 51 0 1 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 0 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 50 1 0 0 1 0 1 1 0 0 0 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 40 1 0 1 0 1 - 1 0 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 40 1 1 0 0 0 0 0 0 0 0 0 1 0 0 - 0 - 0 - 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 40 0 1 1 1 0 1 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 31 0 0 0 0 0 0 0 0 0 0 1 1 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 30 1 1 0 0 0 1 0 0 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 30 1 1 1 0 0 0 0 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 20 1 1 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 20 1 1 0 0 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 20 0 1 0 0 0 1 0 0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 21 1 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 11 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 未回答が多い受験者の評価 15点未満で未回答率が50%を超える受験者が多くなることから、15点未満のデータを削除することで、 適切な分析対象が選択されていると言える。 15

スキルサーベイ結果 分野１－１ 分野１－２ 分野１－３ 分野２－１ 分野２－２ 分野２－３ 分野２－４ 分野２－５ 分野２－６ 分野２－７ 分野２－８ 分野３－１ 分野３－２ 分野３－３ 分野３－４ 分野３－５ 全員 50.24% 25.40% 22.11% 36.82% 38.75% 27.20% 25.11% 45.98% 39.23% 37.62% 35.05% 39.29% 51.64% 46.46% 64.42% 43.89% 職種A 52.64% 26.94% 22.50% 39.58% 39.72% 28.06% 25.94% 48.65% 39.56% 38.39% 39.35% 42.56% 52.89% 48.06% 66.85% 47.92% 職種B 55.61% 25.00% 33.16% 37.24% 39.29% 27.96% 27.14% 50.44% 46.12% 39.59% 34.35% 40.00% 54.29% 51.53% 68.03% 44.39% 職種C 47.32% 24.11% 13.39% 37.50% 37.95% 29.64% 26.79% 43.37% 40.00% 37.86% 26.79% 34.29% 50.00% 44.64% 60.71% 34.82% 職種D 42.55% 18.09% 15.96% 22.87% 31.91% 25.32% 20.64% 32.52% 28.09% 30.85% 23.05% 27.66% 43.40% 39.89% 53.19% 34.57% 職種E 37.50% 37.50% 18.75% 45.83% 42.71% 13.33% 20.00% 45.83% 40.00% 39.17% 38.89% 40.00% 51.67% 33.33% 63.89% 52.08% 全員 職種A 職種B 分野１－１ 分野３－５ 70.00% 60.00% 分野３－４ 50.00% 職種C 職種D 職種E 分野１－２ 分野１－３ 40.00% 30.00% 分野３－３ 分野２－１ 20.00% 10.00% 分野３－２ 分野２－２ 0.00% 分野３－１ 分野２－３ 分野２－８ 分野２－４ 分野２－７ 分野２－５ 分野２－６ n=311 16 職種による情報資産とのかかわりや、情報処 理技術の必要性と、サーベイ結果には若干の 関係性がみられる

スキルサーベイによるコース受講効果の測定 1-1 1-2 1-3 2-1 2-2 2-3 2-4 2-5 2-6 2-7 2-8 3-1 3-2 3-3 3-4 3-5 未受講 50.24% 25.40% 22.11% 36.82% 38.75% 27.20% 25.11% 45.98% 39.23% 37.62% 35.05% 39.29% 51.64% 46.46% 64.42% 43.89% 受講 68.75% 28.13% 25.00% 43.75% 32.81% 30.00% 25.00% 49.11% 30.00% 30.00% 39.58% 30.00% 47.50% 53.13% 70.83% 59.38% Chart Title 未受講 受講 1-1 3-5 80.00% 修士研究で取り組んだコースが（結果とし て）取り扱っていた分野１－１については、 受講者が未受講者を上回っていた 1-2 70.00% 60.00% 3-4 1-3 50.00% 40.00% 3-3 2-1 30.00% 20.00% 10.00% 3-2 2-2 0.00% 3-1 2-3 2-8 2-4 2-7 2-5 2-6 17 n=311 コース改善の効果を確認することができた

傾向の概観 No 18 Discriminant No Discriminant No 1 Facility 0.2482 0.089 51 Facility 0.3775 0.2112 101 Facility 0.6385 Discriminant 0.4134 151 No Facility 0.3431 Discriminant No 0.574 201 Facility 0.2615 Discriminant 2 0.7344 0.1407 52 0.3766 0.0894 102 0.6642 0.5505 152 0.2404 0.0338 202 0.1749 0.255 3 0.2164 -0.0667 53 0.3155 0.2076 103 0.3448 0.2822 153 0.1048 -0.1256 203 0.4022 0.5656 4 0.9085 0.1658 54 0.2 -0.0142 104 0.373 0.3314 154 0.7379 0.5736 204 0.3871 0.3331 5 0.3971 0.1937 55 0.3852 0.3114 105 0.5887 0.5091 155 0.5326 0.4935 205 0.5779 0.4959 6 0.0894 -0.0074 56 0.1284 -0.0321 106 0.458 0.5542 156 0.2981 0.3231 206 0.4497 0.6189 7 0.6014 0.1222 57 0.3448 0.1472 107 0.547 0.4164 157 0.3178 0.3747 207 0.6149 0.6835 8 0.7676 0.2501 58 0.331 0.1211 108 0.3652 0.5186 158 0.2353 0.0811 208 0.3497 0.4455 9 0.6939 0.155 59 0.0417 -0.0064 109 0.5917 0.4789 159 0.1183 0.0465 209 0.6886 0.6243 10 0.275 0.0773 60 0.2044 0.1809 110 0.2273 0.2864 160 0.6545 0.6159 210 0.25 0.2514 11 0.4026 0.2851 61 0.2357 0.0755 111 0.6 0.5877 161 0.5472 0.4891 211 0.5379 0.5626 12 0.119 -0.0483 62 0.3378 0.2382 112 0.512 0.4094 162 0.402 0.2536 212 0.5677 0.5823 13 0.2593 -0.0537 63 0.1049 -0.0546 113 0.4882 0.4275 163 0.33 0.4017 213 0.5723 0.4976 14 0.3468 0.2973 64 0.3169 0.2936 114 0.7302 0.5607 164 0.6373 0.6327 214 0.4832 0.5591 15 0.1361 -0.0395 65 0.2549 0.1918 115 0.2895 0.3732 165 0.0476 0.0812 215 0.26 0.2691 16 0.1379 0.1243 66 0.1761 0.0946 116 0.5641 0.4748 166 0.0918 -0.0402 216 0.2842 0.184 17 0.0882 -0.0279 67 0.1517 0.0918 117 0.456 0.4983 167 0.1275 0.0666 217 0.4667 0.3722 18 0.3306 0.0184 68 0.1027 0.028 118 0.7059 0.648 168 0.2553 0.1126 218 0.0465 -0.0412 19 0.3769 0.279 69 0.3269 0.2133 119 0.4878 0.4708 169 0.4118 0.3219 219 0.663 0.6058 20 0.2971 0.2573 70 0.1915 -0.0366 120 0.2061 -0.0632 170 0.46 0.354 220 0.8039 0.6734 21 0.2993 0.3353 71 0.3279 0.3443 121 0.3488 0.305 171 0.2115 0.1565 221 0.5429 0.508 22 0.363 0.129 72 0.1022 -0.0436 122 0.1908 0.0189 172 0.297 0.1376 222 0.3333 0.323 23 0.2632 0.1506 73 0.3884 0.3191 123 0.3084 0.2819 173 0.2286 0.2841 223 0.6827 0.5806 24 0.1923 0.1186 74 0.2029 0.1505 124 0.2677 0.2468 174 0.2018 0.0593 224 0.3789 0.3289 25 0.172 0.1366 75 0.56 0.3442 125 0.2109 0.2648 175 0.2258 0.2438 225 0.6931 0.6415 26 0.1234 0.0605 76 0.2047 0.0377 126 0.2121 0.3351 176 0.4725 0.4432 226 0.5057 0.4392 27 0.2063 0.2932 77 0.6207 0.3629 127 0.6765 0.5639 177 0.3646 0.2792 227 0.11 0.1886 28 0.1704 0.2072 78 0.1878 0.1132 128 0.3088 0.2614 178 0.1638 0.1181 228 0.3654 0.2343 29 0.1477 0.1118 79 0.2735 0.1045 129 0.5042 0.554 179 0.3628 0.3241 229 0.2222 0.1328 30 0.3778 0.1521 80 0.2222 0.1039 130 0.6098 0.531 180 0.5644 0.551 230 0.2222 0.372 31 0.4775 0.3329 81 0.5 0.2705 131 0.3649 0.4672 181 0.7212 0.5177 231 0.7053 0.4801 32 0.1675 0.1819 82 0.14 0.066 132 0.3226 0.3701 182 0.1513 0.2917 232 0.5158 0.5816 33 0.2277 0.1884 83 0.1197 0.0653 133 0.25 0.2278 183 0.5547 0.3998 233 0.7471 0.6057 34 0.4755 0.2869 84 0.4 0.2284 134 0.2088 0.2462 184 0.1569 0.172 234 0.7419 0.6765 35 0.3478 0.1687 85 0.4024 0.3326 135 0.0769 -0.0324 185 0.1812 0.2496 235 0.6897 0.6146 36 0.4381 0.2784 86 0.2134 0.011 136 0.1616 0.0704 186 0.1892 0.1163 236 0.6771 0.6745 37 0.4459 0.0883 87 0.2803 0.2178 137 0.1392 -0.0327 187 0.562 0.5942 237 0.6667 0.6164 38 0.245 0.0434 88 0.5622 0.4891 138 0.2471 0.0537 188 0.6757 0.6571 238 0.6263 0.7029 39 0.3767 0.3617 89 0.0759 -0.0434 139 0.3656 0.3578 189 0.6301 0.5052 239 0.4608 0.4741 40 0.3631 0.14 90 0.2017 0.1433 140 0.1529 0.1853 190 0.1241 0.2162 240 0.7143 0.6112 41 0.6619 0.3836 91 0.1381 0.1401 141 0.6383 0.4993 191 0.4414 0.4356 241 0.2638 0.0953 42 0.7716 0.5658 92 0.254 0.1821 142 0.4872 0.4904 192 0.4231 0.3433 242 0.511 0.3748 43 0.2683 0.1129 93 0.5128 0.495 143 0.5918 0.4559 193 0.0769 0.1817 243 0.3616 0.314 44 0.6443 0.5029 94 0.2406 0.2669 144 0.6204 0.5712 194 0.4526 0.5081 244 0.4405 0.4175 45 0.2824 0.1288 95 0.4609 0.42 145 0.5909 0.5626 195 0.0797 0.1067 245 0.5063 0.3205 46 0.3558 0.1898 96 0.2973 0.2604 146 0.2929 0.3261 196 0.4976 0.5001 246 0.4489 0.5507 47 0.1337 -0.0916 97 0.2143 0.0125 147 0.5301 0.608 197 0.467 0.4711 247 0.3873 0.4434 48 0.0526 0.0125 98 0.472 0.377 148 0.3467 0.3693 198 0.2842 0.2967 248 0.4268 0.3608 49 0.0984 -0.0849 99 0.5339 0.577 149 0.4683 0.5705 199 0.5868 0.4616 50 0.6839 0.4997 100 0.7168 0.6873 150 0.5161 0.5408 200 0.2892 0.3205 0.288 Moodleの簡単な分析機能を使ったところ、AIは「ど のように」の分野ではよくできたが、「なぜ」の分野 では識別率が低く、「何を」の分野では全般的にどち らともいえない傾向があることがわかった。 より詳細に分析する必要があるのではないか IRT（２PL）を使って分析してみた

AI作問は能力を識別できているのかをIRTで測定 識別できていない問題がある １０問を抽出した場合のグラフ(n = 311) 19

識別率がマイナス（グラフが逆になる）問題が出現していた 20 Q1 8.79%Q51 46.51% Q101 97.22% Q152 57.21% Q201 69.09% Q2 -19.22% Q52 11.59% Q102 21.83% Q153 -7.97% Q202 45.20% Q3 14.61% Q53 55.89% Q103 31.84% Q154 45.53% Q203 52.30% Q4 21.09%Q54 26.74%Q104 44.99%Q155 51.13% Q204 45.16% Q5 -34.25% Q55 10.15% Q105 40.88% Q156 15.84% Q205 93.62% Q6 14.71% Q56 2.07% Q106 -28.49% Q157 4.81% Q206 48.80% Q7 14.52% Q57 -6.12% Q107 17.32% Q158 48.65% Q207 67.78% Q8 -7.57%Q58 31.37% Q108 57.43% Q159 39.39% Q208 73.09% Q9 3.05%Q59 -11.35%Q109 35.22%Q160 104.31% Q209 78.42% Q10 -4.16%Q60 61.01% Q110 43.67% Q161 78.37% Q210 31.06% Q11 41.85%Q61 -6.27%Q111 47.37%Q162 -8.02% Q211 71.93% Q12 -24.34% Q62 5.57% Q112 54.49% Q163 -79.75% Q212 70.89% Q13 51.03% Q63 7.43% Q113 53.12% Q164 35.46% Q213 63.82% Q14 16.29% Q64 -17.46% Q114 95.90% Q165 37.16% Q214 61.85% Q15 9.61%Q65 -9.16% Q115 95.90% Q166 33.94% Q215 54.48% Q16 -28.98%Q66 -11.89%Q116 81.44%Q167 75.93% Q216 123.87% Q17 1.71%Q67 3.35% Q117 43.40% Q168 -13.22% Q217 69.91% Q18 43.98% Q68 -10.29% Q118 16.52% Q169 -32.30% Q218 52.28% Q19 34.53% Q69 48.11% Q119 50.09% Q170 31.95% Q219 56.61% Q20 -42.20% Q70 2.43% Q120 32.29% Q171 32.82% Q220 37.82% Q21 13.16%Q71 4.15%Q121 50.38%Q172 47.55% Q221 27.53% Q22 39.40% Q72 13.20% Q122 71.66% Q173 60.99% Q222 39.03% Q24 -3.51%Q73 11.06% Q123 41.82% Q174 12.68% Q223 56.85% Q25 11.26% Q74 -2.25% Q124 94.01% Q175 -32.27% Q224 19.34% Q28 0.33%Q75 -6.94% Q125 67.19% Q176 -11.07% Q225 32.93% Q29 73.68% Q76 -11.83% Q126 89.12% Q177 21.79% Q226 17.11% Q30 55.49% Q77 2.95% Q127 -15.38% Q178 65.53% Q227 7.79% Q31 18.46%Q78 10.68%Q128 27.09%Q179 27.22% Q228 -47.51% Q32 57.99% Q79 15.37% Q129 -30.42% Q180 0.72% Q229 42.72% Q33 59.86% Q80 55.80% Q130 74.82% Q181 47.62% Q230 55.87% Q34 8.82%Q81 -26.16% Q131 41.13% Q182 10.41% Q231 37.11% Q35 53.26% Q82 19.54% Q132 59.98% Q183 17.66% Q232 63.43% Q36 12.22%Q83 79.72%Q133 59.13%Q184 42.52% Q233 55.05% Q38 -12.23% Q84 -42.41% Q134 33.05% Q185 39.66% Q234 43.68% Q39 15.75% Q85 26.64% Q135 49.92% Q186 77.94% Q235 40.04% Q40 -37.38% Q86 41.79% Q136 55.33% Q187 32.99% Q236 46.35% Q41 -36.28% Q87 0.05% Q137 52.62% Q188 55.13% Q237 49.25% Q42 -48.53%Q88 -33.83%Q138 46.75%Q189 37.98% Q238 79.16% Q43 30.45% Q89 -4.79% Q139 64.41% Q190 85.43% Q239 62.22% Q44 19.53% Q90 25.85% Q140 59.70% Q191 80.08% Q240 23.83% Q45 -10.38% Q91 -6.61% Q141 76.16% Q192 16.62% Q241 36.88% Q46 6.96%Q92 -8.92% Q142 23.31% Q193 66.08% Q242 50.46% Q47 7.21%Q93 38.18% Q143 36.03% Q194 17.15% Q243 -20.07% Q48 65.32% Q94 28.49% Q144 -11.22% Q195 46.07% Q244 67.47% Q49 7.91%Q95 59.75%Q145 -6.79%Q196 -4.12% Q245 72.71% Q50 24.19% Q96 29.94% Q146 -33.69% Q197 75.22% Q246 67.47% Q51 46.51% Q97 74.28% Q147 -18.97% Q198 50.60% Q247 38.69% Q52 11.59% Q98 66.44% Q148 55.49% Q199 71.53% Q248 88.27% Q53 55.89% Q99 43.88% Q150 23.16% Q200 39.87% Q249 42.19% Q54 26.74%Q100 39.30%Q151 72.67%Q151 72.67% Q250 47.58% Q1 8.79% Q2 -19.22% Q3 14.61% Q4 21.09% Q5 -34.25% Q6 14.71% Q7 14.52% Q8 -7.57% Q9 3.05% Q10 -4.16%

IRTによる分析結果と回答率の関係 項番 分野 問題数 適切 不適切 不適切率 正答率 適切のみ 全体 差分 1-1 Why-社会の変化 10 6 4 40.00% 50.22% 32.45% 20.28% 12.16% 1-2 Why-競争環境の変化 10 7 3 30.00% 24.85% 11.87% 10.19% 1.68% 1-3 Why-顧客価値の変化 7 6 1 14.29% 21.30% 11.39% 12.05% -0.66% 2-1 What-社会におけるデータ 6 6 0 0.00% 35.72% 18.50% 18.50% 0.00% 2-2 What-データを読む・説明する 16 11 5 31.25% 37.06% 22.91% 18.48% 4.44% 2-3 What-データを扱う 24 14 10 41.67% 25.95% 19.32% 17.36% 1.96% 2-4 What-データによって判断する 15 9 6 40.00% 23.79% 24.83% 20.48% 4.35% 2-5 What-デジタル技術-AI 38 35 3 7.89% 43.60% 18.46% 17.64% 0.82% 2-6 What-デジタル技術-クラウド 19 15 4 21.05% 36.92% 11.87% 10.26% 1.61% 2-7 What-デジタル技術-ハードウェア・ソフトウェア 33 26 7 21.21% 35.38% 13.01% 11.34% 1.67% 2-8 What-デジタル技術-ネットワーク 14 13 1 7.14% 33.23% 15.55% 15.07% 0.48% 3-1 How-データ・デジタル技術の活用事例 9 9 0 0.00% 36.92% 21.70% 21.70% 0.00% 3-2 How-ツール活用 11 11 0 0.00% 48.64% 23.43% 23.43% 0.00% 3-3 How-セキュリティ 14 13 1 7.14% 44.01% 14.25% 13.32% 0.93% 3-4 How-モラル 11 11 0 0.00% 60.95% 17.61% 17.61% 0.00% 3-5 How-コンプライアンス 8 7 1 12.50% 41.86% 27.68% 25.90% 1.77% 245 199 46 18.78% 37.53% 合計 適切問題のみの正答率と、不適切問題を含めた正答率で大きく差が出ているのは項番１－１ 不適切率の高さが評価に与える影響は少ない 21

識別度が低い問題の例① １－２ Why-競争環境の変化 DXによって変化する顧客価値に対応するために、個人が行うべきことは何でしょうか？ A：データやデジタル技術に関する最新情報を常に収集し、学習すること B：データやデジタル技術に関する自身の強みや弱みを把握し、改善すること C：データやデジタル技術に関する自身の目標や計画を立て、実行すること D：データやデジタル技術に関する自身の成果や学びを振り返り、共有すること E：データやデジタル技術に関する他者の意見や視点を聞き、理解すること ANSWER: E Eと言われたらそうかもしれないけれども、他回答も一般論として間違っているかと言わ れるとそうでもない。 -0.4220 22

識別度が低い問題の例② ２－２ What-データを読む・説明する データに基づいて結論や提案を伝えるためには、どのようなポイントに注意すべきでしょうか？ A：データの出典や信頼性、分析手法や前提条件などの根拠を明示する B：データの傾向やパターン、仮説や問い、結論や提案などのロジックを整理する C：データの量やサイズ、形式や種類、分布や相関などの特徴を把握する D：データの数値やグラフ、表現方法や言葉遣いなどの表現力を高める E：データの目的や利用者、状況や背景などのコンテキストを考慮する ANSWER: E Eで誤りではないが、A～Dについても注意すべきポイントではある。 -0.4853 23

生成AIを利用した作問を振り返って [結論]大量作問において生成AIはとても頼りになる テストの実行環境はMoodleやTAOなどいろいろあるが、問題そのものを作るのが課題 生成AIによる作問は、少なくとも自分の作問より１００倍は効率的 受験結果をIRTを用いて分析することで、きれいな問題DBが抽出できる Powered by DALL-E 3 24

今後の課題 Facilitate DX human resource development for local government officials

今後の取り組み① ～スキルサーベイの精度を高める～ ●生成AIのスクリプト 識別率が「高そう」「低そう」な問題の傾向はつ かめたので、「高そう」な生成スクリプトについ て考察を深め、最初から高品質なテストDBを充 実させていく。 ●受験環境の拡大 広島市の中堅職員だけではなく、全国的に調査が実施 できるよう関係機関に働きかけていく。また、それ が可能な受験インフラを構築する。 Powered by DALL-E 3 26

今後の取り組み② ～コースの網羅性を高める～ 27

ありがとうございました