実地評価計画書 評価者氏名 スタッフ氏名・担当業務 評価対象授業・教材名 実施日程 実施場所 利用システム 母集団 実験協力者人数 実験協力者の募集方法 謝礼 - 平価項目 データ収集方法 分析方法 アンケート メンタの活動指針 学習の効果 学びやすさ 本番での実施可能性 報告内容の根拠 改善案 二 1 ロ 170 資料

第章 は評価のための評価であり , 本来の目的である改善のための評価とならない。評 すれば立派な評価報告書が完成して終わりとなってしまうことがあるが , これで また , 評価結果を実際の改善につなげる方法にも言及する。評価活動は , とも e フー ニングを経営的な視点 , つまり効率化から考えた場合 , 非常に重要である。 「学習効果」と「学習効率」の側面があり , 両面から評価すべきである。 ROI は , vestment) について実例とともに述べる。 e ラーニングの導入目的には , 通常 の評価方法を紹介する。最後に , 投資効率の評価である ROI (Return On ln- て説明し , そのなかでも特に評価が困難であるとされている第 3 段階と第 4 段階 総括的評価の代表的な方法である「カークパトリックの 4 段階評価」 [ 2 ] につい そこで本章では , ます形成的評価を取り上げ , その実施方法を説明する。次に , ない」と述べている研究者もいるほどである [ 1 ] 。 関与するので , 総括的評価は ID プロセス自体にとって不可欠なアプローチでは あるといえる。「通常 , 総括的評価は , デザイナではなく独立した評価担当者が 実際に学習コースが始まる前に行う評価 , つまり「形成的評価」のほうが重要で 実現するためには , コースが終わってから評価し始めるのでは間に合わないので , てのフェーズで行うものである。むしろ , よいコンテンツやよいコースを 1 度で 価」のことであり , 実際には , インストラクショナルデザインの評価活動はすべ る」という認識である。コースの最後に行う評価とは , 本章で述べる「総括的評 ェーズは分析 , 設計 , 開発 , 実施と続いてきた ID プロセスの最終フェーズであ インストラクショナルデザインの評価についてよく聞かれる誤解は , 「評価フ ・ e ラーニングコースを評価し , 改善に必要な情報を提供できるようになる。 一本章の学習目標 ID における評価

の特定に迷うこともないはずであるが , 最初は不安を感じてデータを多めに集め ようとして失敗することがある。本章で紹介してきたように , インストラクショ ナルデザインでは評価のプロセスが体系化されているので , 自分がおかれている 評価のフェーズやステップを明暸に認識し , その段階で必要なデータに焦点を当 てて収集するようにしよう。 演習問題解答例 コース開始前に , コンテンツやインストラクションの改善を目的として行う評 価を形成的評価と呼ぶ。形成的評価にはいくつかのステップがあるが , 少なくと も一対一評価 , 小集団評価 , 実地評価の 3 種類の評価を行うべきである。実地評 価として実証実験授業を行う場合 , 被験者の選抜条件 , 実証の対象 , 測定・分析 データに注意して実験計画を立てる。 e ラーニングコースでは , 多種多様なデー タを評価に用いることができる。例えば , 学習履歴データやアンケートのデータ の多くは定量的データであり , 数値として統計処理が可能である。 9.2 総括的評価 9.2.1 カークバトリックの 4 段階評価 総括的評価で最も多く用いられている枠組みは , カークパトリックが提唱した 4 段階評価である。通称「カークパトリックの 4 段階評価」と呼ばれるこの評価 方法では , 表 92 に示したように 4 種類の指標を用いて , 異なる時期に異なるデ ータによる評価活動を行うことになっている。カークパトリックの 4 段階評価は , 最初に発表されてから 50 年あまり経過しているにもかかわらず , 現在でも評価 の枠組みとして非常にポピュラーである。実際 , この評価は教育や研修の成果に 関して網羅的であり , 大学のような教育機関が提供する e ラーニングコースの評 価にこそ適していない側面があるものの , 企業内教育・研修の評価に必要なほと んどの分野をカバーしている。 表から予測できるように , 基本的にアンケートやテストで測定できる満足度や 成績と違って , 第 3 , 第 4 レベルの評価は , データを収集すること自体とても難 しい。実際ある研修が終わってから数ヶ月が過ぎて , 人材育成担当部署から「あ 160 第 9 章 ID における評価

価報告書自体をどのように書けば改善につながるのか , さらに e ラーニングコー スを評価するとどのようなよいことがあるのかについても例を挙げる。 9.1 形成的評価 演習問題 第 2 に , 改善を目的としているので , 遅くともコースが終了する前にほとんど は , 後者 , つまりコンテンツやコースを対象とした形成的評価について説明する。 の対象となるのは学習者と製品 ( コンテンツやコースそのもの ) である。本章で ックからなる」 [ 3 ] 。この定義は 3 つの特徴を示している。第 1 に , 形成的評価 ックや , 製品の改善方法に関するインストラクショナルデザイナへのフィードバ 形成的評価とは , 「パフォーマンスの改善方法に関する学習者へのフィードバ キーワード : 形成的評価 , 小集団評価 , 実地評価 , 実証実験 , 定量的データ のように行えばよいか , 次のキーワードをすべて用いて答えなさい。 e フー ニングコースが始まる前に , 最低限取り組んでおくべきコース評価をど 結果を原因側に戻すことで原因側を調整することである。 その結果をフィードバックすることのほうが重要である。フィードバックとは , 最後に , 学習効果やコンテンツの使いやすさなどを測定すること自体よりも , 動をすることが多い。 の評価活動を行う。実際には , コースの実施に先立っ開発フェーズまでに改善活 152 第 9 章 ID における評価 地評価 (Field Evaluation) あるいは実地試行 (Field Tryout) である。そこで , ー評価 (One-to-One EvaIuation) , 小集団評価 (small Group EvaIuation) , 実 いすれにしても , ほとんどの形成的評価手法に共通している評価方法は , ー対 スを設定しているものまである。 わないと述べているものから , スミスとレーガン [ 4 ] のように 6 段階のプロセ ては , 複数の方法論が提案されており , ディックほか [ 1 ] のように 3 段階で構 かりにくいので , 次に形成的評価の方法を紹介する。形成的評価のやり方につい しかしこれだけでは , 具体的にいつどのようなフィードバックをする評価かわ

インストラクショナルデザイナは途方にくれてしまう。 eLPCO の実証実験では , 何から手をつければよいかがわかる改善提案にすることを心がけていた。 実証実験をデザインする場合 , 3 つのチェックポイントがある。第 1 に , どの ような学習者を何人程度集めるか ( 被験者の選抜条件 ) , 第 2 に , どのコンテン ツや課題に取り組んでもらうか ( 実証の対象 ) , 第 3 に , どのようなデータから ー平価するか ( 測定・分析データ ) ということである。第 1 , 第 2 のポイントはす でに説明したので , 次に , データ収集に関して述べる。 9.1.5 データの取り方の基礎 本章では , e ラーニングコースにおける評価について述べているので , も e ラーニングに関するデータの収集に関して述べる。 e ラーニングにおいて , 評価に使われるデータは , 大きくメタデータ , 学習ログ ( 学習履歴 ) , コミュニ ケーションデータ , 調査データという 4 種類に分けられる。このうち , メタデー タとは , 「データについてのデータ」という意味であり , データ自身についての 付加的なデータのことを指す。例えば , テキストデータが PC に保存されている とすると , そこにはそのテキストの内容以外のメタデータとして , テキストの著 者の名前やテキストを書いた日時なども存在する。 これらのデータを処理の方法から見ると , 大きく定量的データと定性的なデー タに分けられる。定量的データとは数値で表されるデータであり , 学習者の年齢 やアンケートで 5 段階の選択肢から選択した数値 , テストの得点などが含まれる。 学習履歴やアンケートデータの多くは定量的データである。一方 , 定性的データ とは質的データとも呼ばれ , 数値化が難しく , 内容を分類 , 分析する意味がある データである。例えば , 自由記述アンケートの回答文 , メンタと学習者のコミュ ニケーション内容などが含まれる。 データの収集方法に注目すると , 当初からコース提供者側がデータとして入力 する , 日常的な学習活動を通して蓄積されるシステムのログなどとして自動的に 収集する , 学習者がアンケートやテストに回答 ( 解答 ) することによって集めら れる , という 3 つのチャンネルがある。 こで気をつけなければならないのは , 学習者にとってアンケートなどの調査 二一口 158 第 9 章 ID における評価

ムを全く使えないといった特別なケースを除いて , 学習活動に口を出さずに見守 ることになる。また評価データも , ひとりひとりに対するインタビューなどでは なく , もつばらアンケートと成果報告書によって収集する。 このうち成果報告書とは , アンケートでは集めきれない情報を得るために , 学 習者自身に書いてもらう詳しい受講報告である。もちろん , 学習者に「受講の経 緯や感想について報告書を書いてくれ」と依頼しても , まとまりのない内容にな る可能性が高いので , 成果報告書を求める場合には , 記載する項目を指定してお く必要がある。小集団評価の目的から判断して , 成果報告書の記述項目には , 対一評価で指摘された問題点とその対応 , 1 人で受講する場合の操作や学習方法 のわかりやすさを含めるべきである。 9.1.3 実地評価 実地評価は , 形成的評価の最終段階である。つまり , 実際に e ラーニングを実 施する状況 , 文脈にできるだけ近い環境を設定してリハーサルを行い , 評価する ことになる。実地評価の目的は , 最終的に改訂したコンテンツの学びやすさや学 習効果をチェックすることと , 想定される学習環境で実施に耐えうるものである かどうかを判断することである。 実地評価に参加する学習者数は「 30 人ほど」田といわれるが , 現実的に れだけの人数を集めることが難しい場合 , 小集団評価と同様に , e ラーニングコ ースを受講する多様な学習者を代表する者を選び , より少人数で実施することも できる。小集団評価と実地評価には , 学習者の選択方法以外にもデータのまとめ 方など多くの共通点があるが , 相違点もある。まず実地評価では , 学習者だけで なくインストラクタやメンタのような e ラーニング専門家も活動に参加する。ま た実地評価では , 現実の環境におけるコースの実施可能性に重点がおかれるので , テストを省略することも多い。 これら形成的評価の結果をフィードバックする際のポイントは , 評価の結果だ けでなく , そのような結果が導かれた理由と , その結果何をどのように改善すべ きかを明示しておくことである。さらに , フィードバックのスピードも重要であ る。例えば評価の結果 , 教材の一部であるパワーポイントのスライドがわかりに 9.1 形成的評価 155

SME と I 爲による検討 ( 形成的評価に先行 ) 一対一評価 = 臨床型評価 ( 1 名 ) 小集団評価 ( 8 ~ 20 名 ) 実地試行 ( 30 名程度 ) 専門家レビュー 一対一評価 小グループ評価 フィールド実証 継続的評価 デザインレビュー 計 開 発 中 開講中 図 9.1 形成的評価のプロセス ( 左 : 文献 [ 1 ] より作成 , 右 : 文献 [ 4 ] より作成 ) 一対一評価は , その名のとおり学習者 1 名とインストラクショナルデザイナが ー対一評価 続いてこれら 3 種類の評価方法とそのポイントを順に説明する。 9.1.1 か , 学習目標を達成できると思うか , 得られる知識やスキルに満足してもらえる 目標到達度に分けられる。態度とは , 学習者自身に関係があると考えてもらえる 第 2 の基準は , 学習者への影響である。こで「影響」とは , 学習者の態度と といえる。したがって , 明瞭性には表現の難易度や情報の構造などが含まれる。 ていかに誤解なく伝わるかという基準である。学習者から見れば , わかりやすさ 第 1 に , 明瞭性の基準がある。これは , 指示や伝えたい教育内容が学習者に対し 一対一評価では , 大きく 3 つの基準によってコンテンツやコースを評価する。 ザイナは , 各学習者に個別に対応する。 の学習者 , 標準より下の学習者を選出する。もちろん , インストラクショナルデ つまり , 3 名を選ぶのであれば , 能力的に標準より上の学習者 , 標準的なレベル は , 成績 ( 能力 ) 別のグループから代表的な者を選ぶとよいとされている [ 1 ] 。 通常 2 名から 3 名の学習者からデータを集める。また , それら 2 ~ 3 名の学習者 といって , 一対一評価に参加する学習者は 1 名だけではない。一対一評価では , 直接対話しながら行う評価である。しかし , 一対一という名前がついているから かという 3 点である。 9.1 形成的評価 153 R, c, S に該当する。一方 , 目標達成度とは学習効果のことであるから , テス これらは , すでに第 7 章でも扱っている ARCS モデルの

団位準位 集 母上標下 実験協力者 評価手順 明療性 学習者への影響 実現性 その他 小集団評価計画書 評価者氏名 評価対象授業・教材名 実施日程 実施場所 利用システム 評価項目 母集団 属性 A 属性 B 以下 , 属性 に応じて追 加する 実験協力者 評価手順 改善成果 自己学習の可能性 実験協力者の実施報告 評価項目 資料 169

演習問題解答例 イニシャルコスト 購入機器なし 数量 単価 合計 機器購入費 0 企画提案書作成 3 人日 28 , 000 84 , 000 設計仕様書作成 2 人日 28 , 000 56 , 000 テスト作成 3 人日 28 , 000 84 , 000 ストーリーポード作成 17 人日 28 , 000 476 , 000 ナレーター 2 人日 3 時間拘束 x 2 日 50 , 000 100 , 000 アクター 4 人日 2 名 x 2 日 40 , 000 160 , 000 コンテンツ作成 1 式 10 本 ( 総計 120 分 ) 800 , 000 800 , 000 インストラクタガイド作成 1 人日 28 , 000 28 , 000 評価報告書作成 3 人日 28 , 000 84 , 000 小計 1 , 872 , 000 ランニングコスト 一三ロ 価 単 量住 数 0 通常業務で対処 対面講義・実習は 2 時間 75 , 000 0 人事部が進捗とスケジュ ールを管理 システム運用費 インストラクタ メンタ 28 , 000 150 , 000 42 , 000 一三ロ 75 , 000 学習者コスト 単価 合計 数 量 利益は単価 x 0.4 逸失利益 11 , 200 476 , 000 42.5 小計 476 , 000 対象者は受講必修の社内研修で , 通知は社内メール , グループウェアなど無料のものの み使用するため , ビジネスコストは発生しない。 5.7 コスト分析 99

トや実技によって測定する。 第 3 の基準は , 実現性である。これは , 実際に e ラーニングコースを実施する ときにコースを適切に管理できるかという観点である。例えば , 学習者にとって 154 第 9 章旧における評価 施される。インストラクショナルデザイナやインストラクタは , 学習者がシステ 小集団評価の方法は , 一対一評価と異なっており , 実際のコースに近い形で実 ばかりであれば , 小集団評価の学習者の選考にエネルギーを使う必要はない。 言い方をすれば , e ラーニングコースを受講する学習者が同じようなタイプの人 齢 , 性別などできるだけ様々な属性を持った者を数名すっ選ぶべきである。別の 表する者が抽出されるべきであり , 成績だけでなく , e ラーニングへの慣れや年 小集団評価の学習者は , 本来 e ラーニングコースを受講する多様な学習者を代 るかどうかを判断するという 2 つの目的がある。 価には , 一対一評価による改善の成果を確認することと , 学習者だけで受講でき 小集団評価でいう「小集団」とは , 通常 8 名から 20 名程度である。小集団評 9.1.2 小集団評価 である。 述べてほしいこと , 取りつくろわないでほしいことなどを明確に伝えておくべき っても学習者の責任でないこと , コンテンツなどに不満があったらそれを率直に 貴重なリソースである。インストラクショナルデザイナは , 学習者に対して間違 れることも多い。しかし , 形成的評価にとって , 学習者の間違いは改善のための くれることである。一対一評価では , 学習者のミスや知識不足などがさらけ出さ このような評価活動で重要なのは , 学習者がリラックスして正直な姿を見せて ながら , アンケートも用いて学習者の反応を見る。 ナは受講のようす , 受講にかかった時間などを観察し , 受講中の学習者と対話し 者に開発中のコンテンツやテストを受けてもらう。インストラクショナルデザイ 一対一評価では , これら 3 つの基準から具体的なチェック項目を定めて , 学習 あまりにも長い時間がかかる場合には , 実現性が低いことになる。 学習者には購入不可能な特別な機器が必要である場合や , コースを修了するのに 学習しやすく , 目標とする学習成績も達成できそうなコースであっても , 多くの