「プログラムに参加した人の 5 割以上が過疎地域に移住・定住する」 など、組織として『これができたら成功と言える』という具体的な目標を設定する ことで、達成度を評価できるし、到達点を確認することができます。 目標が明確になることで、日々の事業のやり方が変わってくることもあるでしよう。 目標の達成が難しそうだということになれば、その理由を分析して抜本的な変更 をかけたりするかもしれません。 たとえ目標の数値化が難しくても、単に事業の結果を把握するだけにとどまる べきではありません。 例えば、子どもの自己肯定感の向上を目的として学校の先生を対象とした研修 事業を行ったとしましよう。参加者は何人で満足度はどうだった、というのは事業 の「結果」であって、成果とはいえません。 研修を受けた先生たちがどのくらい知識を深め、意識を変え、スキルを向上させ、 その結果クラスの子どもたちにどのような変化が起こったか、ということまで確認 して初めて、その研修事業の成果を把握することができます。そうすると、座学だ けではなかなか実践に活かされないので研修にロールプレイを組み込んだ方がい いとか、中学生より小学生の方が効果がより高く現れるので小学校の先生を対象 にした研修を増やそうなど、目的に沿った事業の改善や方向転換を図ることがで きます。それが団体にとってのノウハウの蓄積となり、独自性のある事業で成果を あげる組織となることにつながります。 実のところ、効果を確認したり比較したりするためのデータを集めるのは大変で す。しかし、具体的な目標を設定し、その目標の到達度を測るための情報収集を 普段から行いながら事業を実施し、その情報を元に評価を行い公表する。そして 事業を改善し、また評価を行う。その繰り返しを習慣づけることで、徐々に成果 をあげられる組織になっていくのだと思います。 25

3 ・評価の設計 どのように評価をするのか . こでは評価の枠組みと手法を検討する評価の設計について、その基本的な考 え方を説明しましよう。評価の設計には、以下に述べる①評価設問の検討、②指標 と収集・分析方法の検討が含まれます。 ( 1 ) 評価設問 (evaluation questions) を検討する 評価設問の設定とは評価を通して何を知りたいのかを明らかにすることです。例 として、地域の町内会や消防団、 NPO が協働で「地域の防災力の向上」をアウト カムとした事業の評価を考えてみましよう。「地域の防災力は向上したか ? 」とか「防 災訓練の参加率はどのくらいか ? 」などが評価設問として考えられます。評価設問 は評価の目的に沿って、また評価の焦点によって異なります。評価の目的が事業の 見直しであるとしたらアウトカムの評価に加えて、セオリー評価の視点が重要にな り、評価設問も「地域の防災力を向上させるための手段はこれで十分か ? 」、「他に より効果的な手段はないか ? 」などが考えられます。あるいは、事業のアウトカムに 影響をもたらした要因を探るために、「プロセス評価」の視点から活動プロセスの 課題やアウトブットの達成度合いを把握するための評価設問を作ることもできます。 たとえば、「 NPO が実施している子ども達への防災教室は適切に行われているか ? 」 などがあるでしよう。活動プロセスはたくさんありますが、実は事業担当者は実施中 に起きている問題が何なのかを知っていることが多いのです。担当者の懸念、ある いはその他の関係者の関心ごとを評価設問に反映させることで、課題を可視化で き、その後の事業改善につなげることができます。 ( 2 ) 指標と収集・分析方法を検討する - 平価設問が決まったら、次に、設問ごとに誰からどのように根拠となるデータを 収集し ( 指標と収集方法 ) 、どのように分析するのかを検討します。 ニ 1 ロ 38

1 事業を効果的に実施していくための道具 : ロジックモテル 事業評価を行うときには、ますその対象となる事業の内容を関係者同士で理解・ 共有することが大切です。「この事業はそもそも何をめざしているのだろうか ( どん な社会的課題を解決しようとしているのだろうか、どんな価値創造をめざしている のだろうか ) 」、「事業の実施は誰にメリットをもたらすのだろうか ( 受益者、サービ ス利用者は誰なのだろうか ) 」、「実施する組織や関係者はどのような強みや可能性 をもっているのだろうか」、「どのくらいの資金を使えるのだろうか」、「どんな方針で、 どのような活動を行っているのだろうか」等々、事業を取り巻く現状を把握しておく 必要があります。事業評価では、それらの検討を行うツール ( 道具 ) として「ロジッ クモデル」と呼ばれるものが広く使われています。ロジックモデルは、事業内容を手 段と目的の関係で整理することにより、めざしていたものはそもそも何なのか、誰の ために事業を実施するのかといった目的と、それを達成するための手段である活動 を可視化する道具です ( P30. 図 1 および図 2 ) 。 なぜ、評価をするときにロジックモデルの考え方が普及しているのでしようか。こ こではふたつのポイントを紹介しましよう。ますひとつめは、事業の価値に関わるこ とです。評価は英語で evaluation と言いますが、原語のラテン語の意味は「価値を 引き出すこと」です。つまり、事業評価の行為は事業の価値を引き出すための道具 として使われるべきです。そのためには、事業がどんな価値を生み出そうとしている のか、どのような社会的課題を解決するために行うのかをニーズをふまえてきちん と決める必要があります。これが、ロジックモデルでいう「アウトカム ( 成果 ) 」です。 活動はそのアウトカムをもたらすための手段であり、限られた資源を有効に使って アウトカム達成に貢献するような良い活動を計画することが重要です。もし、手段 に問題があって、アウトカムがもたらされなかったら事業の価値は半減してしまい ます。たとえば生活困窮世帯の子どもに対する「学習支援活動」 ( 手段 ) により「子 どもの自分で考える能力が向上する」 ( アウトカム ) ことをめざす事業では、活動実 施後の評価で参加した子どもたちに期待していた変化が起きているのかを検証し、 28

第 3 部事業評価の基本的な考え方と流れ も意味がありません。今後は、 ーズ評価やセオリー評価、また阻害要因の分析に つながるプロセス評価にこれまで以上に積極的に取り組んでいく必要があるでしょ う。特に、 NPO 自身が事業のマネジメント改善を目的とした評価では、 PDCA サイ クル※と評価を結びつけ、実施後のアウトカム / インパクト評価のみならず、実施途 中のプロセス評価、継続的な見直しを行うセオリー評価の役割は大きいと考えられ ます。 ※ PDCA サイクルとは、 Plan ( 計画 ) → Do ( 実施 ) → Check ( 評価 ) → Action ( 修正・改善 ) といった 事業の継続的なマネジメントサイクルを意味します。 PDCA を回すということは、 P が常に変化するというこ とです。そのための手段としてロジックモデルを活用することができます。 35

実践する : 教材とツール ( 道具 ) 評価ツールセット社会的インバクト評価イニシアチブ http://www.impactmeasurement.jp/guidance/ 事業評価を実際にやってみたい。でもまわりに聞ける人もいないし、研修の機会も当分 ない・・・何を頼り進んでいけば ? という時に役立つツール集。サイトから誰もがダウンロード できます。分野ごとにまとまっているので、「ロジックモデルって、私の事業では例えばこう 組み立てるのもありなんだ」と分かる具体例や、実際に使える豊富な指標の例を見ながら、 最初の一歩を踏み出すことができます。 教育、就労支援、地域まちづくり、環境教育、文化芸術の各分野のツール集に加えて、 共通の実践マニュアルもついています。 NGO かんたん評価ガイドライン国際開発センター評価事業部 http: 〃 www.idcj.or.jp/shakaikouken/IDCJNGOkantanhyoukaguideIine.pdf 国際開発の勉強会で生まれた事業評価のガイドライン。国内の事業でも基本枠組みは 転用できます。本文は 7 ページ。質的調査の工ッセンスがぎゅっと詰まっているので、「なる ほど、こういう方法をこういう流れで使うのか」というイメージがつきやすくなります。 学ぶ : 講座・研修 評価士養成講座日本評価学会 http://evaluationjp.org/activity/training.html 評価の幅広い知識と技法をもつ人材の養成を目的とした 6 日間の初級講座。 1 年に 2 回 実施され、 NPO/NGO に限らす、 ODA などのコンサルタント、大学・学校、助成財団、省庁、 地方自治体などからも受講者が集まります。講師陣は学識 / 実践が豊富な評価エキスパー トたち。座学とワークショップで構成されており、試験に合格すると「評価士」の資格が認 定されます。 PCM 手法コース ( 計画・立案コース / モニタリング・評価コース ) 国際開発機構 https://www.fasid.or.jp/training/4_index_detail.shtml プロジェクトの立案・運営・管理能力をもつ人材養成を目的に実施されている研修。 PCM ( プロジェクト・サイクル・マネジメント ) は、プロジェクトの計画・実施・評価という 一連のサイクルを「プロジェクト・デザイン・マトリックス ( PDM ) 」と呼ばれるプロジェク ト概要表を用いて管理運営する手法。 JICA や国際機関で使われています。計画・立案 / モニタリング・評価の 2 つのコースがあります。 65

もっと知りたい ! 評価のお役立ち情報 事業評価、やってみようかな ? となったら、行動につなげるのはタイミングが こで紹介する学びや実践の情報は、豊かな評価の海のほんの一滴 ですが、参考にしながら皆さんに合った形を見つけてください。 知識を深める : 書籍 参加型評価 ー改善と変革のための評価の実践 編著源由理子 出版晃洋書房 ( 2016.11 ) 税込価格¥ 2 , 916 64 が伝わる一冊。 価を NPO の力にするという信念と NPO 愛 えた本。平易な文章で理解しやすい。評 徹底的に NPO の視点から事業評価を考 税込価格¥ 1 , 728 出版北樹出版 ( 2011.1 ) 著者粉川一郎 ー NPO の次のステップづくり 社会を変える NPO 評価 も味わい深い。 とに散りばめられている文学や哲学の格言 に考えさせる優れ本。評価にからめて章ご 読み物としてもおもしろく、読者を主体的 税込価格¥ 6 , 480 出版日本評論社 ( 2014.3 ) 著者キャロル・ H ・ワイス 政策・プログラム研究の方法 入門評価学 : かるかも。 で、あなたの活動分野に近い事例が見つ からていねいに解説。実践報告も豊富なの みんなで評価する「参加型評価」を基礎 実用重視の事業評価入門 著者マイケル・クインパットン 出版清水弘文堂書房 ( 2001.3 ) 税込価格¥ 3 , 780 * 現在絶版 「うまくいく秘訣はまずやってみること。そ して結果を評価すること」実用重視という 評価目的を打ち立てた事業評価の第一人 者による著作。 プログラム評価 ー対人・コミュニティ援助の質を高めるために 著者安田節之 出版新曜社 ( 2011.5 ) 税込価格¥ 2 , 592 事業評価の設計から報告までを 25 のキー ワードで解説。サービスの質を高めるため には ? 読めば納得の事業評価入門。 工ンパワーメント評価の原則と実践 ー教育、福祉、医療、企業、コミュニティ 介入プログラムの改善と活性化にむけて 著者 D. フエターマン、 A. ワンダーズマン 出版風間書房 ( 2014.1 ) 税込価格 Y3 , 780 社会的に抑圧された人々が力を回復し社 会を改革していく過程「エンパワーメント」。 評価の目的を改善と自己決定を進めるため とし、技術と知見の実用化に重きをおいた 書。

第 1 部 NPO が強くなるために 4 評価は「コワい」「使えない」 「めんどくさい」 ? さて、一般に評価の定義は「事実特定と価値判断」。ちょっとむずかしいですね。 先ほどの旅の例えに戻ってみましよう。 「あそこから出発して、ここまできた」。出発地から何キロと何メートルなのか、目 的地まではあと何キロなのか ? 簡単に言うと、これが事実特定の一例。客観的な事 実を、さまざまな手法で浮かび - E がらせます。では、価値判断とは何でしよう。それ はこの距離をどう見るかということ。かなり進んだと見るか、たったこれだけと見る か。少し進路が北にすれているけど今はそれでよいと考えるかそれとも一度引き返 して最初の分かれ道を右に折れた方がいいのか。この判断は、評価をどう使おうと するのか、どういう規準で善し悪しを決めようとするのかによって異なります。では、 価値判断をくだすのは誰なのでしよう。実はこれ、それぞれの評価設計によって異 なります。例えば仲間みんなで決める、応援してくれる人たちを含めて決める、いや 旅の熟練者にお願いして決めてもらう・・ 評価が時に「コワい」「使えない」「めんどくさい」といやがられるのは、外部から 「専門家」がやってきて、「あれを出せ、これを出せ」と忙しい現場にデータ地獄をつ くり出した上に、不本意な「通知表」を渡して帰っていく、そして報告書はほとんど 読まれない・・・というイメージを持っているからかもしれません。 詳しい評価設計の話はあとのページに譲りますが、 NPO の評価は、みんなで話 し合い、合意しながら進める参加型と相性がよいと言われています。ーロに「評価」 と言っても、実にいろいろな目的と使い方、手法が開発されているのです。 このブックレットが提案するのは、 NPO 自身が評価の力と限界をよく理解し、主 体的に活用できるようになること。道具は使いようです。うまく使って自分たちのた めにする、 NPO としてサービスを提供している相手のためにする。そういう発相だ とうまくいくと思います。 もちろん、評価には専門性が必要です。主に社会調査の手法を活用することが 9

1 事業を評価する ? 組織を評価する ? 20 ら始まります。 たが今何を問題と感じているかをよく掘り下げてみること。評価デザインは、そこか 事業評価と組織評価のどちらかがより重要ということはありません。要は、あな たことで「組織」の健全性や強みを測ります。 が安心して協力し、がんばれる体制か。そして法律順守や情報公開。例えばこういっ を文章にして共有したり、大事な書類を保存するしくみが根づいているか。スタッフ くもの。対して組織評価は、組織が対象です。あなたの組織は、組織の目的や計画 のバランスはどうか。事業評価は、こうして「事業そのもの」を様々な角度で見てい んだ人と読まない人とで「やってみよう」という人の数は違うか。目標達成度とお金 作」でよかったのか。そもそも必要とされていたのか。期日通りに発行できたか。読 し「やってみよう」という気持ちになること。さて、そのためには「ブックレットの制 です。例えば、このハンドブックもそのひとつ。目標は、皆さんが評価の基礎を理解 業評価。一般に「事業」「プログラム」「プロジェクト」などと呼ばれるものが対象 評価には、主に事業評価と組織評価があります。このブックレットが扱うのは事

第 3 部事業評価の基本的な考え方と流れ ( 3 ) プロセス評価 プロセス評価は事業の実施過程 ( プロセス ) を評価するものです。プロセス評価 は活動が計画どおりに実施されているか、実施過程で何が、なぜ起きているのかな どを分析します。事業改善や組織強化を目的とした評価であるならば、アウトカム を達成できなかった理由を探るためにもこのプロセス評価の情報は欠かせません。 / 関係組織と定期的な打ち合わせが行われているか / 関係組織間の情報は共有されているか ■他の関係団体、関係者との連携 / 活動の見直しは定期的に行われているか、など / 組織内でのコミュニケーションや情報共有は行われているか / 活動を行うための資源や人材は十分か、人材配置は適切か 0 組織のマネジメント / 人々の行動変容につながっているか、つながっていないとしたら何が問題か、など / 人々のニーズは今もあるか / その人数、対象者は適切か / 想定した人々に活動の便益が届いているか ■想定した対象者 ( 受益者 ) / 他に良い手段はないか、など / 中間アウトカムにつながっていくか / 社会的課題とのすれはないか / 実施のタイミングは適切か / 活動内容は適切か / 計画どおりか、計画どおりでないとしたら何が問題か ■計画との比較 プロセス評価には、以下のような視点が含まれます。 33 ■その他、実施中に見えてきた課題に関するもの / 関係組織が計画段階から参画しているか、適切に巻き込んでいるか、など

第 2 部これだけは押さえておきたい評価のイロ八 2 誰が評価する ? 評価を行うには、大きく分けて、自らの評価を自らが行う内部評価と、評価専門 家などが外部者の立場から行う外部評価があります。どちらを選ぶかは、事業の 特性や評価の目的、資金の性格や規模などをよく考えて選びましよう。 評価が初めての場合、まずは自己評価を実践してみましよう。身近に評価の知識 を持つ人がいれば相談してみたり、 64 ページのツールや情報を活かしたり、まずは 一歩踏み出すことが大切です。最初から完璧をめざす必要はありません。実際、目 的と手段の関係を話し合ったり、アンケート・インタビューで利用者などの満足度や 変化を見たりと、皆さんはすでに断片的であっても評価を実践した経験が少なくな いでしよう。その経験に評価の体系的な知識と実践を加えていくと、事業はぐんと よくなります。 ■内部 / 外部評価のそれぞれの強み 管理者 ー ( リーダーレ 客観性 事業の理解 の信頼性 内部評価 〇 〇 ◎ 外部評価 ◎ ◎ 〇 * 評価する人の技術や経験、事業・組織の環境や条件で変化します。 キャロル・ H ・ワイス「入門評価学政策・プログラム研究の方法」 ( 日本評論社、 2014 、 p. 48-50 ) を参考 に作成。 結果活用の 可能性 自律性 〇◎ ◎〇