「プログラムに参加した人の 5 割以上が過疎地域に移住・定住する」 など、組織として『これができたら成功と言える』という具体的な目標を設定する ことで、達成度を評価できるし、到達点を確認することができます。 目標が明確になることで、日々の事業のやり方が変わってくることもあるでしよう。 目標の達成が難しそうだということになれば、その理由を分析して抜本的な変更 をかけたりするかもしれません。 たとえ目標の数値化が難しくても、単に事業の結果を把握するだけにとどまる べきではありません。 例えば、子どもの自己肯定感の向上を目的として学校の先生を対象とした研修 事業を行ったとしましよう。参加者は何人で満足度はどうだった、というのは事業 の「結果」であって、成果とはいえません。 研修を受けた先生たちがどのくらい知識を深め、意識を変え、スキルを向上させ、 その結果クラスの子どもたちにどのような変化が起こったか、ということまで確認 して初めて、その研修事業の成果を把握することができます。そうすると、座学だ けではなかなか実践に活かされないので研修にロールプレイを組み込んだ方がい いとか、中学生より小学生の方が効果がより高く現れるので小学校の先生を対象 にした研修を増やそうなど、目的に沿った事業の改善や方向転換を図ることがで きます。それが団体にとってのノウハウの蓄積となり、独自性のある事業で成果を あげる組織となることにつながります。 実のところ、効果を確認したり比較したりするためのデータを集めるのは大変で す。しかし、具体的な目標を設定し、その目標の到達度を測るための情報収集を 普段から行いながら事業を実施し、その情報を元に評価を行い公表する。そして 事業を改善し、また評価を行う。その繰り返しを習慣づけることで、徐々に成果 をあげられる組織になっていくのだと思います。 25

FAQ はくある質・既 5. 数字に表れない個人や社会の変化といったものを大事にしています。そう いったものはとうやって評価するのでしようか ? 一般的に、評価には「定性的評価」と「定量的評価」の 2 つの方法があります。 「定性的評価」は、数字で表すことができない定性的な変化をインタビューやフォー カスグループ・ディスカッション、参与観察などを通じて評価する手法です。これに 対し、「定量的評価」は、数字で表すことが出来る定量的な変化をアンケート調査 や事業モニタリングなどを通じて評価する手法です。数字に表れない個人や社会の 変化を大事にする NPO であれば、ますは定性的評価を試してみてはどうでしようか。 「数字に表れない」ものであっても、きちんと評価して利害関係者にその成果を伝 えていくことは重要です。 さらに、このような個人や社会の変化を定量的に評価する手法も開発されていま す。定性的評価と定量的評価を組み合わせることで、より評価結果の説得力を高め ることができますから、ぜひ定量的評価にも挑戦してみてください。 6. 市民の信頼を得たり、企業や行政に PR するには、どんな評価をすれば効 果的なのでしようか ? 評価結果を市民や企業・行政に効果的に伝えるには、評価報告の作り方を工夫 する必要があります。成果を客観的なデータで説明できれば信頼性が高まります。 専門家や第三者機関の意見を加えれば説得力が生まれるでしよう。さらに、うまく いった事例や、協力してくれたボランティアの方々の体験などのストーリー性を加え れば、より幅広い共感を得ることが出来ます。無味乾燥で真面目な評価報告だけで なく、このようなちょっとした工夫を加えることで、「読んでもらえる」効果的な評価 報告が可能になります。 ただ、評価は NPO の事業運営や活動の成果を適切に分析・報告することが大 切で、 PR の道具とすることだけを目的に実施するものではない、ということは忘れ てはならないでしよう。 48

FAQ は < ある質問 1. 自己評価は少しやっていますか : やつばり外部評価も必要でしようか ? 自己評価は、すべての評価の基本です。自己評価を行うことにより、自分たちの 活動がどのような成果を挙げているか、運営が効果的・効率的になされているかな どを確認することができます。ぜひ自己評価をこれからも続けてください。 同時に、外部評価も重要です。外部評価を行うことで、自己評価では見落として いた視点に気づくことができますし、外部専門家の検証を経ることで自己評価の信 頼性を高めることもできます。これにより、自分たちの活動成果をより積極的に外部 発信することが可能になります。外部評価も、できる限り導入を検討してみましよう。 特に、 2016 年に立ち上がった社会的インパクト評価イニシアチプを契機に、今後、 日本でも行政や財団が資金提供にあたり外部評価を求めるケースも増えてくると思 われます。今の段階から、外部評価に慣れておくことはとても大切だと思います。 2. 活動予算・スタッフ数・事業いすれの規模も小さな団体ですか : 評価の対 象になるのでしようか ? 合う評価手法はあるのでしようか ? 評価とは、 NPO が設定した目標と事業計画を適切に実行し、成果を挙げている かどうかを検証することです。このため、どんなに規模が小さい団体でも、目標の 達成に向けて計画的に事業を行っていれば評価は可能です。事業規模もスタッフ 数も限られている団体向けの簡便な評価手法も開発されています。 例えば、業績評価 ( パフォーマンス・メジャーメント ) を導入し、目標の達成度を 毎月や四半期ごとにチェックすることから始めてみてはいかがでしようか。自分たち の活動がどのような成果を生み出したかを確認し、目標を達成するために日々の業 務を見直すことで、評価の意義を実感することができると思います。評価を通じて、 小規模な団体でも大きなインパクトを挙げていることを発信できる可能性にもっと 目を向けてみてください。 46

・ 2 事業評価でむずかしいと思うのは ? どの要素が難しいというより、 全体的によくわからない / とつつきにくい 成果や成果指標の設定 ロジックモデルの作成 評価のためのデータ収集 データ分析 その他 38 % 31 % 10 % 10 % 6 % 5 % 実際に事業評価をしてみて、事業の改 善や組織の強化につながったと考える NPO は多いようです。一方で、事業評価 の経験がある NPO はそんなに多くあり ません。 なぜでしようか ? やはりそこに割く時 間やコストが足りない、そして「そもそも どうやって事業評価をすれば ? 」がわか らないというのも大きな理由のようです。 ■ 3 もし適切に事業評価ができたら、どんな点で役に立つ / 役立たないと思う ? ( 団体数 ) 400 300 200 100 0 とても役に立つ ■事業改善 こ組織運営・意識改革 ■説明責任・組織アピール 〔コ関係者間の認識共有 役に立つ どちらとも言えない 役立たない まったく役立たない ■ 4 事業評価をする場合、 コストと時間がかかりすぎると ′いつ ? とてもそう思う そう思う どちらとも言えない そう思わない まったくそう思わない 12 % 29 % 44 % 11 % 4 % 今まで事業評価をしたことがない団体も含 めて、適切な事業評価ができれば事業の改 善や組織の強化、社会へのアピールに役立つ と考えている NPO は 70 % 近く。 一方で、事業評価に「時間とコストに見あっ た効果があるの ? 」という不安も見えてきます。 事業評価に対する期待と不安、具体的には どういうものなのでしよう ? インタビューで聞い てみました。

第 3 部事業評価の基本的な考え方と流れ 学習支援事業の価値や意義を見極めることになります。 ふたつ目は、事業改善、事業マネジメントに役立つ評価に関することです。評価の 結果、期待していた効果 ( アウトカムの達成 ) が一ヒがらなかった場合は、活動のど こに問題があったか、実施のプロセスで何が原因となったのかを検討し、次の計画 に活かす必要があります。事業を開始して予想していなかった困難にぶち当たると いうことは、多くの人が経験しているのではないでしようか。社会セクターの事業は、 「やってみてわかる課題」が多いことも事実で、それらを受け止めながら、活動や戦 略を練り直すという試行錯誤がつきものでしよう。つまり、事業の何が問題なのか を検討するためには、活動のプロセスや事業の組立て ( セオリー ) を評価することも 重要です。学習支援活動を例にとってみましよう。自分で考える能力が身につくよ うに子どもたちの学習支援を行ってきたが十分な成果が見えないとします。実施途 中で活動やより直接的なアウトカムを評価し、子どもたちが「教えてもらう」という 受け身の姿勢にならないように ( 過度の依存心を生まないように ) 自発的に学習に 取り組む姿勢を側面から支援するような活動方法がもっと必要ではないか。あるい は、人との関係づくりや支えられているという自己肯定感を持てるように地域の人た ちを巻き込んだ活動を取り入れることが効果的ではないか、など活動の見直しや新 たな活動を加えるといったことが可能です。ロジックモデルの「投入活動のプロ セスアウトブット」は、誰が何を、どういう方法で行うのかの事業のプロセスを明 らかにするものです。またアウトブットとアウトカムの関係性は「もしこの活動が実 施されたら、対象者に良い変化がもたらされるだろう ( if - then の関係 ) 」 ( セオリー ) を表すものです。前者はプロセス評価に、後者はセオリー評価の対象になりますが ( 次節で詳述 ) 、事業改善のためには欠かせない評価の視点であることをここでは 押さえておきたいと思います。 このように、事業評価は結果や成果を定量的に評価することだけではなく、多様 な評価視点が含まれます。効果を見ること、実施過程を見ること、事業のデサイン を見ること、など。ロジックモデルは、どのような視点で評価をすることが評価の目 的 ( 評価結果の活用目的 ) に合っているのかを検討する道具として活用されます。 また、評価結果を活用して継続的な事業改善と運営を行っていくための道具でもあ ります。その意味では、ロジックモデルは、常に変化していくもの。当初のロジックモ デルを改善せずに使い続けることだけは避けましよう。 29

C 0 ー u m n 平価と組織基盤強化 公益財団法人パプリックリソース財団事務局長田口由糸己糸会 事業評価は、事業の改善を図るために行う場合もありますし、支援者に対して 成果を報告するために行う場合もあります。評価を行う目的によって情報収集の範 囲や必要な分析の方法は異なりますが、組織が掲げる " 社会課題の解決 " というミッ ションに対してどこまで成果を出せているかを評価し事業の改善を図ること、ある いは成果を支援者に伝えて次の支援につなげることは、組織の基盤強化につなが ります。 なせなら組織基盤強化の目的は、自らが設定したミッションに向け、社会的な 成果をあげられる組織になることであり、そのために財政の安定性や組織の持続 性を高めることにあるからです。 ちなみに、組織基盤強化のための取り組みには、ミッションの明確化や共有化、 中長期的な目標の設定や戦略の立案、財源の開拓、人材育成など、様々な方法が あります。事業評価もその一つであるといえるでしよう。 ミッションに対してどこまで成果を出しているかを評価するといっても、 NPO の ミッションは多くの場合、「誰もが生きやすい社会を作る」というような、漠然とし たものです。究極の目的を掲げ理想を語ることは NPO であるがゆえに大切なこと ですが、それだけだと、日常の事業との間のギャップが大きすぎて途方に暮れたり、 目の前の事業をこなすのに必死でミッションのことはすっかり忘れ去ったりというこ とが起きます。何のための活動なのかわからなくなりますし、到達点を確認できな いので無力感に襲われたりもします。支援者の共感もつなぎとめられなくなるかも しれません。 そうやって組織基盤が脆弱になってしまう前に、ミッションと事業の間をつなぐ、 具体的な目標を設定することが必要です。例えば、 「この地域の保育園と学校全てがアレルギー対応食を出すようになる ( アレルギー を持っ子どもが疎外感を感じなくても済むようになる ) 」 「この県で殺処分される大をゼロにする」 24

評価の実例 例えば、産後女性の支援を行っている NPO 法人マドレポニータでは、産後ケア 教室の参加者に、教室終了後 1 分で記入できるウエプアンケートを 60 カ所全ての 教室で行うほか、全国 16 都道県の認定インストラクター同士による毎月の報告会 で事業のふりかえりを行っています。その中で、自分たちの活動によってどのよう な価値や成果が生み出されているのかを言語化し、かっ数値による指標も計測し ています。最近、社会的インパクト評価に取り組み、あらためて産後ケア教室によ る成果や生み出されている価値をまとめたそうです。さらに、こうした評価の結果 をもとに、企業へサービス導入の営業を行っていますが、その際に、すべての評 価結果を伝えるのではなく、先方が知りたいと思うことを中心に伝えるなどの工夫 をされているそうです。ここでも、コミュニケーション・ツールとしての視点で、評 価結果を上手に活用しています。価値を言語化していく、自らの成果をわかりやす く伝えていくために、コミュニケーションの観点からも、事業評価は有効なツール として活用できるわけです。 そのほかにも、事業評価は、助成機関や支援者への報告だけでなく、団体の Web サイトで公開することにより、団体の専門性をアピールする手段ともなります。 NPO の情報発信として、 ICT を活用して活動の可視化を行うことから、事業評価 を活用して成果や価値の可視化を行う時代になってきました。せつかく可視化した ものを使わないのはもったいない。どう使えるのかをぜひ考えてみてください。評 価をコミュニケーションとして考えることが大事です。コミュニケーションの機会と して、評価プロセスは価値を確かめることであり、評価結果は価値がどれくらい生 まれたかをアピールするチャンスです。 みなさんもぜひ評価を通じて、価値を可視化し、コミュニケーションしていきま せんか ? 57

第 4 部 FAQ よくある質問 FA Q よくある質間 3. 評価をしたくても組織の理解が得られません。どうすればいいですか ? 「組織の理解を得られない」とはどういうことかまず考えてみましよう。「同僚 ( 上 司、部下・・・ ) の理解が得られない」、「理事会の理解が得られない」のどちらでしょ うか。また、その理由は、「忙しくて手が回らない」、「評価の必要性などない」、「評 価のことがよく分からない」のどれでしようか。このように、ます「組織の理解を得 られない」ことを分析してみると、解決方法も見えてきませんか。 その上で、例えば、まずは自分で評価を行ってみてはどうでしよう。簡単な業績 ー平価で結構ですから、具体的なデータを積み上げ、その分析を通じて運営の改善 や事業計画の見直しを提案することができれば、評価に対する組織の見方も変わっ てくると思います。やはり、まずは誰かが一歩踏み出して、評価の意義を示すことが 重要です。 4. そもそも、事業の何についてとんな評価をすればよいかか : わかりません。 とんな評価手法 ( 種類 ) があるのでしようか ? まず自分たちの事業の進め方を考えてみましよう。たぶん、ほとんどの NPO は、 「ニーズの把握」、「事業計画づくり」、「事業の実施」、「成果のチェック」という段階 を踏んで事業を行っていると思います。このそれぞれの段階に応じて、「ニーズ分析 ( 事業のニーズがあるかどうかを検証 ) 」、「セオリー評価 ( 投入、活動、結果、成果 を論理的に結合し、その妥当性を検証 ) 」、「プロセス評価 ( 事業をモニタリングし、 事業運営の妥当性を検証 ) 」、「インパクト評価 ( 事業実施による成果を検証 ) 」と いう手法が開発されています。また、事業を行う上で、予算が効率的に使われてい るかどうかを把握する「コストパフォーマンス評価 ( 事業実施に必要なコストとこれ による成果を比較し、事業の効率性を検証 ) もありますし、ネットワーク型の事業 を行っている NPO には「ネットワーク評価 ( ネットワーク発展の諸段階の達成度を 検証 ) 」も開発されています。自分たちの活動に応じて、いろいろな評価手法を試し てみてください。 二一口 47

第 4 部 FAQ よくある質問 FA Q はぐある質間 - 7. 事業がまだ進行中ですが : 評価はできるのでしようか ? 評価は事業が終了してから始めるものではありません。 FAQ4 で説明したように、 評価はニーズを把握し、事業計画を立てるところから始まっています。まずは「ニ ズ分析」と「セオリー評価」を行ってみましよう。また、事業が進行中であっても、「プ ロセス評価」を行って自分たちの事業運営方法が適切かどうかを検証することは 必要です。その上で、事業が一定程度、進んだところで「中間評価」を行ってみては どうでしようか。事業の途中でいったん立ち止まって、今までの成果を確認し、もし も問題点があれば運営方法や事業計画を修正することで、より事業の効果を高め ることができるようになります。 8. 第三者評価で、対象の団体の状況を詳しく知らない人が適切な評価ができ るのでしようか ? 評価の目的は、客観的な視点から NPO の活動を検証し、適切な計画策定、効 果的・効率的な運営、資金提供者などの利害関係者への説明責任の実現などを図 ることにあります。このためには、第三者の視点が重要です。第三者評価では、で きる限り NPO と評価専門家が互いに信頼関係を築き、 NPO の理念、運営、活動、 体制などの情報を共有することが求められます。第三者の評価者に理解してもらえ て初めて、より広く一般の人たちや資金提供者に理解してもらえる評価報告が可能 になることを忘れてはならないと思います。 なお、日本評価学会は、評価の基本原則と行動指針において、評価者が情報提 供者に敬意をもち、体系的データに基づいて調査するよう定めています。このため、 専門の評価者であれば、評価対象となる NPO の状況を誠意と敬意をもってきちん と把握した上で適切な評価を行ってくれるはずです。 49

1 事業を効果的に実施していくための道具 : ロジックモテル 事業評価を行うときには、ますその対象となる事業の内容を関係者同士で理解・ 共有することが大切です。「この事業はそもそも何をめざしているのだろうか ( どん な社会的課題を解決しようとしているのだろうか、どんな価値創造をめざしている のだろうか ) 」、「事業の実施は誰にメリットをもたらすのだろうか ( 受益者、サービ ス利用者は誰なのだろうか ) 」、「実施する組織や関係者はどのような強みや可能性 をもっているのだろうか」、「どのくらいの資金を使えるのだろうか」、「どんな方針で、 どのような活動を行っているのだろうか」等々、事業を取り巻く現状を把握しておく 必要があります。事業評価では、それらの検討を行うツール ( 道具 ) として「ロジッ クモデル」と呼ばれるものが広く使われています。ロジックモデルは、事業内容を手 段と目的の関係で整理することにより、めざしていたものはそもそも何なのか、誰の ために事業を実施するのかといった目的と、それを達成するための手段である活動 を可視化する道具です ( P30. 図 1 および図 2 ) 。 なぜ、評価をするときにロジックモデルの考え方が普及しているのでしようか。こ こではふたつのポイントを紹介しましよう。ますひとつめは、事業の価値に関わるこ とです。評価は英語で evaluation と言いますが、原語のラテン語の意味は「価値を 引き出すこと」です。つまり、事業評価の行為は事業の価値を引き出すための道具 として使われるべきです。そのためには、事業がどんな価値を生み出そうとしている のか、どのような社会的課題を解決するために行うのかをニーズをふまえてきちん と決める必要があります。これが、ロジックモデルでいう「アウトカム ( 成果 ) 」です。 活動はそのアウトカムをもたらすための手段であり、限られた資源を有効に使って アウトカム達成に貢献するような良い活動を計画することが重要です。もし、手段 に問題があって、アウトカムがもたらされなかったら事業の価値は半減してしまい ます。たとえば生活困窮世帯の子どもに対する「学習支援活動」 ( 手段 ) により「子 どもの自分で考える能力が向上する」 ( アウトカム ) ことをめざす事業では、活動実 施後の評価で参加した子どもたちに期待していた変化が起きているのかを検証し、 28