CREPECL-4：エビデンスとは何か？――EBPM推進に必要なもの
山口慎太郎（東京大学大学院経済学研究科准教授）
画像提供： cifotart / PIXTA(ピクスタ)
目 次
イントロダクション
調査は設計がすべて
データ ≠ エビデンス
「実証結果に基づいた政策形成」には行政データの活用が鍵
イントロダクション
日本でも、「実証結果に基づいた政策形成」（Evidence-Based Policy Making：EBPM）の重要性が浸透してきており、すでに省庁や自治体などではさまざまな取り組みが始まっている。EBPMを実践するには、その基礎になる事実やデータの収集と整理が欠かせない。適切な事実やデータに基づいた分析から得られた知見を「エビデンス」と呼ぶが、そのエビデンスを活用して政策の効果を考えたり、改善策や新たな施策を議論したりするのが、EBPMだからだ。もちろん、事実やデータを集めればただちに片がつくわけではない。それをうまく料理するには、意義のある知見を取り出すための分析が必要だ。「因果推論」などといった言葉は聴いたことがあるかもしれないが、そうした分析手法への関心も高まっている。
そうは言っても、データを収集するために行う調査は、実際にやろうと思うと気をつけなければならないポイントがたくさんがあるし、どのような目的で使うかを意識して調査の計画を立てないと、どんなに大規模に、どんなに多くのお金を掛けても、まったく無意味なものになってしまうことさえある。加えて、データを分析して知見を引き出そうと思うと、専門知識はもちろん、経験に裏打ちされた職人芸のような技術が必要になる場面もあったりする。データ分析も、実際にやってみようと思うと、なかなかに難しいものがある。
とはいえ、難しい難しいと言っているだけでは、何も始められない。そこで、このコラムでは、特にデータを集めるということに着目して、特に気をつけてほしいポイントをまとめた。「政策の効果を検証する」という目的を達成するためには、どんな調査方針でデータを集めればよいのか、データ以外にどんな要素が必要なのか、データが集まっていればエビデンスとして十分なのかなどといった点だ。そして、最後に、EBPMを推進していくために今からできる工夫を紹介する。
調査は設計がすべて
「この調査、もっと良くすることできませんか？」「〇〇の効果を知りたいんですけど、この調査からどうすればわかりますか？」といった相談をよく受ける。私は、大学では政策評価教育研究センター（CREPE）に所属しており、調査やデータ分析に関する相談は大歓迎だ。官公庁、自治体、団体、民間企業を問わず、ぜひ力になりたいと思っている。
しかし、冒頭のような相談はなかなかやっかいだ。調査内容がほぼ固まった、ないしは調査がすでにスタートしてしまった段階から手伝えることは、ほとんどないからだ。
「設計ミス」のある調査からは、何も学べない
よくある相談のパターンの1つは、調査が終了してからの「〇〇の効果を知るにはどういう分析をすればいいですか」というものだ。データ分析によって、何かの政策・介入効果を知ることができるかどうかは、調査設計によって決まる。調査設計に失敗していれば、どんなに洗練された統計手法や、高度なAI（人工知能）、機械学習を適用しても、政策・介入効果について知ることはできない。最悪のケースは、関心のある対象と比較する対象のデータが調査に含まれていないというパターンだ。たとえば、ある職業訓練プログラムの効果を知りたいとしよう。この訓練の効果を知りたいならば、訓練を受けた人と受けていない人で比較しなければならない。あるいは、せめて訓練を受ける前と後でどのように能力が変化したのかを比較しなければならない（実はこれでも不十分だが、スタートラインには立てていると思うので、ひとまず良しとしておこう）。
それにもかかわらず、訓練を受けた人が訓練終了後にどうなったかだけを調査して済ませてしまうことがある。適切な対象と比較することもなしに、そのプログラムに効果があったかどうかなど、わかりようもないのだ。こういう調査からは何も学べない。完全な失敗である。
もう1つのパターンは、第1回目の調査が実施済みで、第2回目以降の調査についてアドバイスがほしいというものだ。この手の継続調査、追跡調査のキモは、回を変えても同じ質問を聞き続け、調査対象の回答がどのように変化していくかを追跡していくところにある。聞くことを毎回コロコロと変えてしまっては、追跡調査としての意味がないのだ。
この場合、私ができる最善のアドバイスは「ぜひ、同じ質問を続けて聞いてください。文言も変えないように」というものである。第1回目の調査がまずかったとしても、後でリカバリーなどできない。やるとしたら、第1回目からやり直すしかない。
早い段階で専門家に相談を！
調査の質を上げることができるのは、調査を始める前の段階までだ。お寄せいただく相談に対しては、最大限建設的なアドバイスをするように努めているが、すでに「手遅れ」になってしまっている場合には、大してお役に立てない。調査の質を最善のものにしようと考えるのであれば、なるべく早い段階で専門家に相談することが重要だ。規模が小さいものであっても、調査には大金がかかる。そのお金を無駄にしたくないのならば、最初から手間を惜しまず、調査設計の初期段階で専門家の力を借りるべきだ。
データ ≠ エビデンス
前節で紹介したように、調査を適切に設計してデータを収集することは、EBPMを実践していくための第一歩である。それでは、実際にはどんな要素があれば政策の効果をきちんと検証することができるのだろうか。ちゃんとしたデータが揃っていれば、それで十分なのだろうか。それとも、他に何か重要な要素があるのだろうか。本節では、この点について詳しく見ていこう。私のブログやCREPEフロンティアレポートでも取り上げたことがあるが、「保育園通いと子どもの発達の関係についての研究」について、たびたび講演等を行う機会がある（山口慎太郎『「家族の幸せ」の経済学』〔光文社新書、2019年〕を参照）。
幸い、多くの方々に関心を持っていただき、講演ではたくさんの質問をいただく。特に多いのは、「幼稚園と保育園では子どもの発達に違いは出るの？」「認可保育所と無認可保育所での違いは？」「どういう保育所が子どもの発達にいいの？」といったものだ。
実際にはもう少しマシな答え方をするものの、率直な答えとしては、「信頼性の高い研究がないのでわかりません」というものだ。「なぜわからないのか？」と続けて聞かれれば、「そもそも調査が行われていない、データがないためだ」と答えているが、実はこれは半分正しくて、半分正しくない。
データだけでは不十分
私の経験した範囲では、一般の人々のみならず、教育の専門家・研究者でも、適切な調査を行ってデータを集めれば、それを活用することで疑問に対する答えが得られると思っている人は多い。しかし、調査が行われてデータがあるというのは必要条件に過ぎず、データがあるからといって必ずしも上の疑問に対する答えを得られるわけではないという点には、注意が必要だ。「保育園通い」の効果を知るにはどうしたらいいだろうか。すぐに思いつくのは、保育園に通っている子どもと、通っていない子どもの発達状態を比較することだ。
しかし、保育園に通っている子どもと、通っていない子どもの間では、家庭環境が大きく異なる。厚生労働省の「21世紀出生児縦断調査」によると、保育園に通っている子どもの母親の24％が四大卒以上であるのに対し、通っていない子どもの母親では、四大卒は19％である。
したがって、保育園に通っている子どもと、通っていない子どもで発達状態を比較しても、その違いが保育園通いの有無のためなのか、母親の学歴に代表される家庭環境の違いを反映しているのか、データからは区別がつかないのである。データがあっても、単純な比較から「保育園通いの効果」を知るのはきわめて難しいのだ。
広義の「実験」が必要
「保育園通いの効果」を知るためには、データがあることに加えて、広い意味での「実験」が行われる必要がある。理想的には、薬の効果を検証するためのものと同様な実験があるといい。つまり、無作為に保育園に通う子どもと通わない子どもを決めて、その後の発達を調査するのだ。もっとも、そんな実験は倫理的に問題があるし、やったとしても、実験の指示を拒否する人が多くてうまくいかないかもしれない。もう１つの方法は、実際の政策変更を利用するやり方だ。私たちの研究では、2000年台に子ども１人当たりの保育所定員が増えた地域と、あまり増えなかった地域を比較している（ここでは研究の基本的なアイデアについて述べている。厳密な分析方法については、論文１〔英語〕、論文２〔日本語〕、を読んでほしい）。2000年時点では、両地域の経済的な豊かさなどに大きな違いがなかったため、両地域における2000年台の子どもの発達の変化の違いは、保育所利用の変化の違いに帰着できると考えられる。
経済学などの実証分析では、こうした政策変更をある種の「社会実験」とみなし、「自然実験」などと呼ぶ。効果検証のために人為的に設計・実施された実験ではなく、自然の手で（ここでは政治家・政策担当者の手であるが）、あたかも社会実験が行われたようにみなせるためである。
こういうわけで、何かの「効果」を知るためには、単にデータがあるというだけでは不十分なのである。理想的には社会実験、それが無理ならば分析に適した自然実験をみつけてこなければならない。この点が、経済学者を始めとする社会科学者の腕の見せ所でもある。これは、相当な訓練を積んでようやくできるようになるようなものだ。データだけではなく、実験的な環境に落とし込むための分析の工夫も必要となるのであり、因果関係の解明というのは、とっても大変な作業なのである。
「実証結果に基づいた政策形成」には行政データの活用が鍵
さてここまで、政策評価のために因果関係を見出すための要点と、実際にそれを実施しようと思うとなかなか簡単ではないというお話してきた。「簡単ではない」「難しい」というお話ばかりしてしまったが、じゃあ何もできないのかというと、そうでもない。できるところから少しずつ、前向きに始められることもある。そこで、このコラムの最後はもう少し実践的に、EBPMを進めるために、エビデンスとして何に着目すればよいか、役に立つエビデンスを蓄積していくために、日々の業務でどんなところに気をつければよいか、といった点についてお話しよう。より良い政策を行うためには、質の高い政策評価、プログラム評価が欠かせない。質の高い意思決定を行うためには、これから行おうとしている政策がどんな成果（とひょっとしたら副作用）をもたらすのかについて、できるだけ詳しく知る必要があるためだ。
こうした認識は欧米の政策担当者に共有されており、EBPMの流れは日本でも少しずつ取り入れられてきている。しかし、日本におけるEBPMの導入にはいくつも課題がある。その点は、私も過去にインタビューで詳しく答えているのでそちらを見てみてほしい（「税金のムダ減らせ 証拠に基づく政策、日本も導入へ」Nikkei Style、2017年11月/21日）。
データ＝政策評価ではない
さて、EBPMを行う上でデータの存在は必要条件であるが、データがあるからと言って直ちに質の高い政策評価ができるわけではないということは、前節でも指摘した通りだ。先ほどは、データに加えてある種の「実験」が必要だと述べたが、この「実験」というのが非常に厄介である。もう少し詳しく述べておくと、社会実験を行うのは実務上も倫理上も大変な困難を伴うし、自然実験をみつけてくるというのは職人芸に近いものがある。特別な訓練を長年受けた研究者がようやく発見にいたるとった類のもので、専門性のない人では全く歯が立たないだろう。
しかし、「実験」は行うのもみつけるのも困難だとしても、実は政策評価の質を高めるために有効な、別の取り組みが存在する。
定期的なデータの取得
1つの方法は、普段から定期的にデータを取得しておくというものだ。定期的にデータを取得しておけば、たまたま政策変化が起こるなどして自然実験がみつかれば、政策評価を行うことができる。私たちの保育所利用と子どもの発達に関する研究は、そうした例の1つである。分析に利用した「21世紀出生児縦断調査」は、保育政策の評価のために行われた調査ではないが、結果的に政策評価に利用することができた。
行政データの活用が政策評価改善への近道
もう1つの、おそらくはより望ましい方法は、税務や社会保険等の業務で収集・利用している「行政データ」を活用するというものだ。行政データならば、新たに調査を設計して行う必要も、追加的に巨額の費用がかかる心配もない。加えて、一般の統計調査と違って回収率はほぼ100％である。高い回収率は、日本全体の平均像を正しく映し出すためには不可欠だ。そして、そこに含まれている情報も精度が高い。年収を聞く調査は多いが、正確に覚えている人がいるはずもなく、ほとんどの人は概数で答えている。しかし、税務データが利用可能であれば、正確な課税収入額がわかる。
こうした行政データの活用では、北欧諸国が先端を走っている。出生時の体重から、健康診断結果・通院歴、学校での成績、課税収入などすべての情報が個人識別番号（日本でいうマイナンバー）で紐付けられており、研究者が分析することで、政策形成にも役立てている。もちろんプライバシー保護は配慮されており、そのための対策はIT技術の活用により低コストで行うこともできる。
日本でも、こうした行政データの利用環境を整備し、活用を進めることが、政策評価の質の改善、ひいては質の高い「実証結果に基づいた政策形成（EBPM）」への近道となるだろう。
（付記）本コラムは、「山口慎太郎のブログ」の3つの記事「調査は設計がすべて」「データ ≠ エビデンス」「『根拠に基づいた政策形成』には行政データの活用が鍵」をCREPE編集部で編集のうえ、まとめたものです。
記事作成：尾崎大輔（日本評論社）