Guia impacto modelo EVAL, Schemes and Mind Maps of Economic statistics

Download Guia impacto modelo EVAL and more Schemes and Mind Maps Economic statistics in PDF only on Docsity!

Guía práctica para el diseño y la realización de

evaluaciones de políticas públicas

Enfoque AEVAL

COLECCIÓN: GUÍAS

Primera edición: 2015

Esta Guía ha sido elaborada por Celia Casillas, Mónica Macía, Marisa Merino, Mercedes Paja, Javier Rico y Ana Ruiz. AEVAL.

Coordinación y dirección: Ana Ruiz. Presidenta de AEVAL.

En conformidad con lo establecido en los artículos 15.2 y 37.3 del Real Decreto 1418/2006, de 1 de diciembre, por el que se aprueba el Estatuto de la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL), la Guía práctica para el diseño y la realización de evaluaciones de políticas públicas-Enfoque AEVAL- fue tratada en la reunión de la Comisión Científica y Profesional celebrada el 17 de junio de 2015.

©Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL)

http://www.aeval.es

Esta Guía es propiedad de la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios. Se puede reproducir libremente, en su totalidad o parcialmente, siempre que se cite la procedencia y se haga adecuadamente, sin desvirtuar sus razonamientos.

Edita: Ministerio de Hacienda y Administraciones Públicas. Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios.

Catálogo de Publicaciones Oficiales:

http://publicacionesoficiales.boe.es

NIPO: 632-15-008-

Presentación

La guía para el diseño y realización de evaluaciones de políticas públicas es un proyecto en el que ha venido trabajando la Agencia en los últimos años. Es verdad que su elaboración se ha dilatado en el tiempo, pero desde nuestra perspectiva no hubiese sido posible su realización sin haber acumulado previamente un bagaje suficiente en la práctica de la evaluación.

Esta guía es básicamente el producto del aprendizaje colectivo de AEVAL en materia de evaluación de políticas públicas desde su creación. Sus contenidos reflejan los conocimientos y la experiencia adquiridos por los evaluadores de la Agencia desde el año 2007, año en el que abordó su primer Plan de Trabajo de evaluaciones. La propia realización de la guía ha permitido reflexionar sobre algunos aspectos relacionados con nuestra práctica evaluativa y despejar algunas dudas conceptuales que no habíamos debatido suficientemente en el pasado. Ha constituido, por lo tanto, un proceso de aprendizaje adicional que, sin duda, nos permitirá realizar mejores evaluaciones en el futuro.

La guía posibilita abordar un proceso de evaluación desde nuestra perspectiva, el enfoque AEVAL. Este enfoque, que podríamos denominar ecléctico, no es estrictamente original, pues incorpora elementos de diversas perspectivas doctrinales procedentes tanto del campo de la evaluación de políticas públicas como del de la investigación social. Responde a una concepción de la evaluación en la que su función como instrumento para la rendición de cuentas constituye un elemento nuclear y a la convicción de que la evaluación también debe contribuir a la construcción de valor público: a generar mejores políticas, para aumentar la calidad de vida de los ciudadanos, y ciudadanía, proporcionando herramientas para la participación, la transparencia y la responsabilidad.

Una segunda convicción es que el progreso de la evaluación en nuestro país, su implantación como práctica cotidiana en todos los niveles de gobierno, va a depender fundamentalmente de que seamos capaces de generar cultura evaluadora. Esto implica no solo sensibilizar y convencer a responsables políticos y gestores de la necesidad de rendir cuentas de los resultados alcanzados en la gestión de los recursos públicos o de introducir una nueva cultura de gestión en las organizaciones públicas, sino también facilitar los instrumentos que posibiliten su práctica. Este es el propósito que anima la confección de esta guía.

Finalmente, y coherentemente con uno de los principios que dirigen nuestra práctica profesional, la mejora continua, la guía que ofrecemos a todos quienes estén interesados en iniciar procesos de evaluación, es una guía dinámica. Nuestra intención es mejorarla incorporando nuevas experiencias o aprendizajes de la Agencia y también a partir de la revisión crítica y de las aportaciones de quienes la utilicen en el futuro.

Ana María Ruiz Martínez, presidenta de AEVAL.

Índice

• CAPÍTULO I. INTRODUCCIÓN................................................................................................
  • Introducción
• CAPÍTULO II. EL CONCEPTO DE EVALUACIÓN DE AEVAL
  • Las políticas públicas
  • La evaluación de las políticas públicas
  • El enfoque de evaluación de políticas públicas de AEVAL
  • Las características de la evaluación desarrollada por AEVAL
• CAPÍTULO III. EL PROCESO DE EVALUACIÓN DE AEVAL
  • El proceso de evaluación de AEVAL
  • FASE 1. EL ANÁLISIS DEL ENCARGO DE LA EVALUACIÓN
  • FASE 2. ANÁLISIS Y RECONSTRUCCIÓN DE LA LÓGICA DE LA INTERVENCIÓN
  • FASE 3. DISEÑO DE LA EVALUACIÓN
  • FASE 4. TRABAJO DE CAMPO Y ANÁLISIS
  • FASE 5. RESULTADOS DE LA EVALUACIÓN: EL INFORME DE EVALUACIÓN
  • FASE 6. COMUNICACIÓN Y DIFUSIÓN DE LA EVALUACIÓN................................................
  • FASE 7. SEGUIMIENTO DE LA EVALUACIÓN
  • Anexo I. Ejemplo de matriz de evaluación
  • Anexo II. Técnicas y herramientas de análisis
  • Anexo III. Evaluación de impacto
  • Anexo IV: Cuestionario de seguimiento de las evaluaciones de AEVAL
  • Anexo V: Bibliografía

Índice de ilustraciones

Ilustración 1. El ciclo de vida de las políticas públicas. ............................................................................... 22

Ilustración 2. Enfoque AEVAL: Integración de aspectos estratégicos y operativos en la evaluación de políticas públicas. ....................................................................................................................................... 28

Ilustración 3. Enfoque AEVAL: Evaluación de todo el ciclo de la intervención pública. .............................. 29

Ilustración 4. Enfoque AEVAL: Integración de la acción pública. ................................................................ 30

Ilustración 5. Esquema del proceso de evaluación de AEVAL. .................................................................... 36

Ilustración 6. Resumen del cronograma de trabajo de la Evaluación del Plan español de energías renovables (2005-2010).............................................................................................................................. 55

Ilustración 8: Identificación de problemas relacionados con una intervención pública. Evaluación del Plan de Medidas de Mejora de los Servicios de Sanidad Exterior....................................................................... 64

Ilustración 9. Árbol de problemas. Evaluación del Plan de ahorro y eficiencia energética......................... 65

Ilustración 10. Análisis de la política pública de seguridad vial. ................................................................. 68

Ilustración 11. Instrumentos de política industrial en los distintos niveles de gobierno. Evaluación de REINDUS (AEVAL, 2011).............................................................................................................................. 69

Ilustración 12. Objetivos, medidas, resultados e impactos esperados en la evaluación del Plan Estratégico de Seguridad Vial. ....................................................................................................................................... 72

Ilustración 13. La lógica de la intervención. Evaluación de REINDUS (AEVAL, 2011). ................................ 73

Ilustración 14. Sistema de toma de decisiones, gestión y participación del PESV. ..................................... 78

Ilustración 15. El seguimiento en un constructo. Evaluación de las trabas administrativas para la creación de empresas (AEVAL, 2012). ....................................................................................................................... 83

Ilustración 16: Criterios de evaluación........................................................................................................ 99

Ilustración 17. Extracto de una propuesta para subpreguntas del criterio de participación...................... 99

Ilustración 19. Correspondencia de la fase 2 con el contenido del informe de evaluación. ..................... 120

Ilustración 20. Correspondencia de la fase 3 con el contenido del informe de evaluación. ..................... 121

Ilustración 21. Correspondencia de la fase 4 con el contenido del informe de evaluación. ..................... 121

Ilustración 22.Resultados de la evaluación: estructura del informe final de evaluación. ......................... 123

CAPÍTULO I. INTRODUCCIÓN

Guía práctica para el diseño y la realización de evaluaciones de políticas públicas. Enfoque AEVAL

16 Introducción |

Los principios éticos que deben seguir los evaluadores de la Agencia están muy relacionados con los principios rectores de AEVAL^5 :

 Principio de transparencia a la hora de diseñar e implementar la evaluación. Los evaluadores se comprometen a identificar y revelar los posibles conflictos de interés, y comunicar los cambios en las condiciones inicialmente previstas o modificación de alguna de las circunstancias en que se produjo el encargo.

 Principio de pluralidad, garantizando la consulta a los actores implicados y su participación en todas las fases del proceso.

 Principio de imparcialidad , tanto en lo referente a los evaluadores como a los actores, para evitar sesgos.

 Principios de independencia e integridad , para evitar la imposición de un enfoque de evaluación orientado a obtener unos resultados predeterminados.

 Principio de responsabilidad , tanto en el uso de la información obtenida como en el respeto de la integridad del informe cuando éste se publique, por parte de todas las partes interesadas.

 Principio de eficiencia a la hora de elaborar las evaluaciones, produciendo información de valor suficiente para justificar los recursos empleados.

Lo mismo sucede con las orientaciones éticas para la práctica evaluativa, incluidas en dicho Código ético y en el documento específico para la función evaluadora^6 , que suponen un “ adelanto ” de algunas cuestiones que se tratarán en esta Guía:

 Definir claramente el objeto a evaluar, su justificación, alcance y contenido, así como la metodología que se va a aplicar, y explicitarlo en el informe final.

 Se debe establecer una comunicación fluida con el departamento que gestiona la intervención evaluada, así como la elaboración de un informe de progreso^7.

 Las fuentes de información deben describirse con detalle suficiente para permitir estimar su adecuación, validez y fiabilidad.

 Deben describirse detalladamente el enfoque evaluativo, los procedimientos y fundamentaciones que se utilicen para la interpretación de los resultados, así como reflejar claramente las evidencias.

(^5) Código ético profesional de la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los

Servicios (AEVAL, 2009). (^6) La función evaluadora. Principios orientadores y directrices de actuación en la evaluación de políticas y

programas (AEVAL, 2009). (^7) Este informe de progreso tiene, en general, carácter interno y no se hace público.

Guía práctica para el diseño y la realización de evaluaciones de políticas públicas. Enfoque AEVAL

| Introducción 17

 Los informes deberán ser claros, completos y veraces, y los resultados deben ser comunicados a los destinatarios de forma rigurosa, sencilla y destacando los resultados relevantes.

Objeto de la Guía.

La Guía se ha abordado como una herramienta para el cumplimiento de uno de los objetivos de AEVAL, la promoción de la cultura de evaluación y el impulso de su práctica en la gestión pública^8 , en una apuesta por la institucionalización de la evaluación como herramienta útil para la toma de decisiones y para la mejora de las intervenciones públicas, además de para asegurar la rendición de cuentas y la transparencia de la acción pública.

El objetivo de esta Guía es exponer el proceso de evaluación de una intervención pública^9 que sigue AEVAL tras varios años de experiencia. No se pretende, por tanto, explicar los distintos tipos de evaluación que existen, ni presentar un texto sobre cómo deben abordarse las evaluaciones desde el punto de vista académico. Tampoco de explicar las diferencias entre la evaluación y el control externo o interno de las políticas (de legalidad, presupuestario, de control de los servicios prestados^10 ….). La guía, por lo tanto, no incide en el ámbito competencial de los órganos de control interno, en especial de la Intervención General de la Administración del Estado y de las inspecciones generales de servicios de los departamentos, entes y organismos públicos.

El fin de esta Guía es explicitar y detallar cómo se llevan a cabo las evaluaciones en AEVAL. Es, por tanto, una explicación, paso a paso, de la realización de las evaluaciones tal y como las concibe la Agencia, con un enfoque de política pública y pluralista: el “enfoque AEVAL”.

Destinatarios principales.

Esta Guía puede ser de utilidad para cualquier persona o entidad que deba desarrollar procesos de evaluación.

Esquema de la Guía.

La Guía comienza con una breve exposición explicativa de la posición de AEVAL en el marco teórico de la evaluación de políticas públicas, para entrar después a describir las siete fases en que se divide el proceso de evaluación de AEVAL, con su enfoque de política pública, integral y

(^8) Estatuto de AEVAL. Artículo 6.1.

(^9) Ya sea una política, un programa, un proyecto, una acción o una actividad, independientemente de

cómo se denominen éstos. (^10) Sobre los distintos tipos de control que pueden llevarse a cabo sobre las acciones públicas se puede

ver, entre otros, Fundamentos de evaluación de Políticas Públicas (AEVAL, 2010).

CAPÍTULO II. EL CONCEPTO DE

EVALUACIÓN DE AEVAL

20 Introducción |