01-Presentacion-GFT_Evaluacion.pdf

22nd Dic 2021

REUNIÓN VIRTUAL ANUAL DEL COMITÉ DE
CREACIÓN DE CAPACIDADES
Grupo Fuerza Instrumentos de Medición de
Acciones Educativas
EFS Líder: AGN Argentina
Dr. Francisco Javier Fernández – Auditor General de la Nación
20/8/2020

Recordando:
Donald L. Kirkpatrick
plantea la evaluación de la
formación a cuatro niveles :
• Reacción.
Encuesta de Satisfacción Nivel 1
• Aprendizaje .
Prueba de control Nivel 2
• Transferencia /
comportamientos Nivel 3
• Resultados en las
organizaciones Nivel 4

1. Relevamiento
preliminar
(2019)
2. Análisis de los
instrumentos
utilizados en
diferentes
niveles (2019)
3. Elaboración
del instrumento
Nivel 3 y
protocolos de
implementación
(2019 -2020)
4. Elaboración de
planilla de
análisis (2019 –
2020)
5. Prueba piloto
con un curso
presencial
(Ecuador) y
virtual (Brasil)
(2020)
6. Ajuste de los
instrumentos de
evaluación.
(2020)

1. Relevamiento preliminar (2019)
2. Análisis de los instrumentos utilizados en diferentes niveles (2019)
2. Elaboración del instrumento Nivel 3 y protocolos de implementación (2019 -2020)
4. Elaboración de planilla de análisis (2019 – 2020)
5. Prueba piloto con un curso presencial (Ecuador) y virtual (Brasil) (2020)
6. Ajuste de los instrumentos de evaluación. (2020)
Elaboración de instrumentos del Nivel 3
Instrumento Escenario 1 Escenario 2 Escenario 3
Diseño de la capacitación Sí Sí Sí
Encuesta línea de base participantes Sí
Encuesta línea de base jefes Sí
Encuesta línea de base otros actores Sí (si corresponde)
Encuesta de transferencia participantes Sí Sí Sí
Encuesta de transferencia jefes Sí Sí Sí (jefe completa por grupo)
Encuesta de transferencia otros actores Sí (si corresponde) Sí (si corresponde)
Prueba piloto
Mayor simplificación | Menor apertura de datos

1. Relevamiento preliminar (2019)
2. Análisis de los instrumentos utilizados en diferentes niveles (2019)
2. Elaboración del instrumento Nivel 3 y protocolos de implementación (2019 -2020)
4. Elaboración de planilla de análisis (2019 – 2020)
5. Prueba piloto con un curso presencial (Ecuador) y virtual (Brasil) (2020)
6. Ajuste de los instrumentos de evaluación. (2020)
Pruebas piloto
Actividades desarrolladas:
▪ Trabajo con los profesores de los cursos en la adaptación de
los diseños de curso.
▪ Implementación de los instrumentos de evaluación,
protocolos y planillas de análisis a dos cursos: virtual (EFS
Brasil) y presencial (EFS Ecuador).
Producto:
▪ Informe de respuestas de participantes y jefes de los
cursos seleccionados.
Principales hallazgos:
▪ Se trabajó sobre las respuestas recibidas, probando las planillas de cálculos y las formas de analizar las
respuestas abiertas.

1. Relevamiento preliminar (2019)
2. Análisis de los instrumentos utilizados en diferentes niveles (2019)
2. Elaboración del instrumento Nivel 3 y protocolos de implementación (2019 -2020)
4. Elaboración de planilla de análisis (2019 – 2020)
5. Prueba piloto con un curso presencial (Ecuador) y virtual (Brasil) (2020)
6. Ajuste de los instrumentos de evaluación. (2020)
Ajuste de los instrumentos de evaluación
Actividades desarrolladas:
▪ Reuniones de análisis de los resultados con la EFS Brasil y EFS
Ecuador.
Producto:
▪ Ajuste de los instrumentos y planillas de análisis.
Principales hallazgos:
▪ Se trabajó sobre las mejoras a la encuesta de transferencia y el informe de análisis de las respuestas.

Informe de relevamiento de información
Instrumentos de medición de la transferencia
• Diseño de capacitación
• Modelo de evaluación de línea de base
• Modelo de evaluación de transferencia
• Protocolo de implementación
Instrumentos de análisis de la transferencia
• Informe para exponer resultados
• Planilla de cálculo
Informe final
Informe “Evaluando la evaluación”
SÍNTESIS DE PRODUCTOS ENTREGADOS
Kit de herramientas

Actividades a cargo de la FT Instrumentos de Medición (Satisfacción)
N° Actividades Específicas Resultado Esperado Estado
1 Desarrollar instrumento de evaluación de satisfacción Instrumento desarrollado Finalizado
2 Seleccionar un curso virtual para aplicar el piloto Curso virtual seleccionado Finalizado
3 Aplicar el instrumento en el curso presencial “La prevención de la
corrupción y la lucha por la eficiencia en la gestión pública” Instrumento aplicado Finalizado
4 Aplicar el instrumento en el curso virtual seleccionado (2 cursos) Instrumento aplicado Finalizado
5 Evaluar y retroalimentar resultados de la herramienta /
metodología
Resultados evaluados y
retroalimentación Finalizado
6 Divulgación de los instrumentos en las EFS Instrumentos divulgados Finalizado

Actividades a cargo de la FT Instrumentos de Medición (Impacto)
N° Actividades Específicas Resultado Esperado Estado
7 Empezar el desarrollo del dispositivo para medición de impacto Desarrollo empezado Finalizado
8 Desarrollar los instrumentos de evaluación de resultado Instrumento desarrollado Finalizado
9 Definir los criterios para la selección de los pilotos Criterios definidos Finalizado
10 Seleccionar cursos pilotos Cursos seleccionados Finalizado
11 Implementar los instrumentos en los cursos pilotos Instrumento aplicado Finalizado
12 Evaluar y retroalimentar resultados Resultados evaluados y
retroalimentación Finalizado
13 Divulgar el instrumento de evaluación de resultados en las EFS Instrumentos divulgados No iniciado

Agradecimientos:
1) Al Señor Auditor General Dr. Francisco Javier Fernández, el Lic. Patricio Mc
Loughlin , al Dr. Matías Cruzado y a todo al Equipo de Trabajo de la AGN.
2) Al Comité de Creación de Capacidades (CCC), al TCU y al ISC.
3) A las EFS de la FT “Instrumentos de Medición ”.
4) A las EFS que participaron para la elaboración del “Relevamiento Preliminar ”.
5) A la Secretaría Ejecutiva de la OLACEFS.
6) A todos los servidores que participaron en las pruebas piloto.
7) A la Escuela de Educación de la Universidad Austral.