283.pdf

07th Feb 2022

SAI Performance Measurement Framework
Marco de Medición del
Desempeño de las EFS (MMD EFS)
Informe sobre el estado de avance y
pasos a seguir
Presentado por:
Archana Shirsat, Vice Directora General y Jefa de Desarrollo de Capacidades IDI
Anibal Kohlhuber, Gerente de Desarrollo de Capacidades IDI
Noviembre 2014

SAI Performance Measurement Framework 2
Puntos de la presentación
1. Desarrollo de la estrategia del MMD EFS
2. Capacitación
3. Casos Piloto
4. Calendario de actividades para INCOSAI 2016
5. Estado del MMD EFS en OLACEFS

SAI Performance Measurement Framework 3
1. Desarrollo de la estrategia del MMD E FS

SAI Performance Measurement Framework 4
Objetivos del desarrollo de la estrategia
1. Asegurar que el MMD EFS
sea pertinente para todos
los tipos de EFS
2. Indicadores calibrados
apropiadamente
3. Asesores entrenados y
respaldados para realizar
diagnósticos de calidad

SAI Performance Measurement Framework 5
2. Capacitación

SAI Performance Measurement Framework 6
Cursos de Capacitación MMD EFS
• 17 cursos de
capacitación desde
Marzo de 2013
• 3 en OLACEFS
(2 Español y 1 Portugues)
0
1
2
3
4
5
Cursos por Region MMD EFS

SAI Performance Measurement Framework 7
Red Global de Expertos en MMD EFS
• Aproximadamente 500 personas
capacitadas en la parte A
• Cerca de 300 parte B
• 32% Mujeres monitoras
• 37 fueron los instructores
encargados de la capacitación
(El gráfico no contiene los recientes cursos en Costa Rica
y El C airo) 0
100
200
300
400
500
mar-13 abr-13 may-13 jun-13 jul-13 ago-13 sep-13 oct-13 nov-13 dic-13 ene-14 feb-14 mar-14 abr-14 may-14
Número acumulado de asesores
en MMD EFS
Female
Male

SAI Performance Measurement Framework 8
Asesores MMD EFS: Regiones y Niveles
0
20
40
60
80
100
Número de asesores capacitados
en las Regiones de la INTOSAI
Female
Male
330 217 20
157
106
14
0
100
200
300
400
500
Trained SAI PMF
Assessors (Part
A)
Trained SAI PMF
Trainers (Part B)
Experienced SAI
PMF Facilitators
Progreso sobre la capacitación
de las EFS en el MMD
Female
Male
(El gráfico no contiene los recientes cursos en Costa Rica y El Cairo)
)

SAI Performance Measurement Framework 9
Facilitadores en MMD EFS – Grupo de Expertos
• Realización del entrenamiento MMD EFS
• Promover el MMD EFS en sus EFS y
Regiones
• Futuros asesores
• Futuros revisores de aseguramiento de
calidad
• Fuente de retroalimentación sobre
MMD EFS
• Enorme apoyo en especie
 CRITICO PARA EL EXITO DEL MMD EFS
0
4
8
12
16
20
IDI
World Bank SAI Morocco
SAI Cook Islands
CCAF
GIZ
SAI France SAI Norway
SAI Slovak…
Fuente de facilitadores en
MMD EFS
Female
Male

SAI Performance Measurement Framework 10
Aseguramiento de Calidad del Diagnóstico MMD EFS
• Guía de Aseguramiento de calidad
publicado en Mayo 2014
• Revisado Agosto 2014
• Aplicado en 2 diagnósticos
• Criterio para el Revisor de Calidad
– Conocimiento del MMD EFS
– Diagnóstico del MMD EFS
– Experiencia previa en Revisión de
Calidad
• Capacitación en Revisión de Calidad
Piloto Costa Rica, Septiembre 2014

SAI Performance Measurement Framework 11
3. Casos Piloto

SAI Performance Measurement Framework 12
Progreso en los casos piloto del MMD EFS
• Objetivo: 20 diagnósticos MMD EFS –
para comprobar la calibración del
indicador
• 5 diagnósticos usando la v2.0/v2.1
– las calificaciones pudieron ser mapeadas
en la versión piloto
• Estimación prudente – uso de la
version piloto – Dificultad de medir su
uso actual
• Pronóstico: debería llegarse a 20
diagnósticos en total
• Pero cuántos serán compartidos con el
equipo de tareas?
31
21
14
9
0
5
10
15
20
25
30
35
SAI PMF pilot
proposed
Decision to
start pilot
taken by Head
of SAI
Terms of
reference
agreed
Draft report
prepared
Numero de EFS
Progreso en el MMD EFS
Versión Piloto, Nov 2014

SAI Performance Measurement Framework 13
Compartiendo y Revisando la Calidad de diagnósticos del MMD EFS
• La QA en los ToR y la etapa del
borrador de informe agrega valor,
mejora la credibilidad del MMD EFS
• Todos los ToRs & borrador de
Informe compartidos fueron
revisados
• IDI & EFS Brasil haciendo QA (bajo
acuerdos entre IDI and EFS Brasil)
• ToRs: 53% compartidos (objetivo
70%)
• Borrador de Informes :36%
compartido (objetivo 85%) 0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
Percentage of ToRs
reviewed
Percentage of draft
reports reviewed
Apoyando la calidad de los
diagnósticos MMD EFS
Actual
Target (2014)

SAI Performance Measurement Framework 14
Desafíos para los diagnósticos no compartidos MMD EFS
• ToRs – oportunidad perdida para prevenir problemas durante del
diagnóstico
• Borrador Informe – baja calidad de los informes dania la credibilidad, por
parte de las terceras partes interesadas sobre el MMD EFS
• Informes finales & retroalimentacion – limita la oportunidad de mejorar
el MMD EFS y la calibración de los indicadores
Soluciones:
1. La QA por IDS para obtener retroalimentación en el uso de MMD EFS, la
calibración de la herramienta y los resultados globalizados
2. Compartir el conocimiento regionalmente & Talleres sobre QA (ver mas)

SAI Performance Measurement Framework 15
Compartir el Conocimiento Regional & Talleres QA
PARTE
1
Compartir el Conocimiento y la
Capacitación
LUN Compartir las experiencias piloto
MAR Profundizar el entendimiento del MMD
EFS para potenciales equipos líderes
• Escribir ‘Observaciones sobre
desempeño EFS y el impacto’
• Escribir el Informe Ejecutivo
MIER Capacitación para revisores de
aseguramiento de calidad
• Nuevo Taller, construido sobre el
caso piloto Costa Rica
• Ofrecido a la OLACEFS para
Enero/Febrero 2015
• Contribuye al equipo de expertos
en MMD EFS en OLACEFS
• Parte 2 diseñada para asegurar los
diagnósticos de casos piloto
corrientes que estan siendo sujeto
a QA
• …pero depende del interes de las
EFS de poner en consideración sus
informes a QA de sus EFS pares/
IDS / consultores, etc.
PARTE
2
Taller de Revisión de Calidad entre
pares
JUEV Aseguramieno de calidad MMD EFS
Informes de diagnóstico , por partes
revisoras asignadas. Facilitación y
supervisión por el Secreariado Donante
de la INTOSAI
VIER

SAI Performance Measurement Framework 16
4. Cronograma para INCOSAI 2016

SAI Performance Measurement Framework 17
Proceso y Cronograma para finalizar y aprobar el
MMD EFS
• El WGVBS
envió esta
propuesta en
oportunidad
de la reunión
de México la
última
semana
Datos Clave:
• Mar -15 : cierre casos piloto & consulta
• Agos -15 : WGVBS para aprobar la respuesta propuesta
sobre los comentarios, consultas y experiencias
• Abril -16 : MMD EFS versión sometida al WGVBS
• May -16 – Jul -16 : 90 días como período de reexposición
(si fuera requerido)
• Agos -16 : WGVBS aprueba la versión en consideración
• Sept -16 : KSC aprueba la versión en consideración
• Dic -16 : GB, INCOSAI aprueba la versión en
consideración

SAI Performance Measurement Framework 18
5. Estado del MMD EFS en OLACEFS

SAI Performance Measurement Framework 19
OLACEFS = 10 de 26 casos piloto
Estado actual del MMD en
OLACEFS
Capacitación 53 asesores 16 EFS
12 facilitadores
Aplicación de
la
metodología
piloto
3 EFS concluídas Brasil, Guatemala and
Mexico
6 EFS en avance Argentina, Costa Rica,
Cuba , Ecuador , El Salvador ,
Republica Dominicana
1 EFS
comenzando
Paraguay

SAI Performance Measurement Framework 20
Una gran oportundidad para la región
• Futuros equipos de diagnóstico del MMD EFS en OLACEFS
• Apoyo al aseguramiento de la calidad
• 53 auditores ya entrenados (+ Costa Rica)
• Experiencia con casos piloto
• Nota Oficial 082/2014 OLACEFS/PRES
C omentario : en esta carta oficial el Presidente solicita a los
máximos responsables de las EFS apoyar la idea de “un equipo de
expertos”
Equipo de expertos

SAI Performance Measurement Framework 21
Mecanismo Regional para MMD EFS después de 2016
Una gran oportunidad para la región
• Mecanismo regional para conducir MMD EFS o apoyar la QA
• Informe regional sobre desempeño de las EFS en OLACEFS
• Una oportunidad mayor para las EFS en OLACEFS
CONSIDERACIONES HACIA EL FUTURO