ArticlePDF Available

LA EXPERIENCIA DE EVALUACIÓN DEL FONDO INTERNACIONAL DE DESARROLLO AGRÍCOLA (FIDA)/ THE EVALUATION EXPERIENCE OF THE INTERNATIONAL FUND FOR AGRICULTURAL DEVELOPMENT (IFAD)

Authors:

Abstract and Figures

Resumen Este articulo presenta le experiencia de la funcion de evaluacion en el FIDA. Entre sus aspectos distintivos se menciona: i) la presencia de una oficina de evaluacion independiente que ha fortalecido la credibilidad de la funcion relacionada a la rendicion de cuentas; ii) la adopcion de una metodologia rigurosa y uniforme (utilizada tambien por la gerencia de la organizacion para sus auto-evaluaciones) que ha contribuido a una mejor comparabilidad entre las evaluaciones y ha facilitado la agregacion de los hallazgos; iii) procesos institucionales que facilitan los intercambios entre evaluacion y gerencia; iv) un sistema de monitoreo al seguimiento de las recomendaciones, que contribuye tanto a un mejor uso de las recomendaciones como a fortalecer la funcion de vigilancia a los organos rectores de la organizacion. Abstract This article presents the experience of the evaluation function in IFAD. Among its distinctive aspects mentioned are: i) the presence of an independent office of evaluation which has strengthened the credibility of the accountability function; (ii) the adoption of a rigorous and standard methodology (also used by the management of the organization for their self-evaluations) which has contributed to better comparability between evaluations and has facilitated the aggregation of findings; (iii) institutional processes that facilitate interactions between evaluation and management; (iv) a system for monitoring the follow-up of the recommendations that contributes to better use of the recommendations and to the oversight function of the governing bodies of the organization.
Content may be subject to copyright.
LA EXPERIENCIA DE EVALUACIÓN DEL
FONDO INTERNACIONAL DE
DESARROLLO AGRÍCOLA (FIDA).
THE EVALUATION EXPERIENCE OF
THE INTERNATIONAL FUND FOR
AGRICULTURAL DEVELOPMENT (IFAD)
Núm. 3 (2014), pp. 53-79.
Fabrizio Felloni
1
, Ashwani Muthoo y Miguel Torralba
Recibido: Junio 2014
Aceptado: Septiembre 2014
JEL Clasif: F35, F59, H43, H84, O19, O22
1
Fabrizio Felloni y Miguel Torralba son Oficiales Superiores de evaluación y Ashwani Muthoo es Director
Adjunto de la Oficina de Evaluación Independiente del FIDA. Los autores agradecen los útiles
comentarios de Melba Álvarez, Oficial de Comunicación y Gestión de Conocimientos de la Oficina de
Evaluación Independiente del FIDA, sobre una versión preliminar del artículo. Las opiniones expresadas
en este artículo son solamente las de los autores y no representan necesariamente la visión oficial del
FIDA ni vinculan de ninguna manera el FIDA o su Oficina de Evaluación Independiente.
Correspondencia: f.felloni@ifad.org
Fabrizio Felloni, Ashwani Muthoo y Miguel Torralba
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), pp.53-79
54
Resumen
Este artículo presenta le experiencia de la función de evaluación en el FIDA. Entre sus
aspectos distintivos se menciona: i) la presencia de una oficina de evaluación
independiente que ha fortalecido la credibilidad de la función relacionada a la
rendición de cuentas; ii) la adopción de una metodología rigurosa y uniforme (utilizada
también por la gerencia de la organización para sus auto-evaluaciones) que ha
contribuido a una mejor comparabilidad entre las evaluaciones y ha facilitado la
agregación de los hallazgos; iii) procesos institucionales que facilitan los intercambios
entre evaluación y gerencia; iv) un sistema de monitoreo al seguimiento de las
recomendaciones, que contribuye tanto a un mejor uso de las recomendaciones como a
fortalecer la función de vigilancia a los órganos rectores de la organización.
Palabras Clave evaluación independiente, desarrollo rural, metodología de la
evaluación
Abstract
This article presents the experience of the evaluation function in IFAD. Among its
distinctive aspects mentioned are: i) the presence of an independent office of evaluation
which has strengthened the credibility of the accountability function; (ii) the adoption
of a rigorous and standard methodology (also used by the management of the
organization for their self-evaluations) which has contributed to better comparability
between evaluations and has facilitated the aggregation of findings; (iii) institutional
processes that facilitate interactions between evaluation and management; (iv) a
system for monitoring the follow-up of the recommendations that contributes to better
use of the recommendations and to the oversight function of the governing bodies of
the organization.
Key Words: independent evaluation, rural development, evaluation methodology
La experiencia de evaluación del Fondo internacional de Desarrollo Agrícola (FIDA)
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), 53-79
55
1. Introducción
La independencia de la evaluación, así como la imparcialidad, credibilidad, y
utilidad forma parte de los Principios para la evaluación de la asistencia al desarrollo
establecidos en 1991 por el Comité de Ayuda al Desarrollo de la Organización para la
Cooperación y el Desarrollo Económico (OECD-DAC por sus siglas en inglés). Según
estos principios, dentro de una organización de desarrollo, la situación ideal consiste en
la separación funcional de la unidad de evaluación con respecto a los departamentos
involucrados en el diseño y ejecución de los programas (OECD-DAC, 1991; OCDE
2010). Asimismo, en el contexto de la cooperación multilateral, el Grupo de Evaluación
de las Naciones Unidas y el Grupo de Cooperación en Evaluación de los Bancos
Multilaterales (respectivamente UNEG y ECG por sus siglas en inglés) han elaborado
guías y directivas (ECG, 2012; UNEG 2014 y 2014a) que resaltan la importancia de la
independencia institucional de la evaluación para alcanzar más eficazmente dos
objetivos principales de la evaluación: la rendición de cuentas y el aprendizaje.
El Fondo Internacional de Desarrollo Agrícola (FIDA, o IFAD - International
Fund for Agricultural Development en inglés) es un organismo especializado de las
Naciones Unidas y al mismo tiempo una institución financiera internacional: otorga
préstamos subvencionados (y donaciones) a gobiernos de países en desarrollo para
proyectos de desarrollo rural (no solamente agrícola). El Convenio Constitutivo del
FIDA fue redactado en 1976 y el Fondo comenzó sus operaciones en 1978 con sede
inicialmente provisoria y después definitiva en Roma.
2
De 1978 a 2013 el FIDA aprobó
14,7 mil millones de dólares en préstamos y donaciones. En los países donde opera, los
gobiernos y no el FIDA son responsables de la ejecución de los proyectos. Además de su
apoyo financiero, el FIDA asiste el gobierno en la fase de diseño de los proyectos y
desde 2006 lleva a cabo misiones de supervisión y apoyo a la ejecución.
3
A partir del
2
El FIDA es una organización separada con respecto a las otras dos agencias de las Naciones Unidas con
sede en Roma: la Organización de las Naciones Unidas para la Alimentación y la Agricultura (FAO), que
se ocupa principalmente de asistencia técnica -y no de asistencia financiera-, y el Programa Mundial de
Alimentos (PAM) cuya función principal es la distribución de alimentos para enfrentar situaciones de
hambruna o para asistencia a refugiados o a personas desplazadas, con algunas actividades de desarrollo
como la mensas escolares, iniciativas de "alimentos por trabajo" , o "compras para el progreso".
3
Hasta 2006 (año de la aprobación de la nueva política sobre la supervisión) la supervisión directa
representaba únicamente una situación excepcional en las operaciones apoyadas por el FIDA. En la
mayoría de los casos, instituciones cooperantes externas llevaban a cabo misiones de supervisión
anuales.
Fabrizio Felloni, Ashwani Muthoo y Miguel Torralba
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), pp.53-79
56
2004 el FIDA introdujo oficinas en los principales países donde opera. Las decisiones
de adoptar la modalidad de supervisión directa y de ampliar la cobertura de oficinas en
los países están ligadas a recomendaciones de evaluaciones.
La Oficina de evaluación independiente del FIDA es una unidad integrada
en la estructura del Fondo pero institucionalmente independiente, de hecho en su
situación actual es responsable directamente ante la Junta Ejecutiva (formada de países
miembros) del Fondo y no ante la Gerencia. Históricamente, al principio de las
operaciones del FIDA, se había establecido una División de Seguimiento y Evaluación
que, aunque no directamente involucrada en la aprobación y en el manejo de la cartera
de los proyectos, formaba parte del Departamento de Política Económica de la
organización. En 1987, la Junta Ejecutiva del FIDA estableció en su interior un Comité
de Evaluación, integrado por nueve miembros de la Junta Ejecutiva, encomendado de
prestar asistencia a la Junta en todos los asuntos de pertinencia de evaluación. En 1994,
se separó la función de seguimiento (que llegó a formar parte del Departamento de las
Operaciones) de la función de evaluación ex post, cuya responsabilidad fue otorgada a
la nueva "Oficina de Evaluación y Estudios" que rendía cuentas directamente a la
Oficina del Presidente del Fondo.
En 2003, conforme a la decisión de la "
Consulta
sobre la Sexta
R
eposición
de
los Recursos del FIDA", con el objeto de fortalecer las funciones de rendición de
cuentas y aprendizaje, la Junta Ejecutiva aprobó la Política de Evaluación del FIDA
que sancionó la completa independencia de la nueva "Oficina de Evaluación". Los
elementos de la independencia abarcaban no solamente las relaciones con la
Gerencia del FIDA, el Comité de evaluación y la Junta Ejecutiva, sino también la
formulación del programa de trabajo y presupuesto anual, la gestión de los recursos
humanos, el análisis y la preparación de los informes de evaluación, su presentación
y publicación. Con la Política de evaluación de 2003 se sentaron las bases para una
evaluación más sólida así como para mejorar las funciones de auto-evaluación dentro
del Departamento de Administración de Programas del FIDA.
En 2010 el Grupo de Cooperación en materia de Evaluación (ECG por sus siglas
en inglés) llevó a cabo un examen inter pares de la Oficina de Evaluación y de la
función de evaluación en el FIDA (FIDA, 2010) y reconoció tanto el nivel muy
La experiencia de evaluación del Fondo internacional de Desarrollo Agrícola (FIDA)
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), 53-79
57
avanzado de independencia de la Oficina (la más independiente dentro de las
agencias, Programas y Fondos de las Naciones Unidas) como la calidad de los
productos de evaluación. El examen inter pares además formuló recomendaciones
para mejorar la eficiencia de los procedimientos internos de la Oficina (que desde
2011 asumió el título de "Oficina de Evaluación Independiente", o IOE por sus siglas
en inglés). En particular recomendó que la gerencia del FIDA tomara más
responsabilidad en la auto-evaluación a nivel de los proyectos y afinara los
instrumentos relativos necesarios. Esto permitiría a la IOE concentrarse más en la
validación de las auto-evaluaciones de los proyectos y, al mismo tiempo, redistribuir
sus recursos hacia labores más estratégicas (evaluaciones a nivel de programa de país
y a nivel institucional). Tomando en consideración el informe del examen inter pares,
la Junta Ejecutiva aprobó una política revisada de evaluación en 2011 que sigue
estando vigente.
2. Principales productos y criterios de evaluación
La IOE dispone de una metodología de evaluación estandarizada y
codificada en un Manual (FIDA 2009) que ha permitido mejorar la calidad,
coherencia y uniformidad de enfoques en las distintas evaluaciones. Una
actualización del Manual está prevista en 2014 y su publicación en 2015. Entre
los productos principales de la IOE hay cuatro tipos de evaluaciones: i)
evaluaciones a nivel de los proyectos (p.ej. préstamos) del FIDA; ii)
evaluaciones de programas en los países; iii) evaluaciones a nivel institucional
de políticas, estrategias y procesos internos del Fondo; y iv) síntesis sobre
evaluaciones pasadas. Como en otras oficinas de evaluación de las
instituciones financieras internacionales, en los últimos quince años se dio
más importancia a las evaluaciones de más alto perfil, como las evaluaciones
de programas en los países y las evaluaciones a nivel institucional. No se
abandonaron las evaluaciones a nivel de proyecto pero se redujeron los
recursos para estas evaluaciones, bajo los dos siguientes principios: i) la
gerencia del FIDA tenía que invertir más en la calidad de sus auto-
evaluaciones y el papel de la evaluación independiente era el de validarlas; y
ii) evaluaciones a nivel más alto representan normalmente un uso más
Fabrizio Felloni, Ashwani Muthoo y Miguel Torralba
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), pp.53-79
58
eficiente de los recursos; analizan cuestiones sistémicas y temas transversales
que tienen un mayor impacto sobre la efectividad de la organización en
comparación con las evaluaciones de proyecto.
En el interior del grupo de las
evaluaciones a nivel de proyecto
, se
encuentran tres sub-categorías: i) las validaciones de informes finales de
proyecto; ii) las evaluaciones de los resultados de los proyectos; y iii) las
evaluaciones de impacto (introducidas en 2013). Todas estas evaluaciones se
efectúan después del cierre de los proyectos.
Las validaciones de informes finales
4
se efectúan sobre la entera
población de proyectos que cierran cada año (alrededor de 20-25 proyectos) y
se basan principalmente en un estudio de gabinete de la documentación
disponible (por ejemplo, informes de diseño de los proyectos, informes de
supervisión y de apoyo a la ejecución, informes finales). Como complemento
se efectúan entrevistas con personal del FIDA o con personas informadas
sobre el proyecto en la sede del Fondo o en el país interesado (a través un
intercambio telefónico o por correo electrónico). Las validaciones son llevadas
a cabo en la mayor parte de los casos por el personal de la Oficina (sin
consultores externos) y se realizan con un nivel limitado de recursos
financieros. Las validaciones se enfocan principalmente en la coherencia entre
los distintos documentos disponibles para llegar a una reconstrucción
plausible de los resultados, efectos e impactos de los proyectos. Los
evaluadores identifican las hipótesis críticas del diseño del proyecto bajo su
marco lógico y la cadena esperada de acontecimientos y resultados. A través
de la triangulación entre los varios documentos disponibles, los evaluadores
llegan a una apreciación del desempeño y de los resultados y pueden de esta
forma confirmar o revisar las calificaciones (puntuaciones) atribuidas por la
dirección del FIDA a los criterios de evaluación (ver más abajo para una
discusión más amplia sobre las calificaciones). Además, estas evaluaciones
contribuyen a fortalecer al sistema autoevaluación del FIDA ya que revisan y
califican la calidad de los informes finales.
4
Los informes finales son preparados bajo la responsabilidad del gobierno prestatario. La gerencia del
FIDA efectúa una primera labor de validación y asignación de calificaciones (puntuaciones según los
criterios de evaluación) antes de la validación final realizada por la Oficina de Evaluación Independiente.
La experiencia de evaluación del Fondo internacional de Desarrollo Agrícola (FIDA)
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), 53-79
59
Las evaluaciones de los resultados de los proyectos (o PPA por sus siglas
en inglés) se efectúan sobre una muestra (de seis a ocho por año) de proyectos
cerrados. La selección de las PPA no es aleatoria y toma en cuenta factores
como la presencia de aspectos novedosos en un proyecto, la calidad de los
datos (por ejemplo se prefiere realizar una PPA cuando la validación ha
identificado un problema de falta de datos importantes), la discrepancia entre
valoración del informe del cierre y la de la validación independiente, y la
necesidad de proveer fuentes de información para evaluaciones futuras (por
ejemplo, si la IOE tiene planes para una futura evaluación de programa en el
país X, una PPA contribuye a aumentar la base de evidencia previa). Cada
PPA, además del estudio de gabinete de la documentación disponible,
conlleva una misión en el país (normalmente de un par de semanas),
incluyendo visitas en las zonas de ejecución del proyecto, discusiones con los
usuarios y entrevistas con responsables de las instituciones clave en la capital
y en las regiones del proyecto. Por sus recursos limitados, las PPA no tienen la
ambición de levantar una encuesta representativa de los usuarios del proyecto
sino, más sencillamente, la de establecer la plausibilidad de las afirmaciones y
conclusiones que se encuentran en los documentos oficiales de los proyectos,
triangulando la información que proviene de las observaciones
independientes en el campo, de las entrevistas con los beneficiarios, y de los
intercambios con informantes clave.
Dado su específico interés metodológico, las evaluaciones de impacto
serán discutidas más abajo en la sección sobre la atribución de los resultados.
Los criterios de evaluación que se adoptan en las evaluaciones a nivel de
proyecto incluyen criterios estándares para las evaluaciones de programas de desarrollo
internacional (OECD-DAC), como los de pertinencia, eficacia, eficiencia, impacto y
sostenibilidad. Además, en reconocimiento de la naturaleza específica del mandato del
FIDA y de sus orientaciones estratégicas, la IOE introdujo criterios adicionales como la
promoción de innovaciones, la ampliación de alcance, y la igualdad de género y
empoderamiento de la mujer (ver cuadro). Las evaluaciones también aprecian el
desempeño de los asociados (el FIDA y el Gobierno). En la definición de las áreas de
Fabrizio Felloni, Ashwani Muthoo y Miguel Torralba
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), pp.53-79
60
impacto, el Manual de 2009 tomó en cuenta también el Marco Estratégico del FIDA
2007-2010, así como los objetivos y componentes picos de los proyectos financiado
por el Fondo. Como resultado, se identificaron las siguientes áreas de impacto que cada
evaluación a nivel de proyecto tiene que tratar: i) ingresos y activos de los hogares; ii)
capital humano y social y empoderamiento; iii) seguridad alimentaria y productividad
agrícola; iv) recursos naturales, medio ambiente y cambio climático; v) instituciones y
políticas.
Es preciso señalar que la IOE y el Departamento de Administración de Programas
del FIDA han firmado acuerdos de armonización metodológica (el más reciente en
2011) lo que permitió a ambos utilizar los mismos criterios y sub-criterios, agilizando la
comparación entre auto-evaluaciones y evaluaciones independientes.
Cuadro 1
Principales criterios adoptados para las evaluaciones a nivel de proyecto
Criterio
Definición
a. Pertinencia
Medida en que los objetivos de una
intervención para el desarrollo son
congruentes con los requisitos de los
beneficiarios, las necesidades del país, las
prioridades institucionales y las políticas
de los asociados y donantes. Comporta
asimismo realizar una evaluación de la
coherencia del proyecto para el logro de
sus objetivos.
b. Eficacia
Medida en que se lograron o se esperan
lograr los objetivos de la intervención
para el desarrollo, tomando en cuenta su
importancia relativa.
c. Eficiencia
Medida en que los recursos/insumos
(fondos, conocimientos técnicos, tiempo,
etc.) se han convertido económicamente
en resultados
d. Impacto en la pobreza rural
Áreas de impacto:
d.1 Ingresos y activos de los hogares
d.2 Capital humano y social y
Por "impacto" se entienden los cambios
que se han producido o se espera que se
produzcan en las vidas de la población
rural pobre (ya sean positivos o negativos,
directos o indirectos, deliberados o
involuntarios) a raíz de intervenciones de
La experiencia de evaluación del Fondo internacional de Desarrollo Agrícola (FIDA)
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), 53-79
61
empoderamiento
d.3 Seguridad alimentaria y productividad
agrícola
d.4 Recursos naturales y medio ambiente
d.5 Instituciones y políticas públicas
desarrollo.
e. Sostenibilidad
Probabilidad de que los beneficios netos
producidos por una intervención de
desarrollo continúen más allá de la fase de
prestación de apoyo financiero externo.
Comporta también evaluar la
probabilidad de que los resultados
efectivos y previstos consigan superar los
riesgos que se presenten una vez
finalizado el proyecto.
f. Innovaciones y ampliación de
alcance
Medida en que las intervenciones de
desarrollo del FIDA: i) han contribuido a
introducir enfoques innovadores de
reducción de la pobreza rural, y ii) han
sido o es probable que sean ampliadas por
las autoridades públicas, las
organizaciones donantes, el sector
privado y otros organismos
g. Igualdad de género y
empoderamiento de la mujer
El criterio evalúa los esfuerzos realizados
para promover la igualdad de género y el
empoderamiento de las mujeres en el
diseño, ejecución, supervisión, y la
evaluación de proyectos asistidos por el
FIDA.
Desempeño de los asociados
• FIDA
• Gobierno
Mediante este criterio se evalúa la
contribución de los asociados al diseño,
ejecución, seguimiento y presentación de
informes, supervisión y apoyo a la
ejecución y evaluación del proyecto. Se
evalúa el desempeño de cada asociado de
forma individual con miras a establecer la
función y responsabilidad previstas del
asociado en el ciclo de vida del proyecto.
Fabrizio Felloni, Ashwani Muthoo y Miguel Torralba
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), pp.53-79
62
Fuente: FIDA (2009), incluyendo las integraciones de 2010 (véanse las referencias).
Cada año la IOE efectúa alrededor de cinco evaluaciones de programa en el
país, una por cada región geográfica del FIDA. Estas evaluaciones abarcan las
operaciones y las líneas estratégicas del FIDA y de sus socios en los países interesados,
generalmente durante la última década. Se llevan a cabo antes de que el FIDA y el
gobierno interesado formulen una nueva estrategia de colaboración o Programa sobre
oportunidades estratégicas nacionales (COSOP según las siglas utilizadas por el Fondo)
beneficiándose de los hallazgos y de las recomendaciones de la evaluación. Las
evaluaciones de programa aprecian la cooperación del gobierno y del FIDA bajo tres
principales niveles de análisis: i) el examen del desempeño de la cartera de los
proyectos, aplicando los criterios de evaluación (ver más arriba) a cada proyecto; ii) la
valoración de las actividades "no crediticias", es decir: la gestión de conocimientos
(knowledge management), el desarrollo de asociaciones (partnership-building) y el
diálogo sobre políticas públicas (policy dialogue); y iii) la apreciación del desempeño
estratégico del FIDA (pertinencia y eficacia del COSOP). Relativamente al tercer punto,
las evaluaciones de programa aprecian la pertinencia del COSOP, en términos de
focalización geográfica y socio-económica, coherencia con las estrategias del país y con
el marco estratégico institucional del FIDA, realismo de los objetivos y adecuación
entre objetivos e instrumentos disponibles para alcanzarlos. Además de la pertinencia
estratégica, las evaluaciones de programa examinan la eficacia estratégica, es decir en
qué medida los objetivos específicos del COSOP han sido alcanzados a través de los
proyectos y otras actividades llevadas a cabo por el gobierno, por el FIDA y por sus
socios.
La evaluación de la cartera de préstamos requiere una labor similar a la de las
evaluaciones a nivel de proyecto (estudio de gabinete, visitas en el campo y ulterior
validación con informantes clave). El examen de las actividades no crediticias necesita
un ejercicio de "mapeo" de: i) los subsectores de intervención del FIDA y las políticas
públicas que son más pertinentes al programa del FIDA; y ii) los actores principales en
estos subsectores (las instituciones nacionales, internacionales, las organizaciones de la
sociedad civil, los empresarios privados, las instituciones de investigación). Esto
permite identificar las colaboraciones en curso, así como las oportunidades todavía no
aprovechadas en términos de gestión de conocimientos, desarrollo de relaciones con los
socios y diálogo sobre las políticas públicas. Por ejemplo, en la evaluación de programa
La experiencia de evaluación del Fondo internacional de Desarrollo Agrícola (FIDA)
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), 53-79
63
en Ruanda (IFAD 2012), el equipo de evaluación se entrevistó con los responsables de
la cooperación americana e inglesa, respectivamente sobre los temas del apoyo a las
cooperativas de producción de café y de las reformas en el sub-sector micro finanza /
finanza rural. Aunque había un potencial enorme de intercambio de conocimientos y
de labor común entre el FIDA y otros donantes en el diálogo sobre las políticas
sectoriales pertinentes, la evaluación identificó oportunidades no aprovechadas que
trató en sus hallazgos y recomendaciones. En la evaluación de programa en el Ecuador,
la misión en el país ofreció la oportunidad de verificar los importantes progresos del
recientemente creado Grupo de Dialogo Rural, conformado por eminentes
personalidades políticas y académicas del Ecuador (FIDA, 2014a). La evaluación pudo
constatar como este grupo, apoyado por una donación del FIDA, se ha constituido
como un espacio con un posicionamiento progresivo de encuentro entre la sociedad
civil y el Gobierno y reconoció su elevado potencial para influir en la agenda
gubernamental en materia de políticas relativas al desarrollo rural.
Al abordar la apreciación del desempeño estratégico, la mayoría de las
evaluaciones de programa encuentra datos limitados por lo que concierne al
seguimiento de los objetivos estratégicos planteados en el COSOP. Por consiguiente, a
menudo los equipos evaluadores tienen que levantar un "mapa" lógico estableciendo
enlaces entre las actividades crediticias y no crediticias por un lado, y los objetivos del
COSOP por el otro ( gráfico 1) lo que permite inferir el progreso alcanzado en relación
con los objetivos individuales del COSOP.
Gráfico 1
Mapa teórico de la correspondencia entre objetivos del COSOP y actividades crediticias y no
crediticias
Objetivo estratégico
(COSOP) 1
Objetivo estratégico
(COSOP) 2
Proyecto A
Proyecto B
Actividades no
crediticias X, Y
Proyecto B
Proyecto C
Actividades no
crediticias Z, V
Fabrizio Felloni, Ashwani Muthoo y Miguel Torralba
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), pp.53-79
64
Fuente: elaboración de los autores
Las evaluaciones a nivel institucional abarcan políticas, estrategias y
procesos operativos del Fondo. Entre otras, cabe mencionar como ejemplos las
evaluaciones sobre los resultados del FIDA en cuanto a la igualdad de género y el
empoderamiento de la mujer (FIDA 2010a), sobre la eficiencia institucional y la
eficiencia de las operaciones financiadas por el FIDA (FIDA 2013b) y sobre la política
del FIDA en materia de donaciones (IFAD 2014a). Estas evaluaciones son efectuadas
antes de que el FIDA prepare o revise sus políticas o estrategias. Normalmente se lleva
a cabo una evaluación a nivel institucional por año, en consideración de los importantes
recursos necesarios para realizarlas y además para no llegar a saturar la capacidad de
absorción y respuesta del FIDA y de sus órganos rectores tanto durante el proceso de
evaluación como durante la adopción y puesta en marcha de las recomendaciones de
estas evaluaciones, lo cual puede necesitar varios años. Dada la naturaleza muy distinta
del tema tratado en cada evaluación institucional, hasta le fecha no se ha establecido
una metodología estándar. Sin embargo la mayoría de las evaluaciones a nivel
institucional aplican los criterios fundamentales de pertinencia, eficacia y eficiencia en
el examen de las políticas o estrategias del FIDA. En términos de recopilación de datos
e informaciones, las evaluaciones a nivel institucional requieren típicamente un estudio
preliminar de la documentación del FIDA y de otras organizaciones internacionales y
una consulta con la gerencia del FIDA para establecer los alcances y las preguntas clave.
Siguen periodos de entrevistas con el personal del FIDA, estudios de gabinete
suplementario, encuestas basadas en el web, y misiones en países seleccionados para
llegar a la síntesis final (gráfico 2). Dada la importancia y complejidad de las cuestiones
tratadas por las evaluaciones a nivel institucional, se involucran asesores
independientes y externos para contribuir a fortalecer el diseño de la metodología y la
calidad de los informes.
Gráfico 2.
Esquema del proceso típico de las evaluaciones a nivel institucional
3. Estudio de
gabinete más
profundizado
4.b Encuestas
web
5. Triangulación y
síntesis de los
resultados
2. Definición de los
alcances y de la
metodología
1. Consulta con la gerencia del
FIDA y asesores externos, repaso
de la documentación disponible y
de evaluaciones de otras
instituciones internacionales
La experiencia de evaluación del Fondo internacional de Desarrollo Agrícola (FIDA)
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), 53-79
65
Fuente: elaboración de los autores
Las síntesis sobre las evaluaciones son un producto reciente: su primera
introducción data de 2010, siguiendo la recomendación del examen inter pares del
ECG. Ejemplos de éstas son las síntesis sobre la actuación del FIDA en relación con los
países de ingresos medios (IFAD 2014) o sobre la conservación y manejo de los
recursos hídricos (IFAD 2013a). Las síntesis ponen el acento más sobre el aprendizaje
que sobre la rendición de cuentas. A pesar de su título, las síntesis se alimentan de
distintas fuentes que incluyen las síntesis de evaluaciones previas, un repaso de
documentación más actual del FIDA con respecto al tema que se trata y un estudio de la
literatura socio-económica. Por la diversidad de los temas tratados, hasta la fecha no se
ha establecido una metodología estándar, si bien esté en consideración en un futuro
próximo.
3. Evidencia, datos y atribución de los resultados
Las oficinas de evaluación de las instituciones financieras internacionales
normalmente llevan a cabo evaluaciones de proyectos y programas en su fase terminal
(cercanas o después del cierre). Los recursos disponibles para este tipo de evaluaciones
son bastante limitados y permiten generalmente una estancia de dos a cuatro semanas
en los países interesados. Por lo tanto, estas evaluaciones necesitan un conjunto de
informaciones y datos recopilados y organizados anteriormente por el sistema de auto-
evaluación. Las fuentes principales de estos datos en el FIDA son: i) los informes de
seguimiento y evaluación preparados por los equipos de los proyectos; ii) los informes
de supervisión; y iii) los datos del Sistema de gestión de los resultados y el impacto
(RIMS por sus siglas en inglés).
3.1 Principales fuentes de auto-evaluación
4.a Entrevistas con el
personal del FIDA y
otras organizaciones
internacionales
4.c Estudios de
caso en países
selectos
Fabrizio Felloni, Ashwani Muthoo y Miguel Torralba
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), pp.53-79
66
Los equipos de gestión de proyectos cuentan con una unidad de seguimiento y
evaluación responsable de la producción de informes periódicos. Aunque estos
informes puedan ser útiles para el seguimiento de los "productos" (outputs),
generalmente su nivel de análisis no es suficiente para responder a las preguntas de los
evaluadores sobre los resultados y los impactos. Tomando el ejemplo de un proyecto de
apoyo a las micro y pequeñas empresas rurales, los informes de seguimiento
típicamente presentan datos sobre el número de empresarios que han asistido a cursos
de formación básica o técnica, a veces informan sobre el porcentaje que han adoptado
prácticas de gestión mejoradas, pero raramente presentan un análisis sobre la
rentabilidad de las empresas apoyadas o la trayectoria del valor de patrimonio neto
antes y después de la asistencia del proyecto.
Otra fuente de información son las misiones anuales de supervisión y apoyo a la
ejecución llevadas a cabo por el FIDA. Estas misiones ofrecen apreciaciones sobre el
estado de ejecución desde la perspectiva de la gerencia del FIDA. El objetivo de la
supervisión es medir el progreso de la ejecución de los proyectos, incluyendo aspectos
de desarrollo, así como de gestión y administración fiduciaria. Son informes que
ofrecen insumos valiosos desde el punto de vista de la eficacia y eficiencia de los
proyectos y del desempeño de los socios. Sin embargo los datos sobre el impacto socio-
económicos son escasos, sobre todo los datos cuantitativos.
Desde 2004, el FIDA introdujo el RIMS, el cual es alimentado por las unidades de
seguimiento y evaluación de los proyectos. En particular, el RIMS prevé la recopilación
de datos sobre las condiciones nutricionales y los bienes de los hogares a través de
encuestas de hogares (una encuesta de referencia antes de comenzar las operaciones, y
una o dos encuestas de seguimiento durante o después de la ejecución). Gracias al
RIMS, más informaciones son disponibles acerca de los hogares en las zonas donde los
proyectos operan. Sin embargo el RIMS sufre limitaciones: primero, no todos los
proyectos cumplen con las obligación de levantar una encuesta de base;
5
segundo, no
prevé el muestreo de "hogares de control" (sin proyecto) lo que dificulta la atribución
de los cambios observados (ver también la discusión más abajo). En 2013, la gerencia
FIDA comenzó un proceso de revisión y fortalecimiento del RIMS que espera poner en
5
Sin embargo, la situación ha mejorado: el porcentaje acumulativo de los proyectos que cumplen con el
requerimiento de la encuesta de base subió de 21% a 64% de mediados de 2011 a finales de 2013 según el
Informe sobre la eficacia del FIDA en términos de desarrollo (FIDA 2013b).
La experiencia de evaluación del Fondo internacional de Desarrollo Agrícola (FIDA)
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), 53-79
67
práctica desde 2015 y que conlleva la inclusión de observaciones de control y una gama
más amplia de informaciones sobre los hogares.
3.2 Verificación independiente
Las misiones de evaluación independiente permiten complementar los datos del
sistema de auto-evaluación e identificar posibles discrepancias. Las herramientas más
comunes son: i) las entrevistas con informantes clave (desde el nivel "macro" de los
responsables de las políticas públicas, pasando por el nivel "meso" de los responsables
de la gestión de los proyecto hasta llegar a otros informantes a nivel de las comunidades
rurales); ii) las observaciones directas de las actividades de los proyectos por
especialistas temáticos (por ejemplo, expertos en riego, en financiamiento rural, en
sanidad pública, agrónomos, ingenieros civiles); iii) grupos focales de discusión con los
usuarios (y grupos de comparación- sin proyecto) con cuestionarios semi-
estructurados; iv) micro-encuestas con una muestra más limitada (20-50) de hogares;
v) estudios de casos (por ejemplo, comparación de los casos más exitosos y los
fracasos); vi) técnicas participativas (calificación con arreglo a la renta, calificación de
problemas, cartografías comunitarias, transectos históricos).
3.3 Atribución de resultados e impactos: enfoques estadísticos
La cuestión de la atribución (distinguir entre acontecimientos ligados a una
intervención de desarrollo y otros acontecimientos generados por factores
externos) es central para las evaluaciones. Uno de los paradigmas clásicos para
tratar la atribución de los impactos consiste en comparar (con métodos estadísticos)
la trayectoria de un grupo afectado por una intervención con la de un grupo sin
intervención (grupo de control). La representación teórica de los gráficos 3.a y 3.b
muestra los ingresos medios de los dos grupos antes (tiempo O) y después (tiempo
P) de una intervención. En el gráfico 3.a los ingresos medios de los hogares que han
recibido la intervención han aumentado más que en el caso del grupo de control (el
efecto atribuido al proyecto es el segmento A-B). En el gráfico 3.b, los ingresos
medios del grupo asistido por la intervención no han aumentado pero se han
reducido en el caso del grupo de control: en este segundo ejemplo, la intervención
parece haber atenuado un shock negativo (el efecto atribuido al proyecto es el
segmento A'-B'). Una de las condiciones para poder realizar este tipo de análisis es
Fabrizio Felloni, Ashwani Muthoo y Miguel Torralba
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), pp.53-79
68
que los miembros del grupo con intervención y los del grupo de control compartan
características salientes muy similares (ausencia de sesgo de selección). Cuando no
se cumplan estas condiciones es necesario aplicar técnicas econométricas apropiadas
(para una presentación general: Gertler et alii, 2011).
Gráfico 3. Comparación entre grupos con y sin intervención
Gráfico 3.a Gráfico 3.b
A
B
B A'
B'
tiempo tiempo
Fuente: elaboración de los autores
El tratamiento cuantitativo de la atribución ha ganado atención en los debates
internacionales desde la publicación del manifiesto del Centro para el Desarrollo Global
"¿Cuándo vamos a aprender?" (CGD 2006) y desde que los métodos experimentales
(pruebas controladas aleatorias) o cuasi experimentales han sido paragonados a
"patrón oro" (gold standard). Paradójicamente, en las organizaciones internacionales
para el desarrollo, los enfoques cuantitativos-econométricos han sido adoptados
principalmente por los departamentos de gestión de las operaciones y de investigación
O
O
Observaciones
con intervención
Observaciones sin
intervención
P
P
Ingresos
Ingresos
La experiencia de evaluación del Fondo internacional de Desarrollo Agrícola (FIDA)
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), 53-79
69
socio-económica y en medida menor por las oficinas de evaluación. De hecho, los
departamentos de gestión de las operaciones y de investigación socio-económica
tienen mayores oportunidades para llevar a cabo encuestas estadísticas de referencia y
durante la ejecución de proyectos (mientras que las oficinas de evaluación operan
principalmente sobre proyectos cerrados) y se han beneficiado además de fondos
especiales (principalmente de donantes bilaterales) para estos ejercicios. Las oficinas
de evaluación de las instituciones financieras internacionales llevan a cabo un número
limitado de evaluaciones (una o dos) de impacto cada año y en algunos casos realizan
meta-evaluaciones de los ejercicios de evaluación de impacto de los departamentos de
gestión de las operaciones (ver, por ejemplo, IEG-WB 2011, 2012). Asimismo, en el
FIDA, en la ocasión de la Novena Reposición de recursos, la Gerencia se comprometió
a llevar a cabo, de 2013 a 2015, treinta evaluaciones de impacto utilizando métodos
experimentales y casi experimentales. A pedido de la Junta Ejecutiva, la IOE
determinó llevar a cabo una evaluación de impacto cada año desde 2013 (para afinar
sus conocimientos y experiencias en este tipo de ejercicios y contribuir de manera más
eficaz a los debates metodológicos dentro de la organización) y efectuar en 2016 una
meta-evaluación de las treinta evaluaciones de impacto del FIDA.
En 2013, la IOE llevó a cabo su primera evaluación de impacto de un proyecto en
Sri Lanka (IFAD 2013). Esta evaluación aplicó métodos mixtos: i) una encuesta
cuantitativa de 2 560 hogares (1 300 apoyadas por el proyecto y 1 260 sin proyecto
como observaciones de control; ii) una encuesta cualitativa basada en 30 entrevistas
estructuradas con responsables de la ejecución del proyecto y de las administraciones
locales y en 41 grupos focales con grupos de beneficiarios del proyecto (hombres y
mujeres). Para tratar el problema del sesgo de selección (el proyecto intentaba centrar
las intervenciones en las comunidades más pobres), los datos de la encuesta cualitativa
fueron analizados con técnicas econométricas: i) pareamiento por puntaje de
propensión; y ii) corrección de Heckman. La evaluación concluyó que los resultados
del proyecto habían sido globalmente positivos pero evidenció discrepancias y
hallazgos s mixtos y matizados con respecto a los datos del sistema de seguimiento
y evaluación del proyecto (estos últimos no recogidos a través de un muestreo
aleatorio y desprovistos de un grupo de control).
En términos más generales, la primera evaluación de impacto planteó algunas
Fabrizio Felloni, Ashwani Muthoo y Miguel Torralba
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), pp.53-79
70
observaciones de fondo:1) los hallazgos de losanálisis econométricos no siempre son
evidentes por sí mismos e internamente coherentes (por ejemplo, los signos de
algunos coeficientes estimados pueden ser de difícil comprensión) y por lo tanto se
necesita una interpretación asistida por otros métodos, incluso los cualitativos; 2),
los métodos experimentales y cuasi experimentales (adoptados de las ciencias
médicas y naturales) son valiosos para examinar intervenciones relativamente
simples y homogéneas. Por ejemplo, cuando se estudian los efectos de un nuevo
medicamento o una vacuna, la suministración ocurre de manera controlada y
regular y con dosis uniformes. En cambio, en los proyectos de desarrollo (rural y no
rural) las intervenciones no ocurren en "unidades estándares": típicamente incluyen
componentes y sub-componentes múltiples (por ejemplo construcción de carreteras
secundarias, esquemas de riego, distintos tipos de vulgarización de materias
agrícolas, actividades de micro finanza) y pueden operar de manera no homogénea,
con resultados incoherentes, lo que es complicado captar a través de una encuesta
estandarizada;y 3) en condiciones reales no es fácil encontrar "grupos de control"
en la proximidad de un proyecto que no hayan tenido ningún tipo de interacción
con el proyecto o no hayan sido afectados de alguna manera.
3.4 Atribución - otros enfoques
Enfoques basados en el marco lógico o en la teoría del cambio. Existen
en la literatura sobre la evaluación enfoques alternativos a la comparación entre una
muestra-proyecto y una muestra de control. Estos enfoques son valiosos porque en la
mayoría de las evaluaciones no es posible levantar nuevas encuestas de gran tamaño.
Además en algunos casos se evalúan cambios institucionales que son fenómenos únicos
y para los cuales no se pueden establecer grupos de control. Parte de los métodos
alternativos se basan esencialmente en un examen del "marco lógico" o de la " teoría del
cambio" de las intervenciones evaluadas, reforzado con una investigación empírica de
las hipótesis de base de los proyectos y de los procesos y mecanismos de intervención
(ver, por ejemplo, White y Phillips, 2012).
Ejemplos de éstos son: i) el enfoque "realista" (Pawson y Tilley, 1997) que busca
identificar los "mecanismos de funcionamiento" de las intervenciones y cómo
interactúan en contextos diferentes para producir efectos distintos sobre los varios
actores; ii) el enfoque conocido como "análisis de contribución causal" (Mayne, 2001)
que se basa en una teoría del cambio y opera averiguando si el desempeño del proyecto
La experiencia de evaluación del Fondo internacional de Desarrollo Agrícola (FIDA)
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), 53-79
71
es conforme a las etapas lógicas de la teoría y si los resultados intermedios son
compatibles con los previstos;
6
o iii) el "método de eliminación general" (Scriven,
2008) bajo el cual el evaluador formula hipótesis alternativas para explicar los efectos
observados y elimina progresivamente las que son menos plausible, tomando en
cuenta el contexto en el cual la intervención ha sido ejecutada. De manera más o
menos explícita, la mayoría de las evaluaciones del FIDA intenta utilizar estos
paradigmas para examinar la coherencia lógica e identificar las hipótesis clave del
diseño de los proyectos y averiguar si se han cumplido las condiciones necesarias para
generar los resultados e impactos esperados.
4. Calificación y síntesis de los hallazgos
Las calificaciones y su utilidad
Para cada criterio, las evaluaciones del FIDA aplican calificaciones con una
escala de seis puntos, según las prácticas de la mayoría de las oficinas de evaluaciones
de las instituciones financieras internacionales. Se trata de un sistema simétrico, es
decir hay tres puntuaciones positivas (de 4 a 6) y tres negativas (de 1 a 3): 1 = muy
insatisfactorio; 2 = insatisfactorio; 3 = moderadamente insatisfactorio; 4 =
moderadamente satisfactorio; 5 = satisfactorio; 6 = muy satisfactorio, de manera que
no existe puntuación neutra (simultáneamente no negativa y no positiva) y los
evaluadores tienen que llegar a conclusiones basadas en argumentos claros.
En las discusiones sobre metodología de evaluación aparecen a menudo dos
argumentos principales para criticar el uso de las calificaciones: i) las puntuaciones
son valoraciones subjetivas y; ii) corren el riesgo de provocar excesivas discusiones
sobre las puntuaciones restando trascendencia a los temas de fondo. En la IOE se ha
determinado que, aunque estos argumentos son parcialmente válidos, las
6
Con el enfoque de contribución causal no se pretende atribuir los resultados e impactos a una
intervención de manera exclusiva, sino evidenciar la contribución de la intervención, junto con otros
factores.
Fabrizio Felloni, Ashwani Muthoo y Miguel Torralba
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), pp.53-79
72
calificaciones son aceptables desde una perspectiva metodológica e institucional. De
hecho, la adopción de una metodología estándar y preguntas comunes, así como los
procesos de revisión "inter pares" de las evaluaciones, contribuyen a generar pautas
coherentes entre los evaluadores y a controlar el espacio de subjetividad. Asimismo,
las calificaciones ofrecen una síntesis más clara a los lectores y usuarios de las
evaluaciones, sobre todo cuando el análisis incluye observaciones positivas y
negativas: en estos casos las puntuaciones permiten "romper el empate" y llegar a una
valoración más transparente.
Por lo que concierne a las posibles controversias sobre las puntuaciones, ellas no
desvían necesariamente la discusión de las cuestiones de fondo si los evaluadores
aprovechan el debate para explicar mejor o fortalecer sus argumentos. Finalmente, en
el FIDA la Gerencia adoptó el sistema de calificación como herramienta para fortalecer
su sistema interno de auto-evaluación y medir sus resultados.
Síntesis y consolidación de los hallazgos
Desde 2003, la IOE introdujo el Informe anual sobre los resultados y el impacto
de las actividades del FIDA (ARRI por sus siglas en inglés). El propósito de este
informe es presentar una síntesis de los hallazgos de las evaluaciones llevada a cabo
durante el año precedente y discutir temas de aprendizaje de nivel más general que han
surgido a través de las evaluaciones. La estructura del ARRI prevé dos secciones
principales. La primera sección presenta la consolidación de los hallazgos de las
evaluaciones del año precedente y muestra un resumen de los patrones históricos del
desempeño de las operaciones financiadas por el FIDA, comparando con otras
instituciones financieras internacionales (gráfico 4). La segunda sección se concentra
en un único tema de discusión que cambia cada año (en 2013 el tema fue la
"variabilidad" del desempeño de las operaciones, comparando las operaciones más
exitosas con las más problemáticas).
El ARRI es presentado cada año a la dirección del FIDA, al Comité de
Evaluación y a la Junta Ejecutiva, lo que le confiere un perfil muy alto. Se organiza un
taller de discusión al interior del FIDA en el cual participan especialistas
internacionales en el tema en cuestión para animar el debate y alimentarlo con nuevas
experiencias y perspectivas. La labor de preparación del ARRI es facilitada por la
estandarización de los criterios de evaluación que permite calcular valores promedios,
La experiencia de evaluación del Fondo internacional de Desarrollo Agrícola (FIDA)
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), 53-79
73
porcentajes y distribuciones estadísticas. La base de datos creada desde la primera
edición del ARRI permite tratar series históricas que pueden ser agregadas por
cohortes de evaluación o cohortes de diseño o de cierre de las operaciones financiadas
por el FIDA.
Gráfico 4.
Consolidación de los hallazgos de las evaluaciones
Fuente: elaboración de los autores
5. Impulsando cambios
5.1 Procesos que facilitan el aprendizaje y el seguimiento
Decenios de experiencia han demostrado que las evaluaciones, por más
perfeccionadas que sean desde un punto de vista técnico, no llevan automáticamente a
cambios en el diseño o la realización de programas o estrategias (Patton, 2008): las
decisiones sobre diseño y ejecución incumben a la gerencia de las organizaciones y no a
los evaluadores. Sin embargo hay factores y condiciones institucionales que pueden
agilizar u obstaculizar el uso de las evaluaciones. En el FIDA existen normas e
instrumentos que permiten establecer una ruta de utilización de los resultados de las
evaluaciones y abastecen a la Gerencia y a la Junta Ejecutiva la oportunidad de
monitorear el seguimiento de las recomendaciones. Estos instrumentos fueron
introducidos en 1999 por primera vez y afinados posteriormente con la introducción de
la Política de evaluación (2003) y de su revisión (2011).
Desde el principio de una evaluación, la IOE identifica un grupo focal de
usuarios con el cual comparte y discute un documento conceptual que presenta los
alcances, los criterios, las preguntas principales, el proceso y el cronograma previsto de
la evaluación. En las fases iniciales, este grupo ayuda a identificar las cuestiones
A. Evaluaciones a nivel de proyectos
1. Validaciones de los informes finales
2. Evaluaciones de los resultados de los proyectos
3. Evaluaciones de impacto
ARRI
a. Consolidación, patrones
históricos, comparación con
otros IFI
b. profundización de un tema
específico cada año
B. Evaluaciones de programa en el país
C. Evaluaciones a nivel institucional
D. Síntesis de evaluación
Fabrizio Felloni, Ashwani Muthoo y Miguel Torralba
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), pp.53-79
74
prioritarias a ser abordadas por la evaluación. Durante las actividades principales de
evaluación, los miembros del grupo focal de usuarios son consultados y los resultados
e informes preliminares son compartidos con ellos (gráfico 5); sus comentarios son
integrados de manera independiente. En el FIDA existe además el instrumento
denominado "acuerdo en el punto de culminación". Este acuerdo, formulado y firmado
por la gerencia del FIDA y los gobiernos interesados (la IOE juega un papel
facilitador), recoge las acciones previstas para poner en marcha las recomendaciones
principales de la evaluación dentro de un marco de tiempo establecido y con claras
responsabilidades asignadas. Además, cada año la gerencia del FIDA presenta a la
Junta Ejecutiva el Informe del Presidente sobre el estado de aplicación de las
recomendaciones de evaluación y las medidas adoptadas por la dirección (PRISMA
por sus siglas en inglés). Este informe explica el progreso alcanzado con respecto a las
recomendaciones y es presentado a la Junta con los comentarios de la IOE. Tanto el
acuerdo en el punto de culminación como el PRISMA - junto con los comentarios
proporcionados por IOE - fueron considerados como ejemplos de buenas prácticas en
un informe del Organismo Sueco de Evaluación para el Desarrollo (Bandstein,
Hedblom, 2008) y también en el informe de la Red de Evaluación del Desempeño de
Organizaciones Multilaterales (MOPAN, por sus siglas en inglés) de 2013, dedicado al
FIDA.
Gráfico 5. Esquema de las interacciones principales con los socios en un proceso
de evaluación
Fuente: elaboración de los autores
5.2 Rol catalítico en los cambios institucionales
De manera general, en el FIDA las evaluaciones han proporcionado insumos
analíticos contribuyendo a mejorar el diseño o el desempeño de intervenciones,
estrategias o políticas del Fondo. Las evaluaciones a nivel institucional han contribuido
1. Discusión inicial con
socios clave e
interacción sobre el
documento de
orientación
2. Recopilación
de datos y
análisis
independiente
3. Interacción
sobre los
resultados
preliminares
4. Redacción del
borrador del
informe principal
5. Interacción
con los socios y
finalización
independiente
6. Acuerdo en el punto
de culminación
(Gerencia del FIDA y
socios externos)
7. Presentación del PRISMA
a la Junta Ejecutiva por la
Gerencia del FIDA con
comentarios de IOE
La experiencia de evaluación del Fondo internacional de Desarrollo Agrícola (FIDA)
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), 53-79
75
a los cambios estructurales más importantes. En particular en 2005 la IOE llevó a cabo
la evaluación a nivel institucional del Programa piloto de supervisión directa y en 2007
la evaluación del Programa piloto relativo a la presencia sobre el terreno (IFAD 2005,
2007). Después de estas evaluaciones, el FIDA adoptó dos decisiones históricas: i) la
aplicación generalizada de la supervisión directa a todos sus proyectos (antes, la
supervisión anual era responsabilidad de instituciones externas), lo que necesitó
aportar cambios en el Convenio Constitutivo del FIDA de 1976; y ii) la apertura de un
mayor número de oficinas en los países.
Otras evaluaciones a nivel institucional como la evaluación conjunta con el Banco
Africano de Desarrollo sobre el apoyo a la agricultura en África (AfDB-IFAD, 2010); la
evaluación sobre los resultados del FIDA en cuanto a la igualdad de género y el
empoderamiento de la mujer (FIDA 2010a); sobre las asociaciones con el sector
privado (FIDA 2011); sobre el proceso de reposición del FIDA (FIDA, 2014) impulsaron
la revisión de políticas institucionales, nuevos acuerdos de colaboración con socios
internacionales y una revisión del proceso principal de refinanciación del Fondo. En
2013, la IOE concluyó una evaluación a nivel institucional sobre la eficiencia
institucional y la eficiencia de las operaciones financiadas por el FIDA (FIDA, 2013a), la
primera de este tipo a ser realizada en organizaciones bilaterales y multilaterales, con el
objetivo de aumentar la eficiencia del FIDA en el cumplimiento de su mandato. Esta
evaluación permitió a la Gerencia preparar un plan de acción de grande envergadura
con el objetivo de simplificar numerosos procesos y procedimientos.
Finalmente, la
evaluación institucional sobre la política del FIDA en tema de donaciones,
completada en 2014, va a sentar las bases para un cambio importante en la
definición y uso de este instrumento que será formalizado a través de una
nueva política para las donaciones prevista para 2015.
6. Observaciones finales
Históricamente, en el FIDA se distinguió entre la función de seguimiento y
evaluación y la de evaluación ex post. Además, la oficina de evaluación ganó
progresivamente autonomía y alcanzó la independencia funcional aun siendo integrada
en la estructura organizativa del Fondo. La independencia contribuyó a fortalecer la
credibilidad de las evaluaciones y de la organización en general mientras que la
Fabrizio Felloni, Ashwani Muthoo y Miguel Torralba
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), pp.53-79
76
integración en la estructura del Fondo redujo el riesgo de aislamiento y facilitó el
diálogo con la Gerencia. Cambios clave en el modelo organizativo y funcional del FIDA
fueron impulsados o influenciados directamente por las evaluaciones independientes.
El FIDA ha invertido un esfuerzo importante en la preparación de una
metodología estandarizada lo que ha permitido mejorar la coherencia entre
evaluaciones y facilitar la consolidación y presentación de los hallazgos a la Gerencia y a
los órganos rectores (especialmente a la Junta Ejecutiva). Se ha invertido también en el
establecimiento de un sistema claro de respuesta y seguimiento a las evaluaciones por
parte de la Gerencia. Además, cabe destacar la apropiación por parte de la Gerencia de
la metodología de evaluación para fortalecer sus instrumentos de auto-evaluación como
un acontecimiento muy importante. Entre los retos futuros se encuentra la oportunidad
de afinar y simplificar la metodología de evaluaciones aprovechando la experiencia de
los últimos años y tomando en cuenta las nuevas orientaciones estratégicas del Fondo.
7. Referencias Bibliográficas
AfDB-IFAD (2010) Towards purposeful partnerships in African agriculture. A joint
evaluation of the agriculture and rural development policies and operations in
Africa of the African Development Bank and the International Fund for
Agricultural Development. Tunis, Operations Evaluation Department African
Development Bank. Rome International Fund for Agricultural Development
Independent Office of Evaluation.
Bandstein, S., E. Hedblom (2008), IFAD’s Management Response System. The
Agreement at Completion Point Process, Stockholm: Swedish Agency for
Development Evaluation.
CGD (2006), When Will We Ever Learn? Improving Lives Through Impact
Evaluation, Washington, Centre for Global Development.
ECG (2012), ECG Big Book on Evaluation Good Practice Standards, Manila:
Evaluation Cooperation Group.
La experiencia de evaluación del Fondo internacional de Desarrollo Agrícola (FIDA)
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), 53-79
77
FIDA (1976), Convenio Constitutivo del Fondo Internacional de Desarrollo Agrícola,
Roma: Fondo internacional de desarrollo agrícola.
FIDA (2003), Política de evaluación del FIDA, Roma: Fondo internacional de
desarrollo agrícola.
FIDA (2011), Política de evaluación del FIDA revisada, Roma: Fondo internacional
de desarrollo agrícola.
FIDA (2009), Manual de evaluación. Metodología y procedimientos, Roma: Fondo
internacional de desarrollo agrícola. Ver también el anexo II de
http://www.ifad.org/gbdocs/eb/ec/e/65/EC-2010-65-W-P-6.pdf
FIDA (2010), Examen inter pares de la Oficina de Evaluación y de la función de
evaluación en el FIDA, Roma: Fondo internacional de desarrollo agrícola.
FIDA (2010a), Evaluación institucional sobre los resultados del FIDA en cuanto a la
igualdad de género y el empoderamiento de la mujer, Roma: Fondo internacional
de desarrollo agrícola.
FIDA (2011), Evaluación a nivel institucional sobre la Estrategia del FIDA para el
desarrollo del sector privado y la asociación con él, Roma: Fondo internacional
de desarrollo agrícola.
FIDA (2013), La evaluación independiente del FIDA: diez años de rendición de
cuentas, aprendizajes y transformación, Roma: Fondo internacional de desarrollo
agrícola Oficina independiente de evaluación.
FIDA (2013a), Evaluación a nivel institucional de la eficiencia institucional y la
eficiencia de las operaciones financiadas por el FIDA, Roma: Fondo internacional
de desarrollo agrícola Oficina independiente de evaluación.
FIDA (2013b), Informe sobre la eficacia del FIDA en términos de Desarrollo, Roma:
Fondo internacional de desarrollo agrícola.
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), pp.53-79
78
Fabrizio Felloni, Ashwani Muthoo y Miguel Torralba
FIDA (2014), Evaluación a nivel institucional sobre las reposiciones del FIDA,
Roma: Fondo internacional de desarrollo agrícola Oficina independiente de
evaluación.
FIDA (2014a), República del Ecuador: Evaluación del Programa en el País, Roma:
Fondo internacional de desarrollo agrícola Oficina independiente de evaluación.
Gertler, P.J., Martinez, S., Premand, P., Rawlings, L.B., Vermeersch, C.M. (2011),
Impact Evaluation in Practice. Washington DC: The World Bank.
IEG-WB (2011), Impact Evaluation in Agriculture. An Assessment of the Evidence,
Washington, The World Bank Independent Evaluation Group.
IEG-WB (2012), World Bank Group Impact Evaluations. Relevance and
Effectiveness. Washington DC, Washington, The World Bank Independent
Evaluation Group.
IFAD (2005), Corporate-level Evaluation of the Direct Supervision Pilot Programme.
Rome: International Fund for Agricultural Development Independent Office of
Evaluation.
IFAD (2007), Corporate-level Evaluation of IFAD's Field Presence Pilot Programme.
Rome: International Fund for Agricultural Development Independent Office of
Evaluation.
IFAD (2012), Rwanda Country Programme Evaluation, Rome: International Fund
for Agricultural Development Independent Office of Evaluation.
IFAD (2013), Democratic Socialist Republic of Sri Lanka. Impact Evaluation - Dry
Zone Livelihood Support and Partnership Programme, Rome: International Fund
for Agricultural Development Independent Office of Evaluation.
IFAD (2013a), Evaluation Synthesis on Water Conservation and Management,
Rome: International Fund for Agricultural Development.
La experiencia de evaluación del Fondo internacional de Desarrollo Agrícola (FIDA)
Revista de Evaluación de Programas y Políticas Públicas | Núm. 3 (2014), 53-79
79
IFAD (2014), Evaluation Synthesis on IFAD’s Engagement in Middle-income
Countries, Rome: International Fund for Agricultural Development.
IFAD (2014a), Corporate-level Evaluation of IFAD's Policy for Grant Financing,
Rome: International Fund for Agricultural Development.
Mayne, J. (2001), "Addressing Attribution Through Contribution Analysis: Using
Performance Measures Sensibly", The Canadian Journal of Program
Evaluation Vol. 16 No. 1 Pages 124
MOPAN (2013), Informe institucional - Fondo Internacional de Desarrollo Agrícola,
Paris: Red de Evaluación del Desempeño de las Organizaciones Multilaterales.
OCDE (2010), Estándares de calidad para la evaluación del desarrollo, Paris:
Organización de Cooperación y Desarrollo Económicos - Comité de Ayuda al
Desarrollo.
OECD-DAC (1991), Principles for Evaluation of Development Assistance, Paris:
Organisation for Economic Co-operation and Development.
Patton, M.Q. (2008), Utilization-focused evaluation, 4th edition. Thousand Oaks, CA:
Sage Publications.
Pawson, R., N. Tilley, (1997) Realistic Evaluation, London: Sage Publications.
Scriven, M. (2008), Summative Evaluation of RCT Methodology: An Alternative
Approach to Causal Research. Journal of Multidisciplinary Evaluation 5(9), 1124.
UNEG (2014), Estándares de evaluación en el Sistema de las Naciones Unidas,
Nueva York: Grupo de Evaluación de las Naciones Unidas.
UNEG (2014a), Normas de evaluación en el sistema de las Naciones Unidas, Nueva
York: Grupo de Evaluación de las Naciones Unidas.
White. H., D. Phillips (2012), Addressing attribution of cause and effect in small n
impact evaluations: towards an integrated fr
... Between 1983 and 2016, IOE conducted more than 420 evaluations at the country, corporate, thematic and project levels. Over the years, some evaluations have stood out as being particularly influential, having led to far-reaching and systemic, institutional change and transformation, and thus contributing to greater development effectiveness (Felloni et al., 2014(Felloni et al., , 2016Garcia, 2015). While IOE selects the topics of these evaluations, it ensures that each topic is also of priority to IFAD Management and the governing bodies. ...
Book
It looks at how evaluation practice has evolved to reflect, respond to and inform changing expectations of development assistance. It reveals how evaluation products and methodologies have benefited from key reviews, revisions and lessons learned, and also how they have progressively strengthened IFAD’s capacity to assess its operations and better understand its results. The book concludes with reflections on some of the challenges that lie ahead, including how the independent evaluation function can continue to evolve to meet future challenges and enhance the impact of development initiatives on people’s lives.
Book
Written by a team of expert practitioners at the Independent Office of Evaluation of IFAD, this book gives an overview of evaluation practice at IFAD. It looks at how evaluation practice has evolved to reflect, respond to and inform changing expectations of development assistance. It reveals how evaluation products and methodologies have benefited from key reviews, revisions and lessons learned, and also how they have progressively strengthened IFAD’s capacity to assess its operations and better understand its results. The book concludes with reflections on some of the challenges that lie ahead, including how the independent evaluation function can continue to evolve to meet future challenges and enhance the impact of development initiatives on people’s lives. This valuable insight into practice will be of interest to researchers, practitioners and policymakers in development economics, development studies and rural studies.
Book
Full-text available
http://siteresources.worldbank.org/EXTHDOFFICE/Resources/5485726-1295455628620/Impact_Evaluation_in_Practice.pdf
Article
Full-text available
The changing culture of public administration involves accountability for results and outcomes. This article suggests that performance measurement can address such attribution questions. Contribution analysis has a major role to play in helping managers, researchers, and policymakers to arrive at conclusions about the contribution their program has made to particular outcomes. The article describes the steps necessary to produce a credible contribution story.
Chapter
Full-text available
Utilization-focused evaluation begins with the premise that evaluations should be judged by their utility and actual use; therefore, evaluators should facilitate the evaluation process and design any evaluation with careful consideration of how everything that is done, from beginning to end, will affect use. This is consistent with standards developed by the Joint Committee on Standards for Evaluation and adopted by the American Evaluation Association that evaluations should be judged by their utility, feasibility, propriety, and accuracy. (See chapter on standards and principles for evaluations.)
Book
The second edition of the Impact Evaluation in Practice handbook is a comprehensive and accessible introduction to impact evaluation for policy makers and development practitioners. First published in 2011, it has been used widely across the development and academic communities. The book incorporates real-world examples to present practical guidelines for designing and implementing impact evaluations. Readers will gain an understanding of impact evaluations and the best ways to use them to design evidence-based policies and programs. The updated version covers the newest techniques for evaluating programs and includes state-of-the-art implementation advice, as well as an expanded set of examples and case studies that draw on recent development challenges. It also includes new material on research ethics and partnerships to conduct impact evaluation. The handbook is divided into four sections: Part One discusses what to evaluate and why; Part Two presents the main impact evaluation methods; Part Three addresses how to manage impact evaluations; Part Four reviews impact evaluation sampling and data collection. Case studies illustrate different applications of impact evaluations. The book links to complementary instructional material available online, including an applied case as well as questions and answers. The updated second edition will be a valuable resource for the international development community, universities, and policy makers looking to build better evidence around what works in development.
República del Ecuador: Evaluación del Programa en el País, Roma: Fondo internacional de desarrollo agrícola -Oficina independiente de evaluación
FIDA (2014a), República del Ecuador: Evaluación del Programa en el País, Roma: Fondo internacional de desarrollo agrícola -Oficina independiente de evaluación.
Corporate-level Evaluation of the Direct Supervision Pilot Programme. Rome: International Fund for Agricultural Development -Independent Office of Evaluation
IFAD (2005), Corporate-level Evaluation of the Direct Supervision Pilot Programme. Rome: International Fund for Agricultural Development -Independent Office of Evaluation.