Gouvernement du Canada

Affaires étrangères, Commerce et Développement Canada

www.international.gc.ca

ARCHIVÉE - Examen de l’efficacité du mécanisme multilatéral de prestation de l’aide de l’ACDI

Avertissement Cette page Web a été archivée dans le Web.

Contenu archivé

Information archivée dans le Web à des fins de consultation, de recherche ou de tenue de documents. Cette dernière n'a aucunement été modifiée ni mise à jour depuis sa date de mise en archive. Les pages archivées dans le Web ne sont pas assujetties aux normes qui s'appliquent aux sites Web du gouvernement du Canada. Conformément à la Politique de communication du gouvernement du Canada, vous pouvez obtenir cette information dans un autre format en communiquant avec nous.



Mars 2009

Sigles
Résumé
1.0 Objectifs de l'examen
2.0 Le mécanisme multilatéral 3.0 Méthodologie, partie 1 : Examen des évaluations 4.0 Méthodologie, partie 2 : Autres sources 5.0 Résultats, partie 1 : Examen des évaluations 6.0 Gestion axée sur l'efficacité : Organisations multilatérales 7.0 Gestion axée sur l'efficacité : Rôle de l'ACDI 8.0 Conclusions et recommandations 9.0 Réponse de la direction
Annexe 1 : Décaissements de l'ACDI par mode de financement (de 2001-2002 à 2006-2007)
Annexe 2 : Échantillon d'évaluations
Annexe 3 : Tableau de cotation des évaluations
Annexe 4 : Résultats détaillés de l'examen des évaluations
Annexe 5 : Résultats de l'examen des organisations multilatérales


Sigles


ACDI
Agence canadienne de développement international


BAfD
Banque africaine de développement


BCAH
Bureau de la coordination des affaires humanitaires


BERD
Banque européenne pour la reconstruction et le développement


BIRD
Banque internationale pour la reconstruction et le développement


BMD
Banque multilatérale de développement


CICR
Comité international de la Croix-Rouge


COMPAS
Système commun d'évaluation des performances


DGSPI
Direction générale des secteurs et des partenariats internationaux


ECG
Groupe de coopération sur l'évaluation


FAO
Organisation des Nations Unies pour l'alimentation et l'agriculture


FEM
Fonds pour l'environnement mondial


FIDA
Fonds international de développement agricole


FNUAP
Fonds des Nations Unies pour la population


GCRAI
Groupe consultatif pour la recherche agricole internationale


GFATM
Fonds mondial de lutte contre le sida, la tuberculose et le paludisme


GAR
Gestion axée sur les résultats


GRD
Gestion axée sur les résultats de développement


IFC
Société financière internationale


IFI
Institution financière internationale


IFRC
Fédération internationale des Sociétés de la Croix-Rouge et du Croissant-Rouge



MERA
Évaluation de l'efficacité et de la pertinence des institutions multilatérales



MOPAN
Réseau d'évaluation du rendement des organisations multilatérales


OMD
Objectifs du Millénaire pour le développement


OEA
Organisation des États américains


OMS
Organisation mondiale de la santé


ONU
Organisation des Nations Unies


ONUSIDA
Programme commun des Nations Unies sur le VIH/sida


PAM
Programme alimentaire mondial


PNUD
Programme des Nations Unies pour le développement


UNEG
Groupe des Nations Unies sur l'évaluation


UNHCR
Haut Commissariat des Nations Unies pour les réfugiés


UNICEF
Fonds des Nations Unies pour l'enfance


UNMAS
Service de l'action antimines des Nations Unies


UNRWA
Office de secours et de travaux des Nations Unies pour les réfugiés de Palestine dans le Proche-Orient



VIH/sida
Virus de l'immunodéficience humaine/syndrome d'immunodéficience acquise





Résumé

Objectifs de l'examen

L'examen de l'efficacité du mécanisme multilatéral de prestation de l'aide de l'Agence canadienne de développement international (ACDI) visait les objectifs suivants :
  • Établir le profil d'utilisation du mécanisme multilatéral par l'ACDI;
  • Formuler des constatations claires et justifiables sur l'efficacité de ce mécanisme;
  • Cerner et évaluer ce qu'ont fait les principaux partenaires multilatéraux de l'ACDI pour améliorer la gestion en fonction de l'efficacité (y compris les rapports sur l'efficacité, la gestion axée sur les résultats ainsi que le suivi et l'évaluation) au cours de la période visée par l'examen;
  • Décrire le rôle de l'ACDI pour ce qui est d'offrir une aide ou de donner des conseils aux principales organisations multilatérales dans le but d'améliorer l'efficacité du mécanisme;
  • Formuler quelques recommandations touchant l'amélioration de l'efficacité du mécanisme multilatéral;
  • Aider l'ACDI à répondre à la demande exprimée par le Secrétariat du Conseil du Trésor relativement à l'examen du mécanisme multilatéral.
Méthodologie

L'examen a été effectué à partir des trois principales sources de données suivantes : examen systématique des évaluations publiées des organisations multilatérales et de leurs programmes; entrevues menées auprès des employés de l'ACDI et de plus de 20 partenaires multilatéraux clés; examen des politiques et rapports sur la gestion axée sur l'efficacité du développement et de l'aide humanitaire.

L'examen des évaluations a porté sur un échantillon représentatif de 117 rapports publiés entre avril 2004 et avril 2008, répartis comme suit : 34 évaluations d'institutions financières internationales (IFI) et de leurs programmes, 66 évaluations d'organismes des Nations Unies et de leurs programmes et 17 évaluations des programmes d'autres organisations, y compris les organismes de la Croix-Rouge.

L'examen des évaluations a été fait en fonction des cinq critères suivants : pertinence, atteinte des objectifs, rentabilité, durabilité et certains aspects de la gestion interne, à savoir la gestion axée sur les résultats (GAR), l'évaluation, les rapports sur l'efficacité et la gestion des connaissances. Selon les constatations faites, une des cotes suivantes était attribuée à chaque critère : très insatisfaisant, insatisfaisant, satisfaisant ou très satisfaisant. La grille de cotation des évaluations se trouve à l'Annexe 3 du présent rapport.

L'équipe d'examen a interrogé des membres du personnel de 21 organisations multilatérales qui reçoivent plus de 87 % des 7,6 milliards de dollars investis par l'ACDI entre 2001-2002 et 2006-2007 par le biais du mécanisme multilatéral. Elle a ensuite analysé les documents de chacune de ces organisations portant sur la GAR, l'évaluation et l'efficacité, puis attribué une cote à chaque organisation pour la gestion axée sur l'efficacité.

Les entrevues et l'analyse documentaire ont également servi à déterminer ce que fait l'ACDI pour amener les organisations multilatérales à améliorer l'efficacité de leurs programmes d'aide au développement et d'aide humanitaire.

Limites

Il importe de mentionner que les méthodes utilisées présentaient plusieurs limites importantes. Bien que ces limites n'aient pas nui à l'atteinte des objectifs de l'examen, la prudence s'impose dans l'interprétation des résultats.
  • Les conclusions énoncées ci-après au sujet de l'efficacité de l'aide au développement et de l'aide humanitaire s'appuient sur l'examen d'un échantillon d'évaluations publiées et sont utiles pour l'évaluation de l'efficacité des organisations multilatérales, en tant que groupe, ou de sous-groupes importants comme les IFI ou les organismes de l'Organisation des Nations Unies (ONU). Elles ne portent pas cependant sur l'évaluation de l'efficacité de chacune des organisations;

  • Pour l'examen des évaluations, l'équipe a utilisé les critères d'efficacité définis par les institutions elles-mêmes plutôt que d'imposer sa propre définition des cinq critères établis dans le cadre de l'examen. L'équipe d'examen a cependant pu définir et appliquer des lignes directrices très claires sur la façon de classer les constatations pour chaque cote de rendement (insatisfaisant, satisfaisant, etc.);

  • Pour certains systèmes de gestion interne, on n'a évalué que les éléments qui se rapportaient directement à la gestion axée sur l'efficacité du développement : GAR, évaluation, rapports sur l'efficacité et gestion des connaissances;

  • L'évaluation de ces systèmes était fondée sur un nombre très limité d'entrevues menées auprès de chaque organisation et sur une analyse documentaire. Les constatations dégagées ne sont pas destinées à tracer un portrait fidèle pour une organisation donnée; ils constituent plutôt un indicateur de la tendance générale en faveur du renforcement de la gestion dans l'optique de l'efficacité parmi les principaux partenaires multilatéraux de l'ACDI;

  • L'évaluation de certains aspects des systèmes de gestion interne n'a pas permis de recenser les organisations multilatérales affichant un excellent rendement et celle dont le rendement laisse à désirer, ce qui n'était d'ailleurs pas l'objectif visé. Elle donne plutôt un aperçu de l'état actuel de certains systèmes de gestion axée sur l'efficacité du développement et, surtout, elle illustre la tendance en ce qui concerne l'amélioration de ces systèmes dans le contexte du mécanisme multilatéral en général.
Constatations et conclusions

Efficacité de l'aide au développement et de l'aide humanitaire

À partir des 117 évaluations examinées et d'une mesure globale (c'est-à-dire une moyenne des cotes attribuées pour les critères suivants : atteinte des objectifs, pertinence, rentabilité et durabilité), l'équipe d'examen a coté les programmes des organisations multilatérales : 69 % des programmes ont obtenu la cote « très satisfaisant » (3 %) ou « satisfaisant » (66 %) en ce qui a trait à l'efficacité de l'aide au développement et de l'aide humanitaire; 30 % des programmes évalués ont été cotés insatisfaisants et 1 %, très insatisfaisants.

Répartition des initiatives évaluées, par cote de rendement

Critères Pourcentage par cote
N TI I S TS Total
Atteinte des objectifs 114 1 % 28 % 67,5 % 3,5 % 100 %
Pertinence 113 0 % 12 % 83 % 5 % 100 %
Rentabilité 67 0 % 43 % 54 % 3 % 100 %
Durabilité 106 3 % 39 % 59 % 0 % 100 %
Efficacité de l'aide au développement et de l'aide humanitaire   1 % 30 % 66 % 3 % 100 %

N = Nombre d'évaluations en faisant état, TI = Très insatisfaisant, I = Insatisfaisant, S = Satisfaisant, TS = Très satisfaisant.

Les programmes des organismes de l'ONU et des IFI ont obtenu des cotes relativement semblables (satisfaisant ou très satisfaisant) en ce qui a trait à la majorité des critères. C'est le cas de 82 % des programmes des IFI et de 92 % des programmes des organismes de l'ONU relativement à la pertinence. En ce qui a trait à l'atteinte des objectifs, la cote « satisfaisant » ou « très satisfaisant » a été attribuée à 70 % des programmes des IFI et à 67 % des programmes des organismes de l'ONU. Sur le plan de la durabilité, 56 % des programmes des organismes de l'ONU et 49 % des programmes des IFI ont obtenu la cote « satisfaisant ». Compte tenu du petit nombre d'évaluations traitant de la rentabilité, on n'a établi qu'une cote globale pour toutes les organisations (57 % ont obtenu la cote « satisfaisant » ou « très satisfaisant »).

Gestion axée sur l'efficacité : Organisations multilatérales

Pour mesurer l'utilité des systèmes de gestion interne qui influent directement sur l'efficacité du développement, l'équipe a examiné les rapports d'évaluation existants et a fait sa propre évaluation au moyen d'entrevues et d'une analyse structurée des documents stratégiques, rapports et lignes directrices des organisations.

Dans 48 % des cas, les programmes multilatéraux évalués ont été cotés satisfaisants ou très satisfaisants en ce qui a trait à la planification stratégique et à l'établissement des priorités. Par contre, pour ce qui est de la GAR et des services d'évaluation, seulement 23 % et 24 % des programmes ont obtenu ces cotes, tandis qu'au chapitre de la gestion des connaissances, la proportion est de 31 %.

Ces constatations négatives pour la gestion interne peuvent être attribuables au fait que certaines des évaluations examinées portaient sur des programmes et des projets antérieurs à 2004. Ils peuvent également illustrer le fait que la fonction d'évaluation est décentralisée au sein de nombreuses organisations multilatérales (un grand nombre d'évaluations sont lancées et gérées dans les bureaux de pays) et la difficulté connexe de faire respecter les normes d'évaluation et d'appliquer les procédures d'assurance de la qualité.

L'analyse que l'équipe d'examen a faite elle-même des systèmes de GAR, d'évaluation et d'établissement de rapports sur l'efficacité dont disposent les principaux partenaires multilatéraux de l'ACDI a donné de meilleurs résultats que ceux mentionnés dans les évaluations examinées.

Deux facteurs importants peuvent expliquer l'écart :
  1. Dans de nombreux cas, les évaluations portaient sur les systèmes et processus de GAR et d'évaluation décentralisés, tandis que l'équipe d'examen a utilisé une perspective centralisée (administration centrale);

  2. Certaines des évaluations examinées étaient antérieures à la période visée par l'examen (2004) et portaient sur les systèmes et processus utilisés à l'époque, et même cinq ans avant la date de publication des résultats d'évaluation. Elles ne font donc pas état des efforts considérables qu'un grand nombre d'organisations ont déployées ces dernières années pour améliorer ces systèmes.
Dans plus de la moitié des cas (11 sur 21), les systèmes d'établissement de rapports, de GAR et d'évaluation des organisations multilatérales qui ont été examinés par l'équipe ont obtenu une cote élevée (2,0 sur un maximum de 3,0); plus des trois quarts (17 sur 21) ont reçu une cote acceptable, soit 1,5. Seulement trois des organisations multilatérales examinées ont obtenu une cote de 1,0 ou inférieure, ce qui est nettement insatisfaisant. Selon le système de cotation utilisé par l'équipe d'examen, les IFI ont obtenu les cotes les plus élevées et les organisations politiques, les plus faibles.

Les organismes de l'ONU ont obtenu une cote moyenne pour ce qui est des systèmes de GAR, d'évaluation et de rapports sur les résultats, mais rien dans leur structure ne les empêche de faire mieux. L'Organisation mondiale de la santé (OMS), qui a obtenu la cote la plus élevée, en est un exemple. De même, le Programme des Nations Unies pour le développement (PNUD) pourrait également recevoir la cote la plus élevée une fois son nouveau cadre de gestion et de responsabilisation axé sur les résultats pleinement opérationnels.

Surtout, on observe une tendance marquée au sein des organisations multilatérales en faveur de l'amélioration des systèmes de GAR, d'évaluation et de rapports sur les résultats, comme de l'établissement de liens plus étroits entre ces systèmes et les processus de conception et de mise en oeuvre des programmes. Sur les 21 organisations examinées, 15 se sont bien classées pour ce qui est des efforts faits en matière d'affectation des ressources, de définition des résultats, de présentation de rapports sur les résultats, d'évaluation indépendante et objective ainsi que d'établissement d'une corrélation entre l'information sur le rendement et les programmes et budgets.

Globalement, les organismes de l'ONU et les IFI ont pris des mesures considérables pour améliorer les évaluations et les rapports sur les résultats. Le Groupe des Nations Unies sur l'évaluation (UNEG), par exemple, a réalisé d'importants progrès depuis 2004 dans les domaines suivants :
  • promotion du professionnalisme des évaluateurs de l'ONU;
  • définition et communication de normes d'évaluation pour préserver et améliorer l'indépendance et la pertinence de la fonction;
  • adoption de mesures pour que l'évaluation joue un rôle important dans la réforme de l'ONU.
Le Groupe de coopération sur l'évaluation (ECG) joue un rôle similaire auprès des IFI. Il a défini des normes de bonnes pratiques applicables aux évaluations des différents types de prêts qui sont effectuées par ses membres (investissements du secteur public, prêts à l'appui des réformes et prêts pour l'aide aux pays, par exemple). Par ailleurs, l'ECG effectue régulièrement des études comparatives pour évaluer le respect de ces normes par les organisations.

Au cours de la période en question ici, les IFI ont également participé à l'élaboration et à l'exploitation du Système commun d'évaluation des performances (COMPAS), qui vise essentiellement à rendre compte de l'efficacité organisationnelle en ce qui a trait à la gestion axée sur l'efficacité du développement dans les pays.

L'examen a révélé que les organisations multilatérales investissent massivement dans l'amélioration des systèmes permettant la gestion axée sur l'efficacité, notamment les systèmes de GAR, d'évaluation et de rapports sur les résultats. Ces investissements sont faits par les organisations à titre individuel (sauf quelques exceptions notables) et à l'échelle systémique. L'ACDI et les autres donateurs devront trouver des façons de suivre l'évolution de ces investissements pour savoir s'ils permettent d'améliorer l'efficacité de l'aide au développement et de l'aide humanitaire.

Gestion axée sur l'efficacité : Rôle de l'ACDI

La Direction générale des secteurs et des partenariats internationaux (DGSPI) de l'ACDI s'est efforcée de consolider sa capacité à faire le suivi de l'efficacité des organisations multilatérales La DGSPI est la direction générale de l'ACDI qui entretient le plus de liens avec les organisations multilatérales1, mais elle n'a pas l'exclusivité à cet égard. Par exemple, la Direction générale de l'Europe, du Moyen-Orient et du Maghreb (DGEMM) assume la responsabilité des relations avec la Banque européenne pour la reconstruction et le développement (BERD) et l'Office de secours et de travaux des Nations Unies pour les réfugiés de Palestine dans le Proche-Orient (UNRWA). Elle a entre autres amélioré ses processus internes de suivi, y compris les sondages sur l'efficacité des organisations multilatérales et le processus d'évaluation de l'efficacité et de la pertinence des institutions multilatérales (MERA).

En 2008, la DGSPI a entrepris une démarche améliorée et plus rigoureuse, soit l'examen des programmes multilatéraux. Cet examen continu vise précisément à donner à la ministre les renseignements les plus à jour dont dispose l'ACDI sur les rôles ainsi que les forces et les faiblesses des organisations qui constituent le mécanisme multilatéral.

En plus des processus et des systèmes internes de suivi dont elle s'est dotée, l'ACDI contribue au Réseau d'évaluation du rendement des organisations multilatérales (MOPAN) et en tire parti. Récemment, l'ACDI était représentée au sein du groupe de travail mis sur pied par le MOPAN pour concrétiser l'approche commune améliorée en 2009.

Les entrevues menées auprès des organisations multilatérales ont permis de confirmer que l'ACDI fait une promotion soutenue et efficace de l'augmentation des investissements dans les systèmes en vue d'améliorer la gestion axée sur l'efficacité, notamment les systèmes de GAR, d'évaluation et de rapports sur l'efficacité, aux niveaux des résultats et des impacts.

L'ACDI a également participé à la définition et à l'approbation de décisions prises par les conseils d'administration des organisations multilatérales exigeant de ces dernières qu'elles améliorent leurs systèmes de gestion axée sur l'efficacité.

Par contre, nombre d'employés des organisations multilatérales interrogés par l'équipe d'examen ont dit ne pas être au courant de l'existence d'un plan ou d'une stratégie de l'ACDI concernant l'évolution future de leur organisation. Ils ont reconnu le rôle joué par l'ACDI dans la promotion de l'amélioration des systèmes de GAR, d'évaluation et d'établissement de rapports sur l'efficacité, mais n'ont pas été en mesure d'associer ce soutien à une stratégie de l'ACDI (ou du Canada) visant l'organisation en tant que telle.

Recommandations

À la lumière des constatations et des conclusions générales, l'équipe responsable de l'examen de l'efficacité du mécanisme multilatéral de prestation de l'aide de l'ACDI fait les recommandations suivantes à l'ACDI :
  1. Définir une stratégie concise pour chaque organisation multilatérale qui reçoit un important financement, afin que l'organisation ait une meilleure idée des buts et des attentes de l'ACDI. En tant que principal intervenant de l'ACDI responsable des relations avec les partenaires multilatéraux, la Direction générale des secteurs et des partenariats internationaux pourrait élaborer de telles stratégies. Celles-ci devraient en outre promouvoir une plus grande cohésion entre les directions générales et les bureaux de l'ACDI quant aux priorités que cette dernière devrait se donner;

  2. Explorer, avec d'autres organismes donateurs d'aide bilatérale, la possibilité d'effectuer un examen similaire d'évaluations en vue de déterminer l'efficacité des différentes organisations multilatérales. Toute méthode proposée en ce sens devrait s'appuyer sur les travaux entrepris dans le cadre de l'approche commune du MOPAN, qui est présentement mise à l'essai;

  3. Continuer d'insister, auprès des organisations multilatérales, sur l'importance de l'amélioration des systèmes et processus de gestion axée sur l'efficacité, y compris les systèmes de GAR, d'évaluation et d'établissement de rapports;

  4. Encourager les organismes de l'ONU à renforcer leur capacité en matière d'assurance de la qualité et d'assistance technique afin d'améliorer la qualité des évaluations réalisées par les bureaux de pays et à l'échelon régional;

  5. Partant du fait que sa capacité à influer sur la teneur et l'orientation des programmes des organisations multilatérales dépend entre autres de la forme de soutien fournie (financement de base, financement d'une initiative ou financement multi-bilatéral) et que les possibilités seront limitées dans les cas où un financement de base est accordé, l'ACDI devrait mettre l'accent sur les facteurs de programmation qui favorisent le plus l'amélioration de l'efficacité lorsqu'elle offre un financement de base, un financement pour des initiatives précises ou un soutien multi-bilatéral. Par exemple :

    1. Insistance sur l'harmonisation, la prise en charge par les pays et les principes de la Déclaration de Paris;
    2. Soutien efficace et constant du développement des capacités des institutions nationales et des collectivités locales pour la planification et l'établissement des priorités, mais aussi pour l'exploitation et le maintien des infrastructures ainsi que la prestation des services une fois le programme terminé;
    3. Participation accrue des organisations de la société civile et du secteur privé à la planification et à l'établissement des priorités, de même qu'à l'exécution des programmes;
    4. Ciblage clair et uniforme des services rattachés aux programmes;
    5. Analyse coûts-avantages et analyse de la viabilité économique lors de la conception des programmes, utilisation des ressources locales et recours accru aux partenariats public-privé. De manière générale, les évaluations préconisent une plus grande insistance sur la rentabilité lors de la conception et de l'évaluation des programmes.

1.0 Objectifs de l'examen

L'examen de l'efficacité du mécanisme multilatéral de prestation de l'aide de l'Agence canadienne de développement international (ACDI) visait les objectifs suivants :
  • Établir le profil d'utilisation du mécanisme multilatéral par l'ACDI;
  • Formuler des constatations claires et justifiables sur l'efficacité de ce mécanisme;
  • Cerner et évaluer ce qu'ont fait les principaux partenaires multilatéraux de l'ACDI pour améliorer la gestion axée sur l'efficacité (y compris les rapports sur l'efficacité, la gestion axée sur les résultats ainsi que le suivi et l'évaluation) au cours de la période visée par l'examen;
  • Décrire le rôle de l'ACDI pour ce qui est d'offrir une aide ou de donner des conseils aux principales organisations multilatérales dans le but d'améliorer l'efficacité du mécanisme;
  • Formuler quelques recommandations touchant l'amélioration de l'efficacité du mécanisme multilatéral;
  • Aider l'ACDI à répondre à la demande exprimée par le Secrétariat du Conseil du Trésor relativement à l'examen du mécanisme multilatéral.


2.0 Le mécanisme multilatéral

2.1 Portée de l'examen

L'examen a porté sur les divers types d'organisations multilatérales par l'entremise desquelles l'ACDI investit des ressources, ainsi que sur les différents modes de financement utilisés (financement de base, financement d'initiatives particulières et financement multi-bilatéral). Pour les besoins de l'examen, le financement d'initiatives particulières s'entend du financement multilatéral affecté par l'ACDI à une initiative donnée réalisée par une organisation multilatérale, tandis que le financement multi-bilatéral s'entend de l'utilisation d'un financement bilatéral pour soutenir les activités d'organisations multilatérales dans un pays ou une région en développement quelconque.

L'examen portait sur une période de six ans, soit de 2001-2002 à 2006-2007, car on souhaitait obtenir les meilleures données possibles sur l'efficacité.

2.2 Investissements de l'ACDI dans le mécanisme multilatéral

Toutes formes de financement confondues, l'ACDI a versé 7,6 milliards de dollars par l'entremise d'organisations multilatérales entre 2001-2002 et 2006-2007, somme qui est répartie comme suit : 5,5 milliards de dollars (72 %) versés par la DGSPI (autrefois la Direction générale des programmes multilatéraux); 2,1 milliards de dollars (28 %) sous forme de financement multi-bilatéral acheminé dans le cadre des programmes-pays et des programmes régionaux. Le financement multi-bilatéral s'est accru par rapport à l'ensemble des investissements multilatéraux de l'ACDI, passant de 15,4 % en 2001-2002 à 40,7 % en 2006-2007.

Le financement fourni par la DGSPI est demeuré relativement stable (tous programmes et types de financement confondus); il est essentiellement destiné à un petit groupe d'organisations.

Dans le cadre de l'examen, l'ACDI a surtout voulu évaluer le rendement d'un noyau d'organisations multilatérales. Une analyse des données sur les organisations qui reçoivent le plus de financement a permis de cibler 23 organisations multilatérales, qui ont reçu une aide financière totalisant 6,8 milliards de dollars, soit 89,7 % de l'ensemble du financement versé par le mécanisme multilatéral de l'ACDI au cours de la période à l'étude. La liste des principales organisations visées par l'examen figure au tableau 2.1, avec la somme totale accordée à chacune par l'ACDI de 2001-2002 à 2006-2007.

Tableau 2.1 : Fonds versés par l'ACDI aux 23 organisations multilatérales, de 2001 à 2006-2007

Rang Organisation multilatérale Financement total
1 Banque mondiale - y compris la Société financière internationale (IFC) et la Banque internationale pour la reconstruction et le développement (BIRD) 974 977 333 $
2 Programme alimentaire mondial (PAM) 795 449 307 $
3 Programme des Nations Unies pour le développement (PNUD) 694 850 945 $
4 Fonds des Nations Unies pour l'enfance (UNICEF) 606 626 431 $
5 Banque asiatique de développement (BAsD) 581 899 723 $
6 Fonds mondial de lutte contre le sida, la tuberculose et le paludisme (GFATM) 528 528 249 $
7 Banque africaine de développement (BAfD) 498 067 344 $
8 Organisation mondiale de la santé (OMS) ­- y compris le Partenariat Halte à la tuberculose 479 884 338 $
9 Fonds pour l'environnement mondial (FEM) 302 401 001 $
10 Haut Commissariat des Nations Unies pour les réfugiés (UNHCR) 195 130 663 $
11 Alliance GAVI - UNICEF 188 000 000 $
12 Fonds des Nations Unies pour la population (FNUAP) 179 573 827 $
13 Comité international de la Croix-Rouge (CICR) 145 638 200 $
14 Fonds international de développement agricole (FIDA) 124 255 749 $
15 Office de secours et de travaux des Nations Unies pour les réfugiés de Palestine dans le Proche-Orient (UNRWA) 111 484 246 $
16 Groupe consultatif pour la recherche agricole internationale (GCRAI) 80 620 000 $
17 Fonds du Commonwealth pour la coopération technique (CFTC) 76 565 000 $
18 Service de l'action antimines des Nations Unies (UNMAS) 53 226 000 $
19 Banque européenne pour la reconstruction et le développement (BERD) 52 470 726 $
20 Bureau de la coordination des affaires humanitaires (BCAH) 44 092 000 $
21 Fédération internationale des Sociétés de la Croix-Rouge et du Croissant-Rouge (IFRC) 42 265 570 $
22 Organisation des États américains (OEA) 40 842 468 $
23 Fiducie d'aide internationale Croix-Rouge du Canada 30 240 399 $
  Total 6 827 089 519 $


3.0 Méthodologie, partie 1 : Examen des évaluations

L'équipe a examiné systématiquement les rapports d'évaluation rendus publics qui portaient sur l'efficacité du travail sur le terrain des 23 organisations multilatérales figurant dans le tableau 2.1. Les évaluations suivantes devaient être examinées :
  • Évaluations menées par et pour les organismes de l'ONU sur la liste;
  • Évaluations menées par et pour les IFI sur la liste;
  • Évaluations de programmes institutionnels et internationaux menées pour le compte de plus d'un organisme donateur, l'ACDI y prenant une part active;
  • Évaluations de programmes et projets multi-bilatéraux appuyés par l'ACDI.

3.1 Échantillonnage

Une recherche en ligne des évaluations accessibles en mai 2008 a permis de déterminer que plus de 300 rapports d'évaluation étaient accessibles ou pouvaient être obtenus sur demande par l'équipe d'examen. Mentionnons entre autres de nombreux rapports d'évaluation de projet qui, en raison de leur portée limitée, ne permettaient que de mesurer l'efficacité sur le terrain d'éléments à l'échelle locale. La liste a donc été ramenée à un peu plus de 200 rapports d'évaluation qui portaient sur :
  • Une institution multilatérale dans son ensemble (comme l'Évaluation externe indépendante du Fonds international de développement agricole);
  • Un programme sectoriel mondial ou régional mis en oeuvre par une des 23 organisations;
  • Un programme-pays de grande envergure mis en oeuvre par une des 23 organisations.
Une équipe de quatre analystes, dirigée par le chef de l'équipe d'examen, a finalement analysé un échantillon représentatif de 117 rapports d'évaluation rendus publics entre avril 2004 et avril 2008. L'échantillon comprenait les évaluations suivantes :
  • 34 évaluations d'IFI et de leurs programmes, notamment la Banque mondiale, la BAsD, la BAfD, le FIDA et la BERD;
  • 66 évaluations des organismes de l'ONU et de leurs programmes, notamment le PNUD, l'UNICEF, le GFATM, l'OMS, l'Alliance GAVI, la FAO, le FNUAP, l'UNHCR, le GCRAI, l'UNMAS et le BCAH;
  • 17 évaluations d'autres organisations, y compris de grandes organisations comme l'OEA et des organisations ou programmes de plus petite envergure qui reçoivent des fonds multi-bilatéraux : la Banque de céréales vivrières du Canada, le Centre international Kofi Annan de formation au maintien de la paix, le Programme de solidarité nationale en Afghanistan et le Programme de développement des entreprises en Asie du Sud.
Trois facteurs importants expliquent le nombre élevé d'évaluations touchant des organismes des Nations Unies :
  • Le fait que 13 des 23 organisations sont des organismes de l'ONU;
  • La nécessité d'inclure des évaluations de programmes multi-bilatéraux, lesquels sont souvent réalisés par l'intermédiaire d'organismes de l'ONU;
  • La volonté d'inclure des évaluations effectuées par un groupe de donateurs ou par les pays et soutenues par l'ACDI, lesquelles visaient souvent des organismes de l'ONU.
Parmi les 117 évaluations retenues, 19 étaient des évaluations conjointes largement appuyées ou dirigées par l'ACDI et 14 portaient sur l'utilisation par l'ACDI du mécanisme multi-bilatéral (là où elle confie la mise en oeuvre d'une partie de son programme bilatéral dans un pays à une institution multilatérale).

La liste complète des évaluations est fournie à l'Annexe 2 du rapport.

3.2 Critères et notation

Les constatations issues de chaque évaluation ont été passées en revue en fonction de cinq critères précis et de leurs composantes, décrits au tableau 3.1.

Tableau 3.1 : Critères d'examen des évaluations

Critère principal Composantes
1. Pertinence 1.1 Programmes et projets de développement de l'organisation allant dans le sens des objectifs de développement nationaux et internationaux.

1.2 Activités d'aide humanitaire de l'organisation coordonnées avec celles d'autres organisations et allant dans le sens des priorités nationales.

1.3 Participation de l'organisation aux activités des organes locaux de planification et de coordination.
2. Aspects de la gestion interne 2.1 Efficacité de la planification stratégique et de l'établissement des priorités au sein de l'organisation.

2.2 Efficacité des systèmes de gestion axée sur les résultats.

2.3 Fiabilité et utilité des systèmes et processus d'évaluation des programmes.

2.4 Efficacité des systèmes et processus de gestion des connaissances.
3. Atteinte des objectifs 3.1 Degré de réalisation des objectifs des programmes et projets de développement et d'aide humanitaire.
4. Rentabilité 4.1 Rentabilité des programmes et projets de l'organisation.
5. Durabilité 5.1 Maintien des avantages pour les participants après la fin du programme ou du projet.

5.2 Programmes et projets de l'organisation tenant compte de la capacité des institutions locales relativement au maintien des résultats.

5.3 Programmes et projets de l'organisation prévoyant des ressources humaines et autres adéquates (y compris les ressources du gouvernement hôte).

Les constatations issues de chaque évaluation ont ensuite été classées selon une échelle à quatre échelons (très insatisfaisant, insatisfaisant, satisfaisant, très satisfaisant). De plus, chaque analyste a inclus des commentaires associés à chaque évaluation au sujet des facteurs qui ont déterminé le classement et qui pourraient avoir contribué à l'attribution d'une cote satisfaisante ou insatisfaisante. La grille de cotation est présentée à l'Annexe 3.

Les constatations touchant la gestion interne ont ensuite été analysées parallèlement aux analyses des entrevues et de la documentation (voir la section 4).

3.3 Processus et assurance de la qualité

L'équipe d'examen a d'abord établi une grille de cotation sommaire (voir l'Annexe 3), laquelle comporte une description détaillée (un paragraphe) de chaque niveau de notation associé à chacun des critères secondaires. À partir de la grille et du guide connexe, l'équipe a analysé une évaluation à titre d'essai afin d'apporter les correctifs nécessaires à la notation. De plus, le chef de l'équipe a comparé les grilles d'évaluation aux constatations énoncées dans les rapports d'évaluation à diverses étapes du processus. Enfin, il a passé en revue les 117 fiches d'évaluation remplies pour vérifier la cohérence de l'interprétation des critères d'examen et des commentaires. Dans de rares cas, des changements mineurs ont été apportés pour garantir l'uniformité du travail des différents analystes.

Les résultats de la méta-évaluation sont présentés aux sections 5.0 et 6.0. L'Annexe 4 renferme les résultats détaillés.

3.4 Limites

L'équipe a pu examiner un échantillon convenable d'évaluations représentant environ la moitié de tous les rapports rendus publics qui satisfaisaient aux critères de sélection (publié, démontrant l'indépendance, répondant aux critères de notation de la qualité et portant sur des programmes institutionnels, internationaux, régionaux ou nationaux), mais ce genre de méta-examen comporte tout de même certaines limites :
  • Dans l'ensemble, le nombre d'évaluations est raisonnable, mais il diminue lorsqu'on compare les résultats de différents types d'organisations (IFI et organismes de l'ONU, par exemple);

  • La taille de l'échantillon ne permet pas d'évaluer le rendement d'organisations données ni de recenser les organisations multilatérales affichant un excellent rendement et celle dont le rendement laisse à désirer (ce n'était d'ailleurs pas l'objectif visé). Les résultats ne sont significatifs que pour les organisations visées par l'évaluation en tant que groupe et pour certains sous-groupes et certains enjeux (p. ex. les IFI et les organismes de l'ONU);

  • Les évaluations ne portaient pas nécessairement sur l'ensemble des critères définis pour l'examen. La rentabilité, par exemple, n'était visée que dans 67 des 117 évaluations. Par ailleurs, seulement quelques-uns des facteurs ayant une incidence sur la rentabilité relèvent des organisations;

  • Comme pour toute méta-évaluation, la définition précise d'un critère donné dépend en grande partie de la définition utilisée dans chaque évaluation. Dans le cadre de l'examen, on a d'abord évalué la qualité globale des rapports, puis on a déterminé si un critère quelconque avait été inclus, avant de classer les constatations;

  • Afin de garantir l'uniformité du classement des constatations relatives à chaque critère et sous-critère, l'équipe a utilisé des définitions très précises des données nécessaires pour chaque cote d'efficacité (très insatisfaisant, insatisfaisant, satisfaisant, très satisfaisant), et ce, pour les divers critères.
L'équipe d'examen a pris soin de présenter le nombre d'évaluations pertinentes à l'appui de chaque constatation formulée. Lorsque le nombre (N) ne permet pas de formuler des constatations, une mention à cet égard est faite.


4.0 Méthodologie, partie 2 : Autres sources

4.1 Entrevues

Pour étayer les constatations de la méta-évaluation et comprendre l'état actuel de la gestion axée sur l'efficacité du développement dans les organisations multilatérales, l'équipe d'examen a interrogé des représentants de 21 organisations multilatérales importantes, dont le Programme commun des Nations Unies sur le VIH/sida (ONUSIDA) et l'Organisation des Nations Unies pour l'alimentation et l'agriculture (FAO) qui, bien qu'ils ne figurent pas dans le tableau 2.1, sont d'importants partenaires multilatéraux de l'ACDI. Les organisations suivantes, qui font partie des 23 organisations mentionnées dans le tableau 2.1, n'ont pas été incluses dans le processus d'entrevue : l'UNRWA, le GCRAI, l'UNMAS et la Fiducie d'aide internationale Croix-Rouge du Canada.

Dans chaque cas, l'équipe d'examen a rencontré les responsables des systèmes de gestion axée sur les résultats de l'aide au développement et de l'aide humanitaire et les responsables du suivi et de l'évaluation.

De plus, l'équipe s'est réunie à plusieurs reprises avec des employés de l'ACDI responsables de la gestion de la coopération avec les organisations multilatérales, à l'administration centrale et dans les missions (Genève, Londres, New York, Rome, Washington), afin de discuter de leurs rapports avec ces organisations en ce qui a trait à la gouvernance et au soutien.

Les entrevues avec le personnel de l'ACDI ont porté en particulier sur les efforts déployés par l'Agence pour améliorer l'efficacité des institutions clés qui font partie du mécanisme multilatéral. Les réponses obtenues ont été comparées aux opinions exprimées par le personnel des organisations visées.

4.2 Analyse documentaire

Outre la méta-évaluation décrite à la section 3.0, l'équipe d'examen a réuni et analysé des documents internes qui exposent la façon dont les organisations multilatérales définissent l'efficacité de l'aide au développement et en rendent compte, y compris les rapports annuels sur les résultats du développement, les rapports présentés à leurs organes directeurs ainsi que les documents et lignes directrices stratégiques sur les systèmes et approches en matière de gestion axée sur l'efficacité du développement. Ces documents ont servi à contre-vérifier les résultats des entrevues et à illustrer de manière concrète certaines des percées et des réformes réalisées par les organisations qui ont été mentionnées lors des entrevues.

4.3 Limites

Compte tenu de l'envergure du mécanisme multilatéral et du temps/des ressources dont disposait l'équipe, ni les entrevues ni les analyses documentaires ne peuvent être considérées comme exhaustives. Au sein de chaque organisation multilatérale, l'équipe a interrogé des professionnels qui sont directement chargés de l'évaluation et de la GAR, ou qui contribuent à ces activités, mais seulement à l'administration centrale. Dans certaines organisations, l'équipe a également rencontré des employés responsables des relations avec les donateurs et des employés chargés de la planification stratégique et des relations avec l'organe directeur. Dans un petit nombre d'organisations, cependant, l'équipe n'a pu rencontrer qu'un employé (généralement affecté à l'évaluation ou à la GAR).

De même, l'analyse documentaire, qui était relativement élaborée, n'incluait pas tous les rapports accessibles portant sur l'efficacité de l'aide au développement et de l'aide humanitaire des différentes organisations. L'équipe d'examen a forcément choisi les documents clés les plus récents qui décrivaient les systèmes de gestion axée sur l'efficacité de chaque organisation, et les principaux rapports annuels sur l'efficacité.

Les limites des entrevues et de l'analyse documentaire sont particulièrement importantes dans le contexte de l'interprétation des constatations concernant la gestion axée sur l'efficacité au sein des organisations multilatérales, présentés à la section 6.1.

Lors des entrevues et de l'analyse documentaire, l'équipe a porté attention à trois systèmes clés de gestion interne : la gestion axée sur les résultats (GAR), l'évaluation des programmes et projets et les rapports sur l'efficacité. Ces systèmes ont été choisis parce qu'ils sont directement liés à la gestion axée sur l'efficacité de l'aide au développement. L'équipe d'examen n'a pas évalué d'autres systèmes de gestion interne et de gouvernance, comme les systèmes de planification et d'approbation des projets, de gouvernance organisationnelle, de gestion financière ou de gestion des ressources humaines.


5.0 Résultats, partie 1 : Examen des évaluations

5.1 Efficacité globale

L'examen portait sur quatre critères, auxquels a été soumis l'échantillon représentatif de 117 évaluations, à savoir l'atteinte des objectifs, la pertinence, la rentabilité et la probabilité de durabilité (voir le tableau 5.1). Aux fins d'examen, l'efficacité globale du développement est définie comme l'obtention des résultats attendus qui sont pertinents, qui sont vraisemblablement durables et dont le coût est raisonnable.

À partir des 117 évaluations examinées et d'une mesure globale (c'est-à-dire une moyenne des cotes attribuées pour les critères suivants : atteinte des objectifs, pertinence, rentabilité et durabilité), l'équipe d'examen a coté les programmes des organisations multilatérales : 69 % des programmes ont obtenu la cote « très satisfaisant » (3 %) ou « satisfaisant » (66 %) en ce qui a trait à l'efficacité de l'aide au développement et de l'aide humanitaire; 30 % des programmes évalués ont été cotés insatisfaisants et 1 %, très insatisfaisants.

Tableau 5.1 : Répartition des initiatives évaluées, par cote de rendement

Critères Pourcentage par cote
N TI I S TS Total
Atteinte des objectifs 114 1 % 28 % 68 % 4 % 100 %
Pertinence 113 0 % 12 % 83 % 5 % 100 %
Rentabilité 67 0 % 43 % 54 % 3 % 100 %
Durabilité 106 3 % 39 % 59 % 0 % 100 %
Efficacité de l'aide au développement et de l'aide humanitaire   1 % 30 % 66 % 3 % 100 %

N = Nombre d'évaluations en faisant état, TI = Très insatisfaisant, I = Insatisfaisant, S = Satisfaisant, TS = Très satisfaisant.

5.2 Pertinence

Dans les trois sous-critères de la pertinence, les organisations multilatérales ont obtenu de très bonnes cotes.

Sous-critère 1.1 : alignement sur les objectifs de développement nationaux et internationaux — dans 88 % des évaluations qui portaient sur cet élément, l'organisation a obtenu la cote « satisfaisant » ou « très satisfaisant ». Fait intéressant, les cotes des organismes de l'ONU étaient légèrement supérieures à celles des IFI, soit 92 % par rapport à 82 %.

Tableau 5.2 Alignement des programmes sur les objectifs de développement nationaux et internationaux

Cote IFI ONU Autre N total %
Très insatisfaisant 0,0 % 0,0 % 0,0 % 0 0,0 %
Insatisfaisant 17,6 % 8,1 % 11,8 % 13 11,5 %
Satisfaisant 76,5 % 87,1 % 82,4 % 94 83,2 %
Très satisfaisant 5,9 % 4,8 % 5,9 % 6 5,3 %
Total 100,0 % 100,0 % 100,0 % 113 100,0 %

Le sous-critère 1.2, qui porte sur la coordination des activités d'aide humanitaire de l'organisation avec celles d'autres organisations, et leur alignement sur les priorités nationales, était traité dans un plus petit nombre d'évaluations (83), mais les résultats sont similaires : dans 88 % des évaluations qui ont traité de cet élément, les programmes et projets étaient jugés satisfaisants ou très satisfaisants.

Le sous-critère 1.3 (tableau 5.3) portait sur la participation des organisations aux activités des organes locaux de planification et de coordination, par exemple les groupes de travail des partenaires du développement, qui réunissent des représentants d'organisations de développement multilatérales et bilatérales et d'organes gouvernementaux de chaque pays. Cet élément a produit de moins bons résultats que les deux précédents. Seulement 56 % des évaluations de programmes des IFI ont attribué la cote « satisfaisant » à cet égard; dans le cas des programmes de l'ONU, 65 % ont obtenu cette cote. Si on tient compte des résultats de l'ensemble des organisations, dans 68 % des évaluations, on a attribué la cote « satisfaisant » aux programmes et dans 32 %, la cote « insatisfaisant ».

Tableau 5.3 Participation de l'organisation aux activités des organes locaux de planification et de coordination

Cote IFI ONU Autre N total %
Très insatisfaisant 0,0 % 1,7 % 0,0 % 1 0,9 %
Insatisfaisant 43,8 % 33,3 % 0,0 % 34 31,5 %
Satisfaisant 56,3 % 65,0 % 100,0 % 73 67,6 %
Très satisfaisant 0,0 % 0,0 % 0,0 % 0 0,0 %
Total 100,0 % 100,0 % 100,0 % 108 100,0 %

Si l'on prend les trois sous-critères dans leur ensemble, les évaluations examinées donnent à entendre que, globalement, les programmes des organisations multilatérales sont pertinents. Ils vont essentiellement dans le sens des objectifs de développement nationaux et internationaux et obtiennent une bonne cote pour ce qui est de la coordination des activités d'aide humanitaire.

Les facteurs importants qui contribuent à la pertinence des programmes et des projets des organisations multilatérales ont été notés dans la majorité des évaluations examinées. Les facteurs suivants sont ceux qui revenaient le plus fréquemment :
  • L'importance reconnue desObjectifs du Millénaire pour le développement (OMD) pour les gouvernements des pays en développement, les organismes donateurs bilatéraux et les organisations multilatérales;

  • L'évolution constante des stratégies nationales de réduction de la pauvreté, qui établissent un cadre solide sur lequel toutes les organisations peuvent s'appuyer pour adapter leurs programmes aux priorités nationales;

  • L'influence des exigences qu'impose la Déclaration de Paris aux organisations multilatérales et aux gouvernements hôtes, c'est-à-dire qu'il faut accorder la priorité à l'appropriation nationale (la prise en charge) et à l'alignement sur les objectifs nationaux;

  • L'émergence de tribunes de coordination, par exemple les groupes de travail sectoriels (santé, éducation, VIH/sida, etc.) de partenaires du développement (donateurs), dans de nombreux pays;

  • L'intérêt accru des institutions multilatérales (et une plus grande acceptation par les gouvernements nationaux des pays en développement) à l'égard de la participation des organisations de la société civile au dialogue sur les priorités sectorielles et des programmes.
Dans les cas où la pertinence des programmes était moins satisfaisante, surtout en ce qui a trait à la coordination, les évaluations faisaient parfois état de facteurs exerçant une influence. Les programmes ont tendance à être moins pertinents dans les cas suivants :
  • Lorsque les administrations locales et nationales du pays hôte ne sont pas associées assez étroitement à la planification et à l'élaboration des programmes et projets soutenus par les organisations multilatérales;

  • Lorsque les activités de développement des capacités ne permettent pas aux organismes locaux et nationaux de participer de manière efficace à la planification et à l'élaboration des programmes;

  • Lorsque, parfois, les organisations multilatérales ne sont pas en mesure de s'adapter à la tendance actuelle observée dans de nombreux pays, à savoir le transfert des responsabilités à l'égard des programmes et des projets aux pouvoirs publics provinciaux et locaux;

  • Lorsqu'on ne prévoit pas un accès adéquat et une participation efficace des organisations de la société civile, dans les pays en développement, à la planification et à la gestion des programmes soutenus par des organisations multilatérales, ce qui constitue le plus grand inconvénient en ce qui a trait à la pertinence des programmes et à la coordination efficace.
Il serait raisonnable de faire valoir que, dans le cas du dernier élément, la participation adéquate de la société civile relève des gouvernements qui reçoivent un soutien des organisations multilatérales, puisque ce sont eux qui dirigent les processus nationaux de planification du développement. Quoi qu'il en soit, les évaluations montrent qu'il est important d'obtenir cette participation pour que le soutien des organisations multilatérales soit efficace.

5.3 Atteinte des objectifs de développement

Le critère le plus important pour l'évaluation de l'efficacité du mécanisme multilatéral à l'ACDI consiste peut-être à déterminer si les programmes et projets mis en oeuvre ou appuyés par des organisations multilatérales atteignent les objectifs d'aide au développement ou d'aide humanitaire visés. Comme cela a déjà été mentionné, dans 71 % des 114 évaluations qui intégraient ce critère, on a accordé la cote « satisfaisant » ou « très satisfaisant » aux organisations multilatérales, tandis que dans 28 % des cas, le rendement était considéré insatisfaisant et dans 1 % des cas, très insatisfaisant.

Fait intéressant, les organismes de l'ONU et les IFI ont obtenu des cotes similaires : 71 % des évaluations des programmes des IFI ont abouti à la cote « satisfaisant » ou « très satisfaisant », tandis que, dans le cas des organismes de l'ONU, la proportion est de 67 %. Pour ce critère, les organisations autres que celles de l'ONU et les IFI (par exemple le CICR et l'IFRC) ont obtenu la cote « satisfaisant » ou « très satisfaisant » dans 88 % des évaluations de leurs programmes. Par contre, dans 17 des 144 évaluations, il faut interpréter ce résultat avec prudence.

Tableau 5.4 Atteinte des objectifs

Cote IFI ONU Autre N total % global
Très insatisfaisant 3,0 % 0,0 % 0,0 % 1 0,9 %
Insatisfaisant 27,3 % 32,8 % 11,8 % 32 28,1 %
Satisfaisant 69,7 % 65,6 % 70,6 % 77 67,5 %
Très satisfaisant 0,0 % 1,6 % 17,6 % 4 3,5 %
Total 100,0 % 100,0 % 100,0 % 114 100,0 %

Les évaluations examinées ont mis en évidence certains facteurs importants qui auraient une incidence favorable sur l'atteinte des objectifs, à savoir :
  • Le fait que certaines organisations multilatérales acceptent de décentraliser partiellement l'établissement des priorités des programmes, de manière qu'elles reflètent les conditions locales du développement et de l'aide humanitaire;

  • Un engagement à long terme pris à l'égard du renforcement des capacités, de sorte que les partenaires nationaux et locaux dans les pays en développement peuvent accroître l'efficacité de la conception et de la mise en oeuvre des programmes soutenus par les organisations multilatérales;

  • Les efforts faits par les organisations multilatérales pour renforcer leurs propres capacités dans les bureaux de pays ont aidé certains de ces bureaux à améliorer la qualité de la conception des programmes et projets et à participer plus activement au dialogue stratégique;

  • Comme dans le cas du critère relatif à la pertinence, le fait que l'efficacité soit plus grande lorsque les organisations de la société civile et le secteur privé peuvent participer à l'élaboration et à la mise en oeuvre des programmes, ce que quelques évaluations ont souligné;

  • Des mesures claires et cohérentes adoptées pour cibler les services (notamment les services sociaux dans les secteurs de la santé, de l'éducation et de la sécurité alimentaire) en faveur des membres de groupes vulnérables.
En effet, le ciblage efficace et un engagement clair à l'égard du développement à long terme des capacités des institutions des pays en développement sont les deux facteurs qui ont été le plus fréquemment cités comme éléments contribuant à l'atteinte des objectifs.

Les facteurs suivants ont été jugés nuisibles à l'atteinte des objectifs :
  • La non-intégration des programmes soutenus par des organisations multilatérales à la structure institutionnelle globale des gouvernements des pays en développement;

  • La participation inadéquate des divers intervenants, dont les organisations de la société civile, à la planification des programmes;

  • Des liens insuffisants entre les intrants des programmes et projets et les fournisseurs de services sur le terrain;

  • L'incapacité de certaines organisations à définir leurs avantages comparatifs en tant qu'organismes d'aide au développement ou d'aide humanitaire, et à se concentrer sur ces avantages;

  • L'absence d'une définition claire des bénéficiaires des programmes, et des efforts insuffisants pour que l'aide profite aux groupes vulnérables;

  • Le fait que l'on n'accorde pas toujours la même importance au renforcement des capacités institutionnelles parmi les organismes des pays en développement.
Si le ciblage efficace et l'engagement à l'égard du développement des capacités sont les éléments mentionnés le plus souvent à l'appui de l'atteinte des objectifs, le fait de négliger ces éléments donne souvent lieu à la cote « insatisfaisant ».

5.4 Rentabilité

La rentabilité est le critère qui a reçu le moins d'attention dans les évaluations examinées. Seulement 67 des 117 évaluations traitaient de cet aspect en détail, et 57 % de celles-ci attribuaient la cote « satisfaisant » (54 %) ou « très satisfaisant » (3 %) aux programmes des organisations multilatérales sous ce rapport. La comparaison des IFI et des organismes de l'ONU sur le plan de la rentabilité n'était pas jugée valable, compte tenu du petit nombre d'observations formulées pour chaque groupe.

De façon générale, dans les 67 évaluations qui traitaient de cet élément, deux grandes leçons sont à retenir en ce qui a trait à l'amélioration de la rentabilité des programmes et projets :
  • La nécessité d'inclure une analyse coûts-avantages ou une analyse de la viabilité économique lors de la conception et de l'approbation des programmes;

  • La nécessité de se procurer des ressources clés, comme les services de spécialistes de la formation, de l'équipement et des fournitures, dans le pays où les programmes et projets soutenus par des organisations multilatérales sont mis en oeuvre.
La liste des facteurs qui ont tendance à nuire à la rentabilité des programmes et projets soutenus par des organisations multilatérales est beaucoup plus longue, et seulement certains de ces facteurs relèvent des organisations. Si on prend les mesures voulues, ces facteurs négatifs peuvent se transformer en stratégies susceptibles d'améliorer la rentabilité. Les facteurs suivants sont mentionnés dans les évaluations parmi les éléments qui nuisent à la rentabilité :
  • Le fait que les organismes locaux et nationaux qui reçoivent un soutien se fient trop au financement externe, de sorte qu'ils ne peuvent pas combler le manque à gagner lorsqu'il y a interruption du financement;

  • Les conditions rattachées aux intrants acheminés par l'intermédiaire des organisations multilatérales, imposées par les gouvernements nationaux qui les fournissent, plus particulièrement en ce qui concerne l'assistance technique, l'équipement et les fournitures;

  • Les délais excessivement longs pour la préparation et l'approbation des programmes et des projets;

  • L'imposition, par les organisations multilatérales et les donateurs bilatéraux, de processus d'approvisionnement trop complexes, qui font double emploi;

  • Le versement à des moments inopportuns des fonds fournis par l'intermédiaire des organisations multilatérales aux institutions nationales et locales des pays en développement, que ce soit en raison de problèmes internes des organisations multilatérales ou par suite d'interruptions et de cycles budgétaires conflictuels des divers donateurs bilatéraux.
Ce dernier élément est celui qui est le plus souvent mis en cause dans les évaluations pour justifier l'attribution de la cote « insatisfaisant » relativement à la rentabilité. Les retards et l'interruption des versements font augmenter le coût des programmes, car des employés sont mis à pied puis réengagés, et les travaux de construction sont interrompus puis repris. Par ailleurs, ces interruptions entraînent une réduction des avantages associés à de nombreux projets et, dans certains cas, constituent la principale raison pour laquelle les objectifs ne sont pas atteints.

5.5 Durabilité

L'aspect le plus important et le plus concret de la durabilité est le maintien des avantages associés au programme ou au projet une fois que celui-ci est terminé. À cet égard, plus de la moitié des évaluations examinées (58,5 %) faisaient état de résultats satisfaisants et 41,5 %, de résultats soit insatisfaisants, soit très insatisfaisants. Les évaluations des projets et programmes de l'ONU ont fait état de meilleurs résultats (56,4 % cotés satisfaisants) que celles des programmes des IFI (48,6 % cotés satisfaisants). Les organisations incluses dans la catégorie « Autre », généralement plus petites, étaient beaucoup plus susceptibles d'obtenir une cote supérieure; dans 87,5 % des évaluations de leurs programmes, la durabilité a obtenu la cote « satisfaisant ».

Tableau 5.5 Maintien des avantages après la fin du programme

Cote IFI ONU Autre N total % global
Très insatisfaisant 5,7 % 0,0 % 6,3 % 3 2,8 %
Insatisfaisant 45,7 % 43,6 % 6,3 % 41 38,7 %
Satisfaisant 48,6 % 56,4 % 87,5 % 62 58,5 %
Très satisfaisant 0,0 % 0,0 % 0,0 % 0 0,0 %
Total 100,0 % 100,0 % 100,0 % 106 100,0 %

Comme cela a déjà été mentionné, selon de nombreuses évaluations, le manque d'attention accordée au développement des capacités a nui à l'atteinte des objectifs. On s'étonnera donc moins de constater que, dans 61 % des évaluations, les programmes étaient cotés insatisfaisants en ce qui a trait au critère relatif à la capacité des institutions locales de maintenir les résultats. À cet égard, les IFI ont obtenu de meilleurs résultats (taux de satisfaction de 44 %) que les organismes des Nations Unies (taux de satisfaction de 32 %).

L'insuffisance perçue des ressources humaines, financières et matérielles fournies à l'appui des programmes et projets mis en oeuvre par le truchement des organisations multilatérales peut expliquer en grande partie la faiblesse sur le plan de la durabilité. Dans 68 % des 106 évaluations qui ont traité de cet élément, on y a attribué la cote « insatisfaisant » ou « très insatisfaisant ».

Dans l'ensemble, les facteurs qui sont le plus souvent associés à un rendement supérieur en matière de durabilité sont les suivants :
  • Le gouvernement du pays en développement est bien au fait du programme ou du projet, ce qui favorise l'affectation de ressources humaines et financières durant et après le programme;

  • On a recours à des partenariats public-privé pour assurer le maintien des infrastructures et d'autres aspects clés du programme, une fois celui-ci terminé;

  • On assure la formation et le renforcement des capacités pour faciliter le maintien et l'exploitation des nouvelles infrastructures à l'échelon des collectivités locales;

  • Il y a un investissement dans le renforcement des capacités des institutions nationales et locales responsables des infrastructures et de la prestation des services une fois le programme terminé.
Comme on pouvait s'y attendre, les facteurs qui nuisent à la durabilité sont souvent la contrepartie de ceux qui viennent d'être énumérés :
  • L'intérêt et l'investissement à l'égard du renforcement des capacités font défaut;

  • Les gouvernements nationaux et les organisations multilatérales ont accès à des ressources humaines limitées;

  • Les organisations multilatérales n'ont pas la capacité de fournir une assistance technique adéquate;

  • Le roulement du personnel des organisations multilatérales affecté à l'étranger est important;

  • On n'alloue pas suffisamment de temps à la mise en oeuvre des programmes de même qu'à la conception et à la mise à l'essai de modèles de prestation de services durable.

6.0 Gestion axée sur l'efficacité : Organisations multilatérales

6.1 Résultats de l'examen des évaluations

À la lumière des évaluations récentes de l'efficacité des institutions multilatérales et de l'évolution des travaux du Réseau d'évaluation du rendement des organisations multilatérales (MOPAN), un cinquième critère a été ajouté à l'examen des évaluations publiées : la gestion interne. Ce critère visait à évaluer la capacité des systèmes des organisations multilatérales à améliorer l'efficacité des programmes d'aide au développement et d'aide humanitaire, c'est-à-dire :
  • Planification stratégique et établissement de priorités qui permettent à l'organisation de déterminer les résultats attendus au niveau institutionnel;

  • Gestion axée sur les résultats, qui devrait favoriser une définition plus précise des résultats attendus, l'établissement de rapports plus utiles sur les résultats et, avec le temps, une efficacité accrue;

  • Évaluation de programme, qui devrait servir de méthode objective de vérification des résultats des systèmes de suivi et de rapports relatifs au rendement et qui devrait contribuer à l'apprentissage et à l'amélioration de l'efficacité;

  • Systèmes de gestion des connaissances, qui devraient faciliter la communication des leçons retenues à l'interne et entre les principales organisations partenaires, afin de favoriser une plus grande efficacité.
Dans les évaluations que nous avons examinées, les systèmes de gestion interne comptent parmi les éléments ayant obtenu les cotes les plus faibles. Comme le montre le tableau 6.1, lorsqu'on fait la moyenne des quatre critères, seulement 31 % des programmes évalués ont obtenu la cote « satisfaisant » ou « très satisfaisant ». L'efficacité des systèmes pour ce qui est de la fiabilité et de l'utilité de l'évaluation des programmes obtient une cote inférieure aux trois autres sous-critères; seulement 23 % des évaluations font état de résultats satisfaisants ou très satisfaisants.

Tableau 6.1 : Cotes par critère : Systèmes de gestion interne

Critères Pourcentage par cote de rendement
  N TI I S TS Total
Efficacité de la planification stratégique et de l'établissement des priorités 115 3 % 50 % 46 % 2 % 100 %
Efficacité du système de gestion axée sur les résultats 82 16 % 61 % 22 % 1 % 100 %
Fiabilité et utilité de l'évaluation des programmes 104 5 % 71% 22 % 2 % 100 %
Efficacité de la gestion des connaissances 9 23 % 67% 28 % 1 % 100 %
Moyenne des critères relatifs à la gestion interne  % 7 % 62 % 30 % 1 % 100 %

N = Nombre d'évaluations en faisant état, TI = Très insatisfaisant, I = Insatisfaisant, S = Satisfaisant, TS = Très satisfaisant.

Les systèmes de planification stratégique et d'établissement des priorités des IFI ont obtenu la cote « satisfaisant » ou « très satisfaisant » dans une plus grande proportion que ceux des organismes de l'ONU (57 % comparativement à 44 %).

Les résultats relatifs aux systèmes de GAR étaient davantage similaires : 22 % des évaluations des IFI donnaient la cote « satisfaisant », comparativement à 21 % pour les organismes de l'ONU. Le classement des systèmes d'évaluation de programme était similaire : 22 % des évaluations des IFI et 26 % des évaluations des programmes de l'ONU attribuaient la cote « satisfaisant » ou « très satisfaisant ».

Enfin, la gestion des connaissances était cotée satisfaisante dans 38 % des évaluations des IFI et dans 24 % des évaluations des programmes des organismes de l'ONU.

Ces constatations peu favorables touchant les systèmes de gestion utilisés pour améliorer l'efficacité de l'aide au développement ont étonné les membres de l'équipe d'examen, qui savent pertinemment que d'importants efforts ont été faits récemment pour améliorer le système multilatéral, efforts qui visaient précisément ces systèmes.

Le faible taux de satisfaction en ce qui a trait aux systèmes de gestion interne peut être attribuable aux facteurs suivants :
  • L'étendue de la période couverte par les évaluations (de 2003 à 2008), car un grand nombre des évaluations récentes font état des efforts déployés dernièrement pour améliorer les systèmes d'évaluation et de GAR;

  • Des problèmes au sein des institutions multilatérales relativement à la qualité des évaluations effectuées dans les bureaux de pays, qui ne bénéficient pas du soutien technique et du contrôle de la qualité voulus de la part de l'administration centrale;

  • La difficulté, pour les organisations multilatérales qui participent à des activités d'aide humanitaire, à définir et à mettre en oeuvre des méthodes d'évaluation en temps réel.
Les évaluations font état de certains facteurs qui ont nui à l'amélioration des systèmes en faveur de la gestion axée sur l'efficacité de l'aide au développement, c'est-à-dire :
  • Fait pour certaines organisations de tenir très peu compte des résultats des évaluations et du suivi, ce qui ne favorise pas l'amélioration de la GAR et des systèmes d'évaluation;

  • Retards dans l'opérationnalisation des systèmes de suivi des résultats et de gestion des connaissances au sein de certaines organisations, ce qui affaiblit le soutien interne;

  • Décentralisation des fonctions de suivi et d'évaluation au sein de nombreuses organisations, associée à un soutien technique et à des services d'assurance de la qualité inadéquats fournis aux bureaux de pays par l'administration centrale et les bureaux régionaux;

  • Problèmes liés au partage des responsabilités et au fait que les organisations multilatérales soutiennent des programmes et projets qui relèvent des gouvernements nationaux;

  • Nécessité d'améliorer les programmes nationaux de collecte et d'analyse de données pouvant servir à évaluer l'efficacité des programmes;

  • Insuffisance des investissements dans le renforcement des capacités et du soutien technique susceptibles d'améliorer les systèmes nationaux de données;

  • Complexité, chevauchement et double emploi des systèmes de suivi et d'évaluation exigés par les organismes donateurs bilatéraux et les organisations multilatérales pour les mêmes programmes nationaux;

  • Manque de ressources, ce qui limite les investissements nécessaires dans la gestion axée sur les résultats, le suivi et l'évaluation ainsi que la gestion des connaissances.
Pour l'ACDI, le recours au mécanisme multilatéral pour obtenir des résultats aux chapitres de l'aide au développement et de l'aide humanitaire ne se limite pas au soutien financier des projets. Le personnel de l'ACDI discute régulièrement avec les représentants des institutions multilatérales lors des réunions de leurs organes directeurs, de consultations sur le financement (y compris la reconstitution des ressources des IFI) et d'entretiens sur les budgets des projets, des programmes et des institutions, et sur les programmes de travail. Le personnel de l'ACDI s'entretient également avec les représentants des institutions multilatérales au sujet de l'utilité de leurs systèmes pour la gestion axée sur l'efficacité, y compris les systèmes de GAR ou de suivi et d'évaluation des programmes et les rapports sur l'efficacité du développement présentés aux organes directeurs et aux organismes donateurs.

Entre 2004 et 2008, soit la période au cours de laquelle les évaluations examinées ont été rendues publiques, le personnel de l'ACDI et des chercheurs externes dont les services ont été retenus par l'ACDI ont constaté que les institutions multilatérales avaient fait des efforts considérables pour améliorer leurs systèmes de gestion axée sur l'efficacité.

Il est donc d'autant plus étonnant de constater que les évaluations examinées considéraient souvent que ces systèmes étaient insatisfaisants. Les systèmes de GAR et d'évaluation ont en effet été jugés insatisfaisants dans plus de 75 % des évaluations examinées.

6.2 Examen des systèmes de gestion interne

En plus de l'examen des évaluations publiées, l'équipe s'est penchée sur les systèmes de gestion axée sur l'efficacité de l'aide au développement. Elle s'est appuyée sur les entrevues menées auprès d'employés responsables de la GAR et de l'évaluation, et parfois de ceux qui participent à la planification stratégique ou sont responsables des relations extérieures. Elle a ensuite examiné les documents stratégiques et les rapports sur l'évaluation et la GAR présentés aux organes directeurs, les rapports annuels sur l'efficacité ainsi que les sommaires annuels des activités d'évaluation et des résultats obtenus.

À partir de ces deux sources, l'équipe d'examen a utilisé un système de pointage (0, 0,5 ou 1 point) pour coter chacun des trois éléments clés des systèmes utilisés pour gérer en fonction de l'efficacité (GAR, évaluation de programmes et rapports sur l'efficacité globale)2. L'attribution d'une cote donnée à chaque système examiné procédait d'une règle très simple : aucun point n'était attribué lorsqu'on estimait que le système ne fonctionnait pas ou était grandement affaibli, 0,5 point dans le cas d'un système qui fonctionnait, mais qui ne comportait pas tous les éléments nécessaires pour assurer une efficacité maximale et 1,0 point lorsque le système produisait clairement des résultats fiables et était utilisé à l'interne et par des intervenants de l'extérieur.. Une institution multilatérale pouvait donc, en principe, obtenir une cote globale située entre 0 et 3.0.

L'équipe d'examen a évalué l'utilité globale des systèmes de gestion axée sur l'efficacité, de même que la tendance en ce qui a trait à l'amélioration de ces systèmes. Lorsque de nouveaux systèmes étaient mis en place grâce à un investissement important de ressources et au soutien de la haute direction, ou lorsqu'on investissait dans l'assurance de la qualité pour améliorer les systèmes existants ou qu'on créait des liens avec la gestion des programmes, l'équipe concluait à une tendance positive.

Lorsque les systèmes existants de gestion axée sur l'efficacité étaient tenus à jour et utilisés de manière raisonnable, l'équipe attribuait la cote « neutre ». Par contre, si les systèmes existants bénéficiaient de peu d'attention et de ressources ou n'étaient plus utilisés pour la gestion organisationnelle et les processus de gouvernance, elle concluait à une tendance négative.

Il convient de souligner que les cotes attribuées par l'équipe d'examen reflètent uniquement l'évaluation des membres de l'équipe. Elles ont été établies à partir des commentaires des membres du personnel de chacune des organisations, mais ne peuvent aucunement être associées à ces personnes. Il importe également de mentionner que l'analyse ne visait pas à mettre en évidence des forces ou des faiblesses particulières au sein des différentes organisations, mais plutôt à évaluer l'amélioration des systèmes dans l'ensemble des organisations.

6.2.1 Gestion axée sur les résultats, évaluation et rapports sur l'efficacité

Comme le montre le tableau 6.2, les conclusions globales qu'a tirées l'équipe d'examen à propos des systèmes de GAR, d'évaluation et d'établissement de rapports sur l'efficacité utilisés par les organisations et les constatations relatives à l'efficacité des systèmes de gestion interne formulées dans les évaluations examinées sont diamétralement opposées.

Sur les 21 organisations multilatérales examinées, 11 ont obtenu une cote combinée très élevée, soit 2,0 ou plus, et 7 ont obtenu une cote combinée de 1,5, soit le minimum fixé par l'équipe pour attribuer la cote « satisfaisant ». Enfin, trois organisations ont obtenu une cote globale de 1,0 ou moins.

Tableau 6.2 : Cotes des organisations pour la GAR, l'évaluation et le suivi de l'efficacité3

Organisation multilatérale GR Évaluation Rapports sur l'efficacité Cote combinée Tendance
Banque européenne pour la reconstruction et le développement 1,0 1,0 1,0 3,0 Positive
Banque mondiale 1,0 1,0 1,0 3,0 Positive
Organisation mondiale de la santé 1,0 1,0 1,0 3,0 Positive
Banque asiatique de développement 0,5 1,0 1,0 2,5 Positive
Fonds international de développement agricole 0,5 1,0 1,0 2,5 Positive
Programme des Nations Unies pour le développement 0,5 1,0 1,0 2,5 Positive
Alliance GAVI 0,5 1,0 0,5 2,0 Positive
Fonds pour l'environnement mondial 0,5 1,0 0,5 2,0 Positive
Fonds mondial de lutte contre le sida, la tuberculose et le paludisme 0,5 1,0 0,5 2,0 Positive
Fonds des Nations Unies pour l'enfance 0,5 1,0 0,5 2,0 Neutre
Programme commun des Nations Unies sur le VIH/sida 0,5 1,0 0,5 2,0 Positive
Banque africaine de développement 0,5 0,5 0,5 1,5 Positive
Organisation des Nations Unies pour l'alimentation et l'agriculture 0,5 0,5 0,5 1,5 Positive
Fédération internationale des Sociétés de la Croix-Rouge et du Croissant-Rouge 0,5 0,5 0,5 1,5 Positive
Comité international de la Croix-Rouge 0,5 0,5 0,5 1,5 Positive
Bureau de la coordination des affaires humanitaires 0,5 0,5 0,5 1,5 Neutre
Fonds des Nations Unies pour la population 0,5 0,5 0,5 1,5 Positive
Programme alimentaire mondial 0,5 0,5 0,5 1,5 Négative
Haut Commissariat des Nations Unies pour les réfugiés 0,0 0,5 0,5 1,0 Négative
Secrétariat pour les pays du Commonwealth 0,0 0,5 0,0 0,5 Négative
Organisation des États américains 0,5 0,0 0,0 0,5 Négative


Institutions financières internationales

Il est étonnant de constater que quatre des cinq organisations qui obtiennent les cotes les plus élevées sont des IFI (la BERD, la Banque mondiale, la Banque asiatique de développement et le FIDA). Cette situation reflète en partie les avantages structurels de ces organisations multilatérales. Les IFI sont souvent plus centralisées que les organismes de l'ONU, et elles sont en mesure de contrôler plus directement la qualité des processus d'établissement des objectifs, de détermination des résultats ainsi que de suivi et d'évaluation du rendement. Cet état de choses peut également s'expliquer par le fait que les IFI sont en mesure de concentrer leurs efforts sur la gestion axée sur le rendement des projets de prêt ou d'investissement, qui sont relativement indépendants et permettent aisément l'évaluation des résultats.

Cela étant, les avantages des IFI illustrés dans le tableau 6.2 ne sont pas uniquement associés à leur structure de base. En tant que groupe, les IFI ont établi des systèmes et des processus de gestion axée sur les résultats de développement qui ont en commun les grandes caractéristiques suivantes :
  • Détermination claire des responsabilités des gestionnaires de programme en ce qui a trait à l'auto-évaluation des projets (qui prend généralement la forme de rapports de fin de projet, résumés dans les examens annuels du portefeuille) et de celles d'une unité centrale indépendante chargée d'examiner la fiabilité de ce genre d'évaluation et de présenter des rapports à ce sujet;

  • Publication régulière de tout écart entre les cotes attribuées aux projets par les gestionnaires de programme et celles données par l'unité centrale chargée de l'assurance de la qualité;

  • Normes définissant clairement la proportion des rapports de fin de projet et examens de portefeuille à évaluer, y compris la confirmation de ces normes par un groupe d'évaluation indépendante;

  • Normes similaires relatives aux programmes organisationnels devant faire l'objet d'évaluations indépendantes, qu'il s'agisse d'évaluations de projets ou de programmes-pays, ou encore d'évaluations sectorielles ou thématiques;

  • Groupe d'évaluation manifestement distinct de l'équipe de gestion du programme (y compris les directions générales des politiques), et qui relève de l'organe directeur, soit directement, soit par l'entremise du directeur général de l'organisation;

  • Lien évident entre le processus de détermination des résultats, de suivi et de rapports et les processus utilisés par l'organisation pour définir, concevoir et exécuter les programmes et projets;

  • Ressources financières et professionnelles adéquates affectées à la gestion des évaluations complexes et au recours à des consultants externes, s'il y a lieu;

  • Prise en compte du rôle et du professionnalisme du personnel de l'organisation qui participe à l'établissement et à l'exploitation des systèmes d'évaluation et de GAR.
Il convient de mentionner qu'une seule des IFI visées par l'examen a obtenu une cote inférieure à 2,0. En effet, la BAfD a investi dans des systèmes similaires à ceux qui viennent d'être décrits, mais elle n'a vérifié que peu de rapports, notamment en ce qui a trait aux rapports de fin de projet et d'examen de portefeuille, ce qui s'explique en partie par le déménagement d'urgence de son siège à Tunis. La BAfD fait des efforts notables pour arriver à vérifier un nombre raisonnable de rapports sur son portefeuille actuel de prêts et faire en sorte que ses rapports soient davantage axés sur les résultats.

Organismes des Nations Unies

Dans l'ensemble, les cotes attribuées aux organismes de l'ONU sont plus diversifiées que celles des IFI. L'Organisation mondiale de la santé (OMS), par exemple, compte parmi les organismes les mieux cotés (3,0). Cette cote est attribuable à une importante initiative de l'OMS visant à mettre en oeuvre un système exhaustif de planification stratégique, de définition des résultats, de présentation de rapports sur les résultats et d'évaluation, lié directement à la gestion des programmes et des projets, à savoir le système global de gestion.

Le système de l'OMS, qui est instauré graduellement depuis 2001, inclut la définition des résultats aux niveaux des extrants, des effets et des objectifs à long terme, et ce, pour les treize objectifs stratégiques figurant dans le plan stratégique à moyen terme 2008-2013. Chaque bureau dresse des rapports électroniques sur l'utilisation des budgets et les résultats attendus et les envoie directement aux gestionnaires par voie électronique. Un comité externe indépendant examine la qualité des rapports sur les résultats de chaque programme.

Le bureau d'évaluation de l'OMS participe à ce processus en présentant un rapport bisannuel de suivi du rendement, en évaluant des éléments du programme de travail et du budget et en évaluant le rendement des pays. Le rapport annuel 2008-2009 de l'OMS sur le rendement sera le premier à intégrer des données complètes sur l'utilisation du système.

Le PNUD obtient également une cote élevée (2,5), grâce aux systèmes très efficaces utilisés pour l'établissement des rapports annuels et les évaluations (Annexe 5). Le PNUD fournit également une quantité appréciable de données sur ses programmes dans ses rapports annuels sur le développement, dressés par l'unité d'évaluation centrale, qui portent sur ses programmes-pays.

Le PNUD devrait obtenir une cote de 3,0 une fois que son nouveau cadre de gestion et de responsabilisation axé sur les résultats sera pleinement opérationnel. L'organisation a défini une méthode de cotation équilibrée visant 18 sites différents et leurs évaluations du rendement, et tout le personnel a accès par voie électronique aux rapports sur les résultats. En 2009, on établira un lien entre cette méthode et le système de budgétisation fondé sur les résultats ainsi que les évaluations du rendement du personnel, pour créer un système complet de gestion du rendement.

Un grand nombre d'organismes de l'ONU se classent au milieu de la grille du tableau 6.2, car elles affichent des cotes de 1,5 ou 2,0 pour ce qui est des systèmes de GAR, de l'évaluation et des rapports sur l'efficacité (le plus souvent, présentation de rapports annuels sur l'efficacité à leurs organes directeurs) et font preuve d'un engagement marqué à l'égard de l'amélioration de ces systèmes.

Un seul organisme de l'ONU (le Haut Commissariat des Nations Unies pour les réfugiés) compte parmi les trois organisations les moins bien cotées. La cote attribuée résulte du fait que les rapports portent sur les activités plutôt que sur les résultats en général, que les liens entre l'évaluation et le suivi des résultats sont ténus et que l'effectif de l'unité d'évaluation a été réduit récemment; cette unité pourrait être intégrée à une division de programme.

La cote attribuée au Programme alimentaire mondial (PAM) tient compte de la réduction récente de l'effectif affecté à la GAR, qui est passé de treize agents à un seul, en plus d'un analyste du risque. Cette décision est justifiée par la volonté d'intégrer la GAR à l'échelle organisationnelle. Il reste à voir si les gains réalisés par le PAM au cours de la dernière décennie relativement à la GAR peuvent être maintenus sans le soutien technique du service central.

Il convient de mentionner que les organismes de l'ONU sont aux prises avec d'importantes difficultés en ce qui a trait à la gestion axée sur l'efficacité du développement reposant sur la GAR, l'évaluation des programmes et des rapports unifiés sur l'efficacité. Ces difficultés sont les suivantes :
  • Structures organisationnelles décentralisées, y compris l'attribution aux bureaux de pays de la responsabilité des évaluations; ces bureaux effectuent la majorité du travail d'évaluation, mais ne bénéficient pas d'un soutien technique et de services d'assurance de la qualité adéquats de la part de l'administration centrale ou des bureaux régionaux;

  • Mandats universels de la majorité des organismes et programmes de l'ONU, qui exigent le maintien des activités dans les pays, peu importe la politique sur le développement ou le contexte en matière de sécurité. Cela limite leur capacité d'affecter des ressources aux pays ou aux programmes qui affichent un rendement relativement élevé;

  • Grand nombre d'organismes de l'ONU qui participent à d'importantes opérations de secours humanitaire dans des situations d'urgence complexes (y compris les conflits armés) et à la suite de catastrophes naturelles. Il est difficile de déterminer d'avance les résultats attendus de ces opérations; celles-ci présentent par ailleurs des difficultés particulières sur les plans du suivi et de l'évaluation.
Les organismes de l'ONU qui jouent un important rôle dans l'action humanitaire (BCAH, PAM et UNHCR) ont également tendance à se retrouver dans la tranche centrale inférieure du tableau 6.2.

Cela peut être le reflet de leur culture organisationnelle et du fait qu'elles accordent la priorité aux mesures concrètes et aux opérations plutôt qu'aux systèmes d'évaluation et d'examen. Par contre, il ne faudrait pas surestimer cet élément. L'UNICEF, qui joue un rôle important en matière de secours humanitaire, est parmi les organisations les mieux cotées selon le tableau 6.2. Le classement de l'UNHCR et du PAM est également attribuable à des circonstances bien particulières.

Enfin, il est clair que de nombreux organismes de l'ONU sont déterminés à améliorer leurs systèmes de définition des résultats à tous les niveaux de l'organisation, de suivi du rendement en fonction de ces résultats, d'évaluation et d'établissement de rapports internes et externes.

Autres organisations

L'équipe d'examen a classé trois grands groupes d'organisations dans cette catégorie :
  • Les programmes mondiaux qui sont souvent associés à l'ONU, mais qui possèdent leurs propres structures de gestion et d'évaluation (Alliance GAVI, FEM, GFATM, ONUSIDA);

  • Le groupe de la Croix-Rouge (le Comité international de la Croix-Rouge et la Fédération internationale des Sociétés de la Croix-Rouge et du Croissant-Rouge);

  • Les organisations politiques (le Secrétariat pour les pays du Commonwealth et l'Organisation des États américains).
Sur le plan de la gestion axée sur l'efficacité (du moins comme l'illustre la robustesse des systèmes de GAR, d'évaluation et d'établissement de rapports sur l'efficacité), les programmes mondiaux obtiennent une cote assez élevée (2,0 ou supérieure). Cela peut s'expliquer par le fait que la majorité d'entre eux ont été mis sur pied récemment et font l'objet d'une attention soutenue de la part des organismes participants, des gouvernements qui les soutiennent et des bailleurs de fonds privés. En outre, il s'agit généralement d'organisations qui comptent un effectif restreint, ont une mission assez bien définie et ont une culture organisationnelle axée sur l'obtention de résultats, surtout au niveau des extrants.

Les deux organismes de la Croix-Rouge ont des structures organisationnelles très différentes : l'un (CICR) est très centralisé, tandis que l'autre (IFRC) est décentralisé et s'en remet aux bureaux régionaux pour l'assurance de la qualité de la gestion axée sur les résultats. S'ils se trouvent au centre de l'échelle de classement, ils s'attachent tous deux à améliorer leurs systèmes de GR, d'évaluation et d'établissement de rapports sur l'efficacité.

Enfin, les deux organisations politiques (le Secrétariat pour les pays du Commonwealth et l'OEA) sont les moins bien cotées du groupe. Elles ne suivent pas systématiquement les résultats des programmes et projets et, si elles font certaines évaluations thématiques, ou bien leur capacité d'évaluation est très limitée ou bien elles n'ont aucun groupe central d'évaluation. Dans aucun de ces deux cas l'équipe d'examen n'a trouvé de preuve confirmant la volonté de fournir des ressources pour améliorer ces fonctions, ni le soutien de la haute direction en ce sens. Il convient cependant de mentionner que l'entente de financement pluriannuel intervenue entre l'ACDI et l'OEA comprend un apport financier visant à aider l'OEA à améliorer et à utiliser ses systèmes et mécanismes d'évaluation et de suivi.

6.2.2 Tendances positives pour la majorité des organisations

L'équipe d'examen a observé une forte tendance positive quant aux efforts déployés par les principaux partenaires multilatéraux de l'ACDI pour améliorer de manière notable les systèmes de gestion axée sur l'efficacité du développement.

Sur les 21 organisations examinées, 15 ont été bien notées pour ce qui est de l'affectation des ressources et des progrès réalisés dans plusieurs des secteurs suivants :
  • Énoncer plus clairement les résultats attendus de l'organisation et des programmes;

  • Améliorer les systèmes d'établissement de rapports sur les résultats (y compris l'assurance de la qualité par un tiers);

  • Améliorer la qualité, la portée et l'indépendance des activités d'évaluation;

  • Présenter des rapports à des autorités internes et externes sur les effets importants des programmes;

  • Dans quelques cas, établir des liens plus étroits entre l'information produite et la définition, la conception, la mise en oeuvre et l'établissement du budget des programmes et projets, et même les systèmes d'évaluation du rendement du personnel.
Seulement quatre des organisations examinées affichent une tendance négative pour ce qui est de l'engagement et du soutien à l'égard de la GAR, de l'évaluation et des rapports sur l'efficacité.

À la lumière de cette forte tendance, on serait en droit de s'attendre à ce que les évaluations faites à partir de 2009 reflètent les améliorations apportées aux systèmes de gestion interne, et que les cotes «  très satisfaisant » ou « satisfaisant » soient beaucoup plus fréquentes.

6.3 Autres initiatives

Comme cela a déjà été mentionné, de nombreuses organisations multilatérales ont investi dans la consolidation de leurs systèmes de gestion interne en vue d'assurer l'efficacité du développement. Les mesures prises individuellement par les organisations qui font partie du système multilatéral auquel l'ACDI a accès ont été complétées par des efforts collectifs visant à améliorer l'évaluation et les rapports sur l'efficacité. Les plus importants ont consisté à établir l'UNEG, parmi les organismes de l'ONU, l'ECG pour les IFI et le COMPAS, utilisé par les banques multilatérales de développement (BMD).

6.3.1 Groupe des Nations Unies sur l'évaluation


Les organismes des Nations Unies avaient créé le Groupe de travail interinstitutions sur l'évaluation, qui a été actif de 1984 à 2002. En 2003, on a entrepris la redynamisation et l'actualisation des travaux de ce groupe et, en 2004, le Groupe des Nations Unies sur l'évaluation (UNEG) tenait sa première assemblée générale annuelle à Bonn. Le Groupe compte actuellement 29 membres, dont tous les organismes de l'ONU énumérés au tableau 2.1, le FIDA (qui, bien qu'il s'apparente à une banque de développement, demeure un organisme de l'ONU) et la Banque mondiale.

L'énoncé de mission de l'UNEG, adopté lors de l'assemblée générale annuelle d'avril 2007, vise clairement le renforcement de la fonction d'évaluation :

L'UNEG a pour mission d'améliorer l'objectivité, l'efficacité et la visibilité de la fonction d'évaluation dans le système des Nations Unies et de montrer l'importance de l'évaluation pour l'apprentissage, la prise de décisions et l'obligation de rendre des comptes4.

Pour s'acquitter de sa mission, l'UNEG travaille dans les trois grands secteurs suivants :
  • Professionnalisation de la fonction d'évaluation grâce à la formation et à la définition d'un ensemble de compétences de base communes à tous les évaluateurs professionnels qui font partie du système de l'ONU;

  • Soutien direct des systèmes et processus d'évaluation des organismes de l'ONU, c'est-à-dire :

    • Publication de normes régissant la fonction d'évaluation aux Nations Unies, y compris en ce qui a trait à l'indépendance organisationnelle;
    • Établissement de lignes directrices sur l'intégration des droits de la personne et des principes de l'égalité entre les femmes et les hommes dans les évaluations;
    • Soutien de la fonction d'évaluation grâce à des examens par les pairs, des directives à l'appui d'une évaluation éthique et un soutien à l'évaluation des impacts. De manière générale, les travaux de l'UNEG à cet égard visent à renforcer et à promouvoir le rôle bien distinct de l'évaluation dans le système des Nations Unies.

  • Mesures visant à faire en sorte que la fonction d'évaluation soit un élément central de la réforme des Nations Unies (plus précisément, l'évolution du cadre de développement des Nations Unies et l'initiative « Unité d'action des Nations Unies »).
L'UNEG a apporté une importante contribution à la réforme de l'ONU en définissant des principes et en proposant un modèle d'évaluation conjointe, dirigée par les pays, pour les programmes menés par l'ONU à l'échelon national. En 2008, l'UNEG a fourni un soutien à l'évaluation conjointe de l'Afrique du Sud, qui porte sur l'ensemble des activités de l'ONU; cette évaluation est réalisée sous la direction du gouvernement de l'Afrique du Sud.

L'UNEG est également responsable de la coordination de l'évaluation des projets pilotes dans les pays qui participent à l'initiative « Unité d'action des Nations Unies », et évalue actuellement le rôle de certains organismes de l'ONU dans l'évaluation commune du Plan-cadre des Nations Unies pour l'aide au développement au niveau des pays.

L'équipe d'examen a constaté que l'UNEG avait largement contribué à la professionnalisation et à la mise en valeur de la fonction d'évaluation au sein d'organisations avec lesquelles l'ACDI travaille en étroite collaboration dans le cadre du mécanisme multilatéral. Des hauts responsables de l'évaluation au sein de certaines de ces organisations ont souligné que les normes de l'UNEG aidaient à convaincre les cadres supérieurs et les organes directeurs de distancer les services d'évaluation de la gestion des programmes, et d'affecter les ressources humaines et les budgets voulus à l'évaluation.

6.3.2 Groupe de coopération sur l'évaluation


Le Groupe de coopération sur l'évaluation (ECG) a été mis sur pied en 1996 par les chefs de l'évaluation d'un groupe de BMD pour :
  • Améliorer le recours à l'évaluation afin d'accroître l'efficacité et la responsabilisation;

  • Mettre en commun les leçons tirées des évaluations et faciliter leur diffusion;

  • Harmoniser les indicateurs de rendement et les méthodes d'évaluation;

  • Contribuer à professionnaliser la fonction d'évaluation au sein des BMD et collaborer avec les responsables des unités d'évaluation des organisations de développement bilatérales et multilatérales;

  • Faciliter la participation des pays emprunteurs à l'évaluation et améliorer leurs capacités en matière d'évaluation.
L'ECG a défini des normes de bonnes pratiques régissant les évaluations des divers types de prêts menées par ses membres (p. ex. investissement du secteur public, prêts à l'appui de réformes et prêts d'aide aux pays). L'ECG effectue par ailleurs des études comparatives sur une base régulière, afin d'évaluer l'application de ces normes par ses membres.

6.3.3 COMPAS

Le Système commun d'évaluation des performances (COMPAS) a été créé en 2004 par le groupe de travail des BMD chargé de la gestion axée sur les résultats, pour permettre la présentation de rapports conjoints sur le rendement, fondés sur des données communes. Les organisations suivantes ont présenté conjointement le rapport de 2007 :
  • La Banque africaine de développement;
  • La Banque asiatique de développement;
  • La Banque interaméricaine de développement;
  • La Banque islamique de développement;
  • Le Groupe de la Banque mondiale.
Le FIDA sera intégré au COMPAS pour le cycle de rapport 2009.

Grâce au COMPAS, les BMD participantes rendent compte de leurs capacités et de leur rendement en ce qui a trait à l'adoption d'une méthode de gestion axée sur les résultats dans le cadre de leurs processus opérationnels. Les données sont recueillies au niveau des pays, mais ne portent pas sur le rendement des gouvernements hôtes. On cherche plutôt à déterminer la mesure dans laquelle les BMD aident les gouvernements nationaux dans les secteurs clés de la gestion axée sur le développement.

Le plus récent rapport porte sur les principaux indicateurs de rendement dans les huit catégories suivantes :
  1. Capacité du pays à gérer en fonction des résultats de développement.
  2. Stratégies par pays.
  3. Affectation de ressources assorties de conditions.
  4. Projets.
  5. Apprentissage découlant de l'expérience opérationnelle.
  6. Ressources humaines axées sur l'atteinte de résultats.
  7. Harmonisation entre les organismes de développement.
  8. Activités du secteur privé.
Les rapports du COMPAS sont établis sur une base annuelle et, chaque année, on adapte la méthodologie et le contenu. Le rapport de 2007 se distinguait du précédent en ce que certains indicateurs étaient différents, qu'on avait ajouté des indicateurs relatifs aux activités du secteur privé, qu'on avait inclus la Banque islamique de développement et que des groupes d'évaluation indépendants au sein des BMD avaient fourni des données essentielles.

Le rapport 2007 du COMPAS fait état d'efforts plus soutenus faits par les BMD dans le domaine de la GAR, plus précisément : augmentation du nombre de pays auxquels les BMD ont fourni un soutien pour le renforcement des capacités de gestion axée sur les résultats; amélioration des stratégies par pays des BMD; cadres de résultats plus efficaces; supervision améliorée des projets.

6.4 Sommaire

Les constatations faites par l'équipe d'examen relativement à la GAR, à l'évaluation et aux rapports sur les résultats en ce qui a trait au mécanisme multilatéral vont en sens inverse des conclusions négatives signalées à la section 6.1 au sujet de certains aspects de la gestion interne, telles qu'elles figurent dans les rapports d'évaluation publiés. Selon ces rapports, le pourcentage des initiatives multilatérales évaluées qui ont obtenu des cotes satisfaisantes est très faible : 23 % pour la GAR, 24 % pour l'évaluation et 29 % pour la gestion des connaissances.

Or, à la suite des entrevues et de l'examen des documents stratégiques et des rapports sur l'efficacité, l'équipe d'examen a attribué une cote satisfaisante à 17 des 21 principaux partenaires multilatéraux de l'ACDI, et une cote supérieure à plus de la moitié des partenaires. Qui plus est, l'équipe a établi que 15 des 21 organisations affichaient une tendance positive, comme en font foi l'augmentation des ressources, l'amélioration du profil organisationnel et un engagement plus soutenu de la direction à l'égard des éléments de la gestion axée sur les résultats de développement.

Cette tendance très positive, qui n'est évidemment pas universelle, donne à entendre qu'il faudra examiner à nouveau les évaluations publiées à l'avenir, pour savoir si les efforts faits récemment pour améliorer la gestion axée sur les résultats de développement (surtout au sein de l'OMS et de la FAO, par exemple) produisent de meilleurs résultats.

Deux facteurs importants peuvent expliquer l'écart entre les conclusions des évaluations publiées et celles de l'évaluation effectuée directement par l'équipe d'examen.
  1. Dans de nombreux cas, les évaluations portaient sur les systèmes et processus de GAR et d'évaluation décentralisés, tandis que l'équipe d'examen a utilisé une perspective centralisée (administration centrale);

  2. Certaines des évaluations examinées étaient antérieures à la période visée par l'examen (2004) et portaient sur les systèmes et processus utilisés à l'époque, et même cinq ans avant la date de publication des résultats d'évaluation. Elles ne font donc pas état des efforts considérables qu'un grand nombre d'organisations ont déployés ces dernières années pour améliorer ces systèmes.
Il est donc d'autant plus important de faire un nouvel examen pour savoir si les améliorations escomptées dans le domaine de la gestion axée sur l'efficacité de l'aide au développement seront confirmées dans les évaluations indépendantes qui auront été faites à compter de 2008.

L'amélioration des systèmes d'évaluation, de suivi de l'efficacité et d'établissement de rapports connexes ne se limite pas à des organisations multilatérales données. Les organismes de l'ONU et les banques multilatérales de développement ont également investi dans des efforts collectifs depuis 2004 pour améliorer l'évaluation de l'efficacité et les rapports sur la question. Parallèlement à cela, les pays donateurs, dont le Canada, se sont attachés à renforcer et à peaufiner leur méthode de suivi conjoint de l'efficacité des organisations multilatérales.


7.0 Gestion axée sur l'efficacité : Rôle de l'ACDI

7.1 Suivi de l'efficacité organisationnelle

7.1.1 Systèmes internes de l'ACDI

Sondage sur l'efficacité des organisations multilatérales effectué sur le terrain

Récemment, la Direction générale des secteurs et des partenariats internationaux (DGSPI) a fait des sondages annuels auprès d'agents affectés aux missions de l'ACDI à l'étranger, afin de se faire une idée éclairée du rendement des organisations multilatérales. Chaque année, on a demandé aux missions de certains pays (qui variaient d'une année à l'autre) de fournir de l'information sur un groupe, également différent, d'organisations multilatérales. Au cours de chacune des trois dernières années, on a sondé de 20 à 25 missions et obtenu des taux de réponse variables (14 missions ont répondu en 2005, 22 en 2006 et 18 en 2007). Le sondage annuel effectué sur le terrain est résumé dans un rapport, qui est transmis aux agents de la DGSPI responsables de la programmation faisant intervenir les organisations visées.

Le sondage sur le terrain vise à alimenter l'évaluation de l'efficacité et de la pertinence des institutions multilatérales (MERA) réalisée par la DGSPI, de portée plus vaste.

Évaluation de l'efficacité et de la pertinence des institutions multilatérales (MERA)

La MERA est un outil d'évaluation mis au point par la DGSPI de l'ACDI. En 2006, elle a été mises à l'essai pour 22 organisations multilatérales, évaluées selon un cycle précis. Les agents de projet de la DGSPI ont procédé aux évaluations selon la MERA en s'appuyant sur les documents disponibles, c'est-à-dire :
  • Rapports établis par les agents de la DGSPI à la suite des réunions du conseil d'administration et des réunions annuelles des organisations;

  • Rapports (y compris les rapports d'évaluation) des organisations multilatérales;

  • Évaluations commandées par l'ACDI ou effectuées conjointement avec d'autres donateurs;

  • Sondage sur le terrain concernant les organisations multilatérales;

  • Données tirées d'enquêtes menées par d'autres donateurs;

  • Résultats du sondage du MOPAN.
Chaque évaluation est examinée et approuvée par le Groupe de gestion de la Direction générale. Les rapports de la MERA de 2006 attribuaient une cote à chaque organisation multilatérale dans trois domaines : pertinence, résultats et gestion.

Lorsque l'équipe d'examen a comparé les résultats des MERA à sa propre évaluation des organisations multilatérales, elle a conclu que les deux systèmes d'évaluation étaient généralement cohérents. Dans les deux cas, la Banque mondiale et le CICR ont obtenu une cote élevée, tandis que l'UNHCR et le Secrétariat pour les pays du Commonwealth se sont classés au bas de la liste. On a noté une exception : le PAM a obtenu une meilleure cote à la suite de la MERA qu'à la suite de l'examen.

Cette différence pourrait s'expliquer par la décision prise récemment par les responsables du PAM d'intégrer la GAR à ses activités courantes et de réduire l'effectif de l'unité responsable du soutien de la GAR dans l'ensemble de l'organisation. Ce changement, qui est le principal facteur expliquant la faible cote attribuée par l'équipe d'examen, est survenu après la MERA.

Depuis 2008, les rapports individuels préparés en vue de l'examen des programmes multilatéraux n'incluent plus de cotes numériques pour les quatre catégories. Ils décrivent par contre les occasions où le Canada pourrait agir comme chef de file au sein de chaque organisation.


Examen des programmes multilatéraux, 2008

En mai 2008, la DGSPI de l'ACDI a entrepris un examen systématique des programmes multilatéraux pour appuyer la prise de décisions sur le financement de programmes. L'équipe d'examen a passé en revue le financement de base accordé aux institutions multilatérales, à partir des documents suivants : rapports annuels et publications des institutions; rapports d'évaluations et de vérifications indépendantes; documents du MOPAN et ceux qui sont liés au COMPAS; sondages menés auprès d'agents de l'ACDI à l'administration centrale et sur le terrain (processus de MERA amélioré et plus rigoureux).

Le financement de base que l'ACDI accorde à chaque organisation a été évalué en fonction de quatre critères :
  • conformité aux priorités du Canada;
  • efficacité institutionnelle;
  • résultats sur le plan du développement;
  • respect des principes de l'efficacité de l'aide.
Chaque organisation a reçu une cote — élevé, moyen, moyen-faible ou faible — pour chacun des critères. Aux fins d'analyse, les organisations ont été divisées en quatre catégories : organisations multilatérales de développement; institutions financières internationales (IFI); organisations humanitaires; Commonwealth/Francophonie.

L'examen des programmes multilatéraux de 2008, qui n'est pas encore terminé, vise précisément à fournir à la ministre les données les plus récentes que possède l'ACDI sur les rôles ainsi que sur les forces et faiblesses comparatives des organisations qui font partie du mécanisme multilatéral.

En bref, l'examen montre que la DGSPI fait un effort concerté en vue de fournir des données qui peuvent servir à établir un lien entre le rendement des organisations et les décisions qui seront prises au sujet de l'affectation des ressources.

7.1.2 Soutien offert par l'ACDI au MOPAN

Le MOPAN a été mis sur pied en 2002. Il s'agit d'un réseau de pays donateurs dont l'intérêt consiste à mettre en commun de l'information et à tirer des enseignements de l'expérience collective en matière de suivi du rendement des organisations multilatérales. Les pays suivants font actuellement partie du MOPAN : Allemagne, Australie, Autriche, Canada, Corée du Sud, Danemark, Espagne, Finlande, France, Irlande, Norvège, Pays-Bas, Royaume-Uni, Suède et Suisse.

Les résultats des évaluations du MOPAN s'appuient sur un sondage annuel auprès du personnel d'organismes bilatéraux de développement. Chaque sondage porte sur 3 organisations présentes dans 8 à 10 pays et vise à établir l'efficacité des organisations multilatérales qui travaillent en collaboration avec des intervenants de chaque pays (gouvernements, société civile et secteur privé).

En 2006, les membres du MOPAN ont reconnu la nécessité d'obtenir davantage d'information sur le rendement des organisations multilatérales que ce que fournit le sondage annuel. Ils ont donc convenu de définir une méthode commune pour évaluer l'efficacité des organisations multilatérales, méthode qui a recours à une carte de pointage équilibrée fondée sur des indicateurs clés de rendement.

En août 2008, les membres du MOPAN ont ainsi lancé un projet pour mettre à l'essai un nouvel outil d'évaluation du rendement, appelé « approche commune ». Selon cette approche, l'efficacité s'entend de la mesure dans laquelle une organisation multilatérale arrive à produire les résultats attendus. L'approche commune permet d'aller au-delà des perceptions du personnel des organismes bilatéraux et d'inclure des preuves documentaires de l'efficacité des processus et systèmes. Elle suppose la collecte de données sur les indicateurs clés de rendement dans quatre domaines et treize sous-domaines.

1. Gestion stratégique
  • gouvernance de l'organisation,
  • stratégie de l'organisation,
  • stratégies (pays, région, thème).
2. Gestion opérationnelle
  • utilisation des données sur le rendement,
  • gestion des ressources financières,
  • gestion des ressources humaines,
  • gestion de portefeuille.
3. Gestion des relations
  • prise en charge,
  • alignement,
  • harmonisation.
4. Gestion des connaissances
  • suivi et évaluation du rendement,
  • rapports sur le rendement,
  • application des leçons retenues.
L'approche commune est actuellement mise à l'épreuve et devrait être finalisée en 2009. Chaque pays membre du MOPAN assure à tour de rôle les services de secrétariat (le Danemark actuellement). Pour la mise en oeuvre de l'approche commune, le secrétariat bénéficiera de l'appui d'une équipe de consultants dont les services ont été retenus récemment à la suite d'un appel d'offres lancé à l'échelle internationale.

Un groupe de travail composé de représentants du Canada, du Danemark, de la France, des Pays-Bas, de la Norvège, de la Suède et du Royaume-Uni a été mis sur pied pour donner forme à l'approche commune. Le Canada, qui est représenté par la DGSPI de l'ACDI, appuie sans réserve le MOPAN depuis sa création.

Même si elle n'est qu'à l'essai, l'approche commune représente un important effort de concertation de la part des pays donateurs en vue d'améliorer l'outil commun qu'ils utilisent pour évaluer l'efficacité des organisations multilatérales.

7.2 Promotion et soutien de la gestion axée sur l'efficacité

Le Canada peut tirer parti de multiples occasions de renforcer les systèmes qui aident les organisations multilatérales à améliorer la gestion axée sur l'efficacité. Au cours de l'examen, les membres de l'équipe ont rencontré de nombreux fonctionnaires du gouvernement du Canada qui ont des contacts réguliers avec les principales organisations multilatérales bénéficiant du soutien de l'ACDI, c'est-à-dire :
  • administrateurs pour le Canada au sein des IFI;

  • ambassadeurs du Canada assumant des responsabilités au sein d'organismes de l'ONU;

  • membres du personnel de l'ACDI en poste dans des ambassades et des missions permanentes de l'ONU;

  • membres du personnel de l'ACDI qui représentent le Canada au sein des organes directeurs des organisations;

  • employés de la DGSPI (et d'autres directions générales de l'ACDI) responsables de la gestion des relations entre l'Agence et les organisations multilatérales.
Toutes ces personnes ont décrit ce qu'ils font pour promouvoir l'amélioration des systèmes et processus de gestion axée sur l'efficacité dans les organisations dont ils s'occupent. Dans la majorité des cas, il s'agit de chercher à définir avec plus de précision, dans les programmes d'activité et les budgets, les résultats visés par l'organisation et à améliorer les rapports sur l'efficacité établis en fonction de ces résultats souhaités. En outre, les représentants de l'ACDI qui participent aux réunions des organes directeurs encouragent l'amélioration de l'efficacité des bureaux et des systèmes de GAR et d'évaluation.

La DGSPI a également fourni des exemples de décisions prises par les conseils d'administration d'organismes de l'ONU auxquelles le Canada a contribué (rédaction, participation à l'établissement du libellé ou négociation), décisions qui exhortaient les organismes en question à renforcer leurs systèmes d'évaluation et de rapports sur l'efficacité. Mentionnons par exemple :
  • La décision du conseil d'administration en réponse au rapport annuel sur l'évaluation du PNUD de 2008;

  • La décision du conseil d'administration relative au suivi de l'évaluation de la mise en oeuvre de la politique de l'UNICEF sur l'égalité entre les sexes (2009);

  • La décision du conseil d'administration en réponse à l'évaluation du PNUD dans les pays contributeurs nets des pays arabes (2008);

  • La décision du conseil d'administration reconnaissant les modifications apportées au plan stratégique du PNUD pour 2008-2011;

  • La décision du conseil d'administration concernant l'amélioration de la surveillance et de la vérification internes au PNUD, au FNUAP et à l'UNOPS — Bureau des Nations Unies pour les services d'appui aux projets (2008);

  • La décision du conseil d'administration concernant la nouvelle politique d'évaluation de l'UNICEF (2008).
LA DGSPI a également fourni des exemples de cas où le Canada a su amener les conseils d'administration à se prononcer en faveur du renforcement des systèmes et processus favorisant la rentabilité institutionnelle aux chapitres des coûts de soutien des programmes, des budgets bisannuels et de la gestion des ressources humaines.

Surtout, lors des entrevues, les employés des organisations multilatérales ont confirmé aux membres de l'équipe d'examen que l'ACDI présente toujours une position canadienne cohérente et cherche sans cesse à obtenir un engagement plus ferme à l'égard de la gestion axée sur l'efficacité. Les gestionnaires responsables de l'évaluation et de la GAR au sein des organisations multilatérales s'entendaient généralement pour dire que l'ACDI est un joueur important qui fait valoir l'importance de l'efficacité de ces systèmes pour le maintien de l'aide des donateurs.

Ces mêmes gestionnaires ont affirmé que le point de vue de l'ACDI est partagé par d'autres organismes. L'Agence unit souvent ses efforts à ceux d'organismes donateurs des pays nordiques, en plus des Pays-Bas, de l'Australie et des États-Unis, pour promouvoir l'importance des investissements dans la GAR, l'évaluation et les rapports sur les résultats. Les gestionnaires interrogés ont néanmoins affirmé que l'ACDI est un des plus ardents défenseurs d'une gestion davantage axée sur l'efficacité du développement et de l'aide humanitaire.

7.3 Gouvernance et programmation : Stratégies organisationnelles

Les employés des organisations multilatérales qui ont été interrogés par l'équipe d'examen ont eu plus de difficulté à décrire ou cerner l'orientation stratégique globale de l'ACDI à l'endroit de leur organisation. Ils ont mentionné la constance des priorités suivantes de l'ACDI en matière d'aide au développement et d'aide humanitaire :
  • Respect des Objectifs du Millénaire pour le développement et contribution de l'organisation à leur réalisation;
  • Importance de la réduction de la pauvreté;
  • Nécessité d'offrir une aide humanitaire efficace, de manière responsable;
  • Promotion de la bonne gouvernance dans les pays en développement;
  • Prise en compte de l'égalité entre les femmes et les hommes;
  • Volonté de respecter les engagements pris par toutes les parties à la Déclaration de Paris au sujet de l'harmonisation, de l'alignement et de l'appropriation (prise en charge locale);
  • Volonté de soutenir la réforme des Nations Unies.
Les entrevues menées auprès d'employés de la DGSPI ont confirmé que le personnel de l'ACDI évoque souvent ces priorités lors des discussions portant sur les organisations multilatérales, leur programme d'activité et leur budget.

De nombreux employés de ces organisations ont pour leur part dit qu'ils n'étaient pas au courant de l'existence d'un plan ou d'une stratégie de l'ACDI expliquant les orientations que leur organisation devrait adopter. Ils ont reconnu que l'ACDI plaide sans cesse en faveur de l'amélioration des systèmes de GR, d'évaluation et d'établissement de rapports sur l'efficacité, mais n'ont pas été en mesure d'associer ce soutien à une stratégie globale de l'ACDI (ou du Canada) visant l'organisation.

L'examen des programmes multilatéraux mené par la DGSPI en 2008 montre que, lorsque l'ACDI a défini une mesure prioritaire et une stratégie pour une organisation multilatérale donnée, elle a été en mesure d'exercer une grande influence, par exemple en faveur de l'amélioration de la surveillance, de la responsabilisation et des résultats au sein de la nouvelle structure du Groupe consultatif pour la recherche agricole internationale. Cet examen révèle également que, là où l'ACDI n'a pas défini de stratégie claire ou lorsqu'elle a dû compter sur l'appui d'autres ministères, les résultats étaient moins satisfaisants.

L'ACDI pourrait se donner une stratégie à l'égard des organisations multilatérales, exposée dans un énoncé concis. Cette stratégie faciliterait les décisions sur l'affectation des fonds et l'établissement d'objectifs en ce qui a trait à la transformation organisationnelle, qui ferait l'objet d'un suivi. Elle favoriserait par ailleurs la cohésion des approches employées par les différents bureaux et directions générales de l'ACDI pour gérer les relations avec les institutions.

L'évaluation externe indépendante du FIDA menée en 2004 est un très bel exemple du travail important que peut accomplir l'ACDI à l'appui du changement stratégique. Après cette évaluation, les responsables du FIDA se sont engagés à donner suite à un plan d'action visant à opérer une importante restructuration, qui touchait les aspects suivants : planification stratégique; gestion des ressources humaines; définition, conception, assurance de la qualité et mise en oeuvre des programmes et projets; supervision des programmes; gestion axée sur l'efficacité du développement. En 2008, l'ACDI et les ministères des Affaires étrangères de la Norvège et des Pays-Bas ont évalué l'avancement du plan d'action et formulé d'importantes recommandations en vue de consolider et d'accélérer les changements.


8.0 Conclusions et recommandations

8.1 Conclusions

8.1.1 Efficacité de l'aide au développement et de l'aide humanitaire

À partir des 117 évaluations examinées et d'une mesure globale (c'est-à-dire une moyenne des cotes attribuées pour les critères suivants : atteinte des objectifs, pertinence, rentabilité et durabilité), l'équipe d'examen a coté les programmes des organisations multilatérales : 69 % des programmes ont obtenu la cote « très satisfaisant » (3 %) ou « satisfaisant » (66 %) en ce qui a trait à l'efficacité de l'aide au développement et de l'aide humanitaire; 30 % des programmes évalués ont été cotés insatisfaisants et 1 %, très insatisfaisants.

Répartition des initiatives évaluées, par cote de rendement

Critères Pourcentage par cote
N TI I S TS Total
Atteinte des objectifs 114 1 % 28 % 67,5 % 3,5 % 100 %
Pertinence 113 0 % 12 % 83 % 5 % 100 %
Rentabilité 67 0 % 43 % 54 % 3 % 100 %
Durabilité 106 3 % 39 % 59 % 0 % 100 %
Efficacité de l'aide au développement et de l'aide humanitaire   1 % 30 % 66 % 3 % 100 %

N = Nombre d'évaluations en faisant état, TI = Très insatisfaisant, I = Insatisfaisant, S = Satisfaisant, TS = Très satisfaisant.

Les programmes des organismes de l'ONU et des IFI ont obtenu des résultats à peu près semblables (satisfaisants et très satisfaisants) pour la majorité des critères pris en compte dans l'examen. C'est le cas de 82 % des programmes des IFI et de 92 % des programmes des organismes de l'ONU en ce qui a trait à la pertinence. Pour ce qui est de l'atteinte des objectifs, la cote « satisfaisant » ou « très satisfaisant » a été attribuée à 70 % des programmes des IFI et à 67 % des programmes des organismes de l'ONU.

Sur le plan de la durabilité, les résultats étaient plus souvent satisfaisants pour les programmes des organismes de l'ONU (56 %) que pour les programmes des IFI.

En ce qui concerne la rentabilité, 57 % des programmes évalués ont été jugés satisfaisants ou très satisfaisants. Cependant, compte tenu du petit nombre d'évaluations traitant de cet aspect, il a été difficile de faire des comparaisons pour les divers types d'organisations.

La plupart des évaluations examinées exposaient les facteurs qui ont favorisé l'obtention de résultats positifs du point de vue de l'efficacité de l'aide au développement et de l'aide humanitaire. Voici les plus importants :

Pertinence :
  • Engagement des organisations multilatérales en faveur de l'alignement sur les priorités nationales et de la prise en charge des programmes par les gouvernements des pays en développement;

  • Participation des organisations multilatérales aux activités des organes de coordination des pays en développement, dont les groupes de travail sectoriels;

  • Volonté de mettre à contribution les organisations de la société civile dans la planification et l'établissement des priorités;

  • Mesures efficaces de renforcement des capacités pour aider les organisations nationales et locales à participer à la planification et à la mise en oeuvre des programmes.
Atteinte des objectifs :
  • Engagement à long terme des organisations multilatérales en faveur de l'aide au renforcement des capacités des organisations partenaires nationales et locales;

  • Capacité des organisations multilatérales à intervenir de manière efficace dans les pays;

  • Participation accrue de la société civile et du secteur privé;

  • Mesures claires et cohérentes pour faire en sorte que les services profitent aux groupes vulnérables.

Rentabilité :
  • Analyse de la viabilité économique et analyse coûts-avantages intégrées aux processus de conception et d'approbation des programmes;

  • Achat des intrants clés dans le pays où est exécuté un programme;

  • Financement stable du gouvernement national, de sorte que les programmes ne soient pas excessivement tributaires du soutien de l'organisation multilatérale;

  • Déliement des intrants fournis par les organismes bilatéraux qui sont acheminés par le biais des programmes multilatéraux;

  • Pour la passation de marchés, exigences simplifiées reposant sur les systèmes nationaux dans toute la mesure du possible;

  • Décaissement des fonds en temps opportun, qu'ils proviennent des ressources de base des organisations ou qu'ils soient affectés à des initiatives précises par les donateurs bilatéraux, pour éviter l'interruption coûteuse de la mise en oeuvre des programmes.
Durabilité :
  • Soutien continu (ressources humaines et financières) du gouvernement hôte pendant et après un programme;

  • Recours aux partenariats public-privé pour maintenir en place les infrastructures après l'achèvement d'un programme;

  • Formation et renforcement des capacités des membres de la collectivité pour qu'ils puissent maintenir les infrastructures instaurées grâce au programme;

  • Investissement général dans l'aide au renforcement des capacités des institutions nationales et locales qui devront exploiter et maintenir les infrastructures et assurer la prestation des services après l'achèvement d'un programme.
8.1.2 Gestion axée sur l'efficacité : Organisations multilatérales

Dans l'ensemble, les conclusions de la méta-analyse des évaluations publiées sont plutôt négatives en ce qui a trait à la qualité des systèmes de gestion interne des organisations multilatérales. Par exemple, seulement 48 % des programmes multilatéraux examinés ont été jugés satisfaisants ou très satisfaisants aux points de vue de la planification stratégique et de l'établissement des priorités. Le constat était encore plus défavorable pour ce qui est de la GAR (23 %) et des services d'évaluation (24 %). Par contre, dans le cas de la gestion des connaissances, les résultats étaient légèrement plus encourageants : 31 % des programmes évalués étaient jugés satisfaisants ou très satisfaisants.

Ces constatations négatives peuvent être attribuables au fait que certaines des évaluations examinées portaient sur des programmes et des projets antérieurs à 2004. Elles peuvent également illustrer le fait que la fonction d'évaluation est décentralisée au sein de nombreuses organisations multilatérales et la difficulté connexe de faire respecter les normes d'évaluation et d'appliquer les procédures d'assurance de la qualité.

L'équipe d'examen a réalisé sa propre analyse des systèmes de GAR, d'évaluation et d'établissement de rapports sur l'efficacité des 21 principaux partenaires multilatéraux de l'ACDI, et est arrivée à des conclusions bien différentes de celles des évaluations.

Plus de la moitié des organisations examinées (11 sur 21) ont obtenu une cote élevée (2,0 sur un maximum de 3,0), et plus des trois quarts (17 sur 21) ont obtenu une cote acceptable, soit 1,5. Seulement trois des organisations multilatérales examinées ont obtenu une cote de 1,0 ou inférieure, ce qui est nettement insatisfaisant. Selon le système de cotation utilisé par l'équipe d'examen, les IFI ont obtenu les cotes les plus élevées et les organisations politiques, les plus faibles.

Les organismes de l'ONU ont obtenu en général une cote moyenne pour ce qui est des systèmes de GAR, d'évaluation et de rapports sur les résultats, mais rien dans leur structure ne les empêche de faire mieux. En effet, l'OMS a obtenu la cote la plus élevée (3,0) et on s'attend à ce que le PNUD obtienne la même cote une fois que son nouveau cadre de gestion et de responsabilisation axé sur les résultats sera pleinement opérationnel.

Surtout, on observe une tendance marquée au sein des organisations multilatérales en faveur de l'amélioration des systèmes de GAR, d'évaluation et de rapports sur les résultats, comme de l'établissement de liens plus étroits entre ces systèmes et les processus de conception et de mise en oeuvre des programmes. Sur les 21 organisations examinées, 15 se sont bien classées pour ce qui est des efforts faits en matière d'affectation des ressources, de définition des résultats, de présentation de rapports sur les résultats, d'évaluation indépendante et objective ainsi que d'établissement d'une corrélation entre l'information sur le rendement et les programmes et budgets.

Globalement, les organismes de l'ONU et les IFI ont pris des mesures considérables pour améliorer les évaluations et les rapports sur les résultats. Le Groupe des Nations Unies sur l'évaluation (UNEG), par exemple, a réalisé d'importants progrès depuis 2004 dans les domaines suivants :
  • promotion du professionnalisme des évaluateurs de l'ONU;

  • définition et communication de normes d'évaluation pour préserver et améliorer l'indépendance et la pertinence de la fonction;

  • adoption de mesures pour que l'évaluation joue un rôle important dans la réforme de l'ONU.
Le Groupe de coopération sur l'évaluation (ECG) joue un rôle similaire auprès des IFI. Il a défini des normes de bonnes pratiques applicables aux évaluations des différents types de prêts qui sont effectuées par ses membres (investissements du secteur public, prêts à l'appui des réformes et prêts pour l'aide aux pays, par exemple). Par ailleurs, l'ECG effectue régulièrement des études comparatives pour évaluer le respect de ces normes par les organisations.

Au cours de la période en question ici, les IFI ont également participé à l'élaboration et à l'exploitation du Système commun d'évaluation des performances (COMPAS), qui vise essentiellement à rendre compte de l'efficacité organisationnelle en ce qui a trait à la gestion axée sur l'efficacité du développement dans les pays.

En résumé, l'examen a révélé que les organisations multilatérales investissent massivement dans l'amélioration des systèmes permettant la gestion axée sur l'efficacité, notamment les systèmes de GAR, d'évaluation et de rapports sur les résultats. Ces investissements sont faits par les organisations à titre individuel (sauf quelques exceptions notables) et à l'échelle systémique. L'ACDI et les autres donateurs devront trouver des façons de suivre l'évolution de ces investissements pour savoir s'ils permettent d'améliorer l'efficacité de l'aide au développement et de l'aide humanitaire.

8.1.3 Gestion axée sur l'efficacité : Rôle de l'ACDI

La DGSPI de l'ACDI, en collaboration avec les autres directions générales travaillant avec les organisations multilatérales, a déployé des efforts considérables au chapitre du suivi de l'efficacité des organisations multilatérales. Elle a notamment amélioré ses processus internes de suivi, y compris les sondages sur l'efficacité de l'aide multilatérale et la MERA. Récemment, pour améliorer la MERA, la Direction générale a entrepris un exercice rigoureux, l'examen des programmes multilatéraux, en vue de fournir à la ministre de l'information sur le rendement global du mécanisme multilatéral et de pouvoir comparer le rendement des diverses organisations.

En plus des examens périodiques qu'elle mène et de ses systèmes de suivi internes, l'ACDI contribue au MOPAN et en tire parti. Récemment, l'ACDI était représentée au sein du groupe de travail mis sur pied par le MOPAN pour concrétiser l'approche commune améliorée en 2009.

Les entrevues menées auprès des organisations multilatérales ont permis de confirmer que l'ACDI fait une promotion soutenue et efficace de l'augmentation des investissements dans les systèmes en vue d'améliorer la gestion axée sur l'efficacité, notamment les systèmes de GAR, d'évaluation et de rapports sur l'efficacité, aux niveaux des résultats et des impacts.

L'ACDI a également participé à la définition et à l'approbation de décisions prises par les conseils d'administration des organisations multilatérales exigeant de ces dernières qu'elles améliorent leurs systèmes de gestion axée sur l'efficacité.

Par contre, selon les interlocuteurs des organisations multilatérales consultés par l'équipe d'examen, l'ACDI ne semble pas disposer d'une stratégie claire à l'égard des organisations; ils reconnaissent cependant que l'ACDI fait preuve de constance dans les priorités qu'elle appuie en matière de développement et d'aide humanitaire.

8.2 Recommandations

À la lumière des constatations et des conclusions générales, l'équipe responsable de l'examen de l'efficacité du mécanisme multilatéral de prestation de l'aide de l'ACDI fait les recommandations suivantes à l'ACDI :
  1. Définir une stratégie concise pour chaque organisation multilatérale qui reçoit un important financement, afin que l'organisation ait une meilleure idée des buts et des attentes de l'ACDI. En tant que principal intervenant de l'ACDI responsable des relations avec les partenaires multilatéraux, la Direction générale des secteurs et des partenariats internationaux pourrait élaborer de telles stratégies. Celles-ci devraient en outre promouvoir une plus grande cohésion entre les directions générales et les bureaux de l'ACDI quant aux priorités que cette dernière devrait se donner;

  2. Explorer, avec d'autres organismes donateurs d'aide bilatérale, la possibilité d'effectuer un examen similaire d'évaluations en vue de déterminer l'efficacité des différentes organisations multilatérales. Toute méthode proposée en ce sens devrait s'appuyer sur les travaux entrepris dans le cadre de l'approche commune du MOPAN, qui est présentement mise à l'essai;

  3. Continuer d'insister, auprès des organisations multilatérales, sur l'importance de l'amélioration des systèmes et processus de gestion axée sur l'efficacité, y compris les systèmes de GAR, d'évaluation et d'établissement de rapports;

  4. Encourager les organismes de l'ONU à renforcer leur capacité en matière d'assurance de la qualité et d'assistance technique afin d'améliorer la qualité des évaluations réalisées par les bureaux de pays et à l'échelon régional;

  5. Partant du fait que sa capacité à influer sur la teneur et l'orientation des programmes des organisations multilatérales dépend entre autres de la forme de soutien fournie (financement de base, financement d'une initiative ou financement multi-bilatéral) et que les possibilités seront limitées dans les cas où un financement de base est accordé, l'ACDI devrait mettre l'accent sur les facteurs de programmation qui favorisent le plus l'amélioration de l'efficacité lorsqu'elle offre un financement de base, un financement pour des initiatives précises ou un soutien multi-bilatéral.
Par exemple :
  1. Insistance sur l'harmonisation, la prise en charge par les pays et les principes de la Déclaration de Paris;

  2. Soutien efficace et constant du développement des capacités des institutions nationales et des collectivités locales pour la planification et l'établissement des priorités, mais aussi pour l'exploitation et le maintien des infrastructures ainsi que la prestation des services une fois le programme terminé;

  3. Participation accrue des organisations de la société civile et du secteur privé à la planification et à l'établissement des priorités, de même qu'à l'exécution des programmes;

  4. Ciblage clair et uniforme des services rattachés aux programmes;

  5. Analyse coûts-avantages et analyse de la viabilité économique lors de la conception des programmes, utilisation des ressources locales et recours accru aux partenariats public-privé. De manière générale, les évaluations préconisent une plus grande insistance sur la rentabilité lors de la conception et de l'évaluation des programmes.


9.0 Réponse de la direction

De nombreux enjeux de développement exigent une intervention mondiale. Les organisations multilatérales permettent aux États membres de mettre en commun leurs ressources, leurs connaissances et leur savoir-faire pour s'attaquer à certains problèmes d'envergure internationale. C'est le cas notamment du Fonds pour l'environnement mondial, du Fonds mondial de lutte contre le sida, la tuberculose et le paludisme, du Programme alimentaire mondial (aide alimentaire) et des IFI (grands projets d'infrastructure). Plusieurs de ces organisations, notamment le PNUD, sont dotées des moyens nécessaires pour exécuter les mandats qui leur sont confiés dans les États fragiles, où elles peuvent favoriser une intervention coordonnée et harmonisée. Les organisations comme la Banque mondiale peuvent donner des conseils sur des questions délicates, par exemple les programmes de réforme économique, là où les donateurs bilatéraux hésitent à agir seuls. En outre, puisque les organisations multilatérales doivent recourir aux appels d'offres internationaux, leur aide est déliée, ce qui évite certaines pertes d'efficacité souvent associées à l'aide bilatérale liée.

Une autre particularité de l'aide multilatérale est sa portée planétaire. En effet, les organisations multilatérales sont mandatées pour intervenir dans tous les pays en développement. À mesure que les programmes bilatéraux, comme ceux du Canada, seront concentrés sur un nombre réduit de pays, l'aide multilatérale continuera d'être acheminée aux pays où les donateurs bilatéraux ne sont plus présents. Il est donc essentiel que les organisations multilatérales deviennent plus efficaces et qu'elles soient en mesure d'arriver à d'excellents résultats dans les pays.

Le Canada peut influencer les priorités et le rendement des organisations multilatérales de multiples façons. Puisqu'il fournit un financement de base aux organisations multilatérales de développement, il joue un rôle au sein de leurs organes directeurs. C'est pourquoi les organisations multilatérales ne doivent pas être vues uniquement comme des tiers indépendants qui bénéficient de nos fonds d'aide; ce sont plutôt des organisations dont le Canada est membre et à l'égard desquelles il assume une responsabilité avec d'autres États en ce qui concerne la gestion et, en fin de compte, les résultats de l'organisation. De fait, c'est principalement par son rôle dans les organes directeurs que l'ACDI assume son obligation de rendre compte du financement de base consenti aux institutions. La tâche centrale est alors de s'assurer que les organisations disposent des moyens nécessaires pour s'acquitter de leur mandat de développement ou d'action humanitaire et pour obtenir des résultats concrets. L'ACDI profite du fait qu'elle a droit au chapitre pour influencer l'orientation stratégique des organisations et collabore avec d'autres donateurs en vue de l'amélioration des résultats. L'ACDI utilise également les résultats des évaluations du rendement des organisations qu'elle mène pour définir les domaines dans lesquels une organisation doit se renforcer. Au fil des ans, l'ACDI a fait activement la promotion des réformes en faveur de la gestion axée sur les résultats, des politiques sur l'égalité entre les femmes et les hommes et d'une fonction plus rigoureuse de vérification et d'évaluation au sein des organisations multilatérales.

L'examen de l'efficacité du mécanisme multilatéral de prestation de l'aide de l'ACDI soulève des préoccupations importantes au sujet du rendement des organisations multilatérales et des systèmes qu'elles ont mis en place pour s'auto-évaluer. Il constitue donc une bonne base pour comprendre les initiatives et les efforts menés ces dernières années par les organisations multilatérales et par l'ACDI afin de suivre et de documenter l'efficacité de l'aide multilatérale et de cerner les domaines dans lesquels des améliorations s'imposent. Par exemple, l'ACDI joue un rôle de premier plan, aux côtés d'autres donateurs bilatéraux, dans l'élaboration d'une approche commune de l'évaluation de l'efficacité des organisations multilatérales au sein du MOPAN. Le MOPAN est un regroupement informel de 15 pays donateurs. Le Canada (par le biais de l'ACDI) est l'un des six pays membres du MOPAN qui font partie du groupe de travail responsable de l'élaboration et de la mise en oeuvre de l'approche commune.

L'objectif de l'approche commune est de réduire le dédoublement des initiatives de mesure du rendement des différents donateurs concernant les organisations multilatérales et d'augmenter le volume et la portée des informations disponibles sur l'efficacité de ces institutions. L'approche commune du MOPAN s'appuie sur une carte de pointage équilibrée, qui permet d'évaluer l'efficacité des organisations dans quatre catégories : gestion stratégique, gestion opérationnelle, gestion des relations et gestion des connaissances. Chaque catégorie est ensuite évaluée au moyen d'une série d'indicateurs clés de rendement. L'approche commune a été mise à l'essai auprès de deux organisations multilatérales en 2008; elle sera appliquée au début de 2009 pour évaluer six organisations multilatérales par année.

L'examen de l'efficacité du mécanisme multilatéral a par ailleurs permis de constater une tendance positive marquée parmi les organisations multilatérales en faveur de la gestion axée sur les résultats de développement, et a mis en lumière les investissements importants faits par ces organisations dans les systèmes d'évaluation et de rapports. L'examen fait un constat positif pour ce qui est de l'atteinte des objectifs de développement multilatéral et de la pertinence des programmes multilatéraux (y compris l'alignement sur les priorités nationales et la participation aux travaux des organes locaux de planification et de coordination). Par contre, il fait état d'un rendement moins satisfaisant pour ce qui est de la rentabilité globale et de la durabilité à long terme des activités financées par l'intermédiaire des organisations multilatérales. La direction prend note des limites définies dans l'examen et est consciente du fait que la prudence s'impose dans l'interprétation des conclusions. Comme le précise le rapport, « Les conclusions […] s'appuient sur l'examen d'un échantillon d'évaluations publiées et sont utiles pour l'évaluation de l'efficacité des organisations multilatérales, en tant que groupe, ou de sous-groupes importants […]. Elles ne portent pas cependant sur l'évaluation de l'efficacité de chacune des organisations. » De même, au sujet de l'état des systèmes de gestion axée sur les résultats dans les organisations multilatérales, les auteurs du rapport d'examen soulignent ce qui suit : « Certaines des évaluations examinées étaient antérieures à la période visée par l'examen (2004) […]. Elles ne font donc pas état des efforts considérables qu'un grand nombre d'organisations ont faits ces dernières années pour améliorer ces systèmes. »

Recommandations

De manière générale, la direction accepte le fondement des recommandations de l'équipe d'examen. Celles-ci cadrent avec les efforts déployés pour améliorer l'efficacité globale du programme canadien d'aide au développement.

Le tableau ci-après expose les engagements pris par la direction, qui soutient tout particulièrement la recommandation visant à définir des stratégies pour guider nos relations avec nos partenaires multilatéraux et déterminer notre niveau d'engagement à leur égard.

Recommandations Engagements et mesures Centre de responsabilité Date d'achèvement prévue Progrès
1. Définir une stratégie concise pour chaque organisation multilatérale qui reçoit un important financement, afin que l'organisation ait une meilleure idée des buts et des attentes de l'ACDI. En tant que principal intervenant de l'ACDI responsable des relations avec les partenaires multilatéraux, la Direction générale des secteurs et des partenariats internationaux pourrait élaborer de telles stratégies. Celles-ci devraient en outre promouvoir une plus grande cohésion entre les directions générales et les bureaux de l'ACDI quant aux priorités que cette dernière devrait se donner. La direction accepte cette recommandation.
La DGSPI définira une stratégie pour chacun de ses 15 principaux partenaires institutionnels. Les stratégies incluront les objectifs à court et à moyen terme en ce qui a trait aux relations qu'entretiendra l'ACDI avec chaque institution, et aideront l'Agence à appliquer une approche cohérente à l'égard des organisations multilatérales.

Ces stratégies détermineront également les forces de chaque institution et les éléments à améliorer. Elles incluront les mesures concrètes qui seront prises par l'ACDI pour aider les organisations à améliorer leur rendement ou les mesures à prendre si la volonté d'apporter des améliorations fait défaut.
Directeur général - Direction des institutions multilatérales de développement Automne 2009  
2. Explorer, avec d'autres organismes donateurs d'aide bilatérale, la possibilité d'effectuer un examen similaire d'évaluations en vue de déterminer l'efficacité des différentes organisations multilatérales. Toute méthode proposée en ce sens devrait s'appuyer sur les travaux entrepris dans le cadre de l'approche commune du MOPAN, qui est présentement mise à l'essai. La direction accepte cette recommandation.
Des discussions sur la possibilité d'effectuer un examen similaire d'évaluations ont été amorcées au sein du Groupe de travail du CAD sur l'évaluation de l'aide. La direction reconnaît que ce type d'examen doit compléter les activités du MOPAN et porter sur la pertinence, l'atteinte des objectifs, la rentabilité, la durabilité et les résultats du développement obtenus par chaque organisation multilatérale, c'est-à-dire sur les éléments d'évaluation qui ne sont pas examinés par le MOPAN. L'approche commune du MOPAN vise à examiner la structure des organisations multilatérales en ce qui concerne la gestion et le leadership, l'utilisation des ressources, les systèmes et processus — y compris la GAR et l'évaluation — ainsi que les relations nouées avec les partenaires pour améliorer les résultats.
Directeur -
Direction de l'évaluation,
Direction générale des politiques stratégiques et du rendement (DGPSR), en collaboration avec directeur - Direction de la planification stratégique et de l'analyse (DGSPI)
Mars 2010  
3. Continuer d'insister, auprès des organisations multilatérales, sur l'importance de l'amélioration des systèmes et processus de gestion axée sur l'efficacité, y compris les systèmes de GAR, d'évaluation et d'établissement de rapports. La direction accepte cette recommandation.
La DGSPI continuera d'insister sur l'importance de l'amélioration des systèmes de gestion axée sur l'efficacité, c'est-à-dire : 1) en faire une priorité dans les stratégies visant les institutions en cours d'élaboration, 2) continuer de soulever cette question aux réunions des organes directeurs des institutions et lors des discussions avec chacune d'elles, 3) lorsqu'elle collaborera avec d'autres donateurs, et dans le cadre des activités du MOPAN. Outre le sondage annuel, l'approche commune du MOPAN comprendra une évaluation des méthodes de gestion axée sur les résultats utilisées par une organisation choisie chaque année (parmi les organisations qui présentent des lacunes à cet égard selon les résultats de l'approche commune).
Directeur général - Direction des institutions multilatérales de développement et
directeur - Direction de la planification stratégique et de l'analyse (DGSPI)
Continu  
4. Encourager les organismes de l'ONU à renforcer leur capacité en matière d'assurance de la qualité et d'assistance technique afin d'améliorer la qualité des évaluations réalisées par les bureaux de pays et à l'échelon régional. La direction accepte cette recommandation.
La DGSPI continuera d'insister auprès des organismes de l'ONU pour qu'ils améliorent leurs fonctions d'évaluation aux niveaux des pays et des régions, par les moyens suivants :;1) en faire une priorité dans les stratégies visant les institutions en cours d'élaboration, 2) continuer de soulever cette question aux réunions des conseils d'administration et lors des discussions avec chaque organisme de l'ONU, 3) travailler en collaboration avec le personnel de l'ACDI sur le terrain pour faire valoir ce point auprès des organismes de l'ONU sur le terrain, surtout dans les pays où l'ACDI soutient les projets pilotes de l'initiative « Unité d'action des Nations Unies ».
Directeur - Division des programmes des Nations Unies et du Commonwealth, Direction des institutions multilatérales de développement Continu  
5. Mettre l'accent sur les facteurs de programmation qui favorisent le plus l'amélioration de l'efficacité lorsqu'elle offre un financement de base, un financement pour des initiatives précises ou un soutien multi-bilatéral. Par exemple :
1. Insistance sur l'harmonisation, la prise en charge par les pays et les principes de la Déclaration de Paris;
2. Soutien efficace et constant du développement des capacités des institutions nationales et des collectivités locales pour la planification et l'établissement des priorités, mais aussi pour l'exploitation et le maintien des infrastructures ainsi que la prestation des services une fois le programme terminé;
3. Participation accrue des organisations de la société civile et du secteur privé à la planification et à l'établissement des priorités, de même qu'à l'exécution des programmes;
4. Ciblage clair et uniforme des services rattachés aux programmes;
5. Analyse coûts-avantages et analyse de la viabilité économique lors de la conception des programmes, utilisation des ressources locales et recours accru aux partenariats public-privé. De manière générale, les évaluations préconisent une plus grande insistance sur la rentabilité lors de la conception et de l'évaluation des programmes.
La direction accepte cette recommandation.
Les mesures qui seront prises varieront en fonction des trois types d'accords de financement que l'ACDI négocie avec les institutions multilatérales (financement de base, financement destiné à une initiative en particulier et financement multi-bilatéral), étant donné que certains facteurs de programmation s'appliquent davantage à certains types de financement qu'à d'autres.
Financement de base : Par l'intermédiaire de ses représentants au sein des organes directeurs et de divers comités de direction, la DGSPI insistera davantage sur le suivi des évaluations dans les organisations multilatérales, afin que les enseignements tirés soient pris en compte dans les nouveaux programmes. En ce qui a trait aux éléments de programmation mentionnés dans la recommandation, la DGSPI accordera la priorité aux principes de la Déclaration de Paris relatifs à l'efficacité de l'aide et à une participation accrue de la société civile et du secteur privé à l'établissement des priorités.
Financement destiné à une initiative précise : Dans le cadre de discussions sur la possibilité de financer une initiative thématique ou sectorielle donnée, la DGSPI mettra l'accent sur les préoccupations relatives à l'efficacité de l'aide, dont le renforcement des capacités et l'utilisation de l'analyse coûts-avantages. Lorsque l'ACDI finance la deuxième phase d'une activité, elle veillera à ce que les conclusions de l'évaluation soient prises en compte lors de l'élaboration des programmes.
Financement multi-bilatéral : Comme ce type de financement vise un pays ou un groupe de pays, la Direction générale des programmes géographiques mettra l'accent sur les facteurs liés à l'efficacité qui sont les plus pertinents au niveau du pays. Il s'agit notamment des principes de la Déclaration de Paris, du développement des capacités locales et du ciblage précis des services rattachés aux programmes.
DGSPI, en collaboration avec les directions générales de programmes géographiques Continu  



Annexe 1 : Décaissements de l'ACDI par mode de financement (de 2001-2002 à 2006-2007)

Rang Organisation multilatérale Total Fin. de base Initiative précise Multi-bilatéral
1 Banque mondiale (y compris l'IFC et la BIRD) 974 977 333 $ - 211 373 845 $ 763 603 488 $
2 Programme alimentaire mondial 795 449 307 $ 144 672 785 $ 627 506 347 $ 23 270 174 $
3 Programme des Nations Unies pour le développement 694 850 945 $ 270 000 000 $ 74 881 736 $ 349 969 209 $
4 UNICEF 606 626 431 $ 85 500 000 $ 328 840 025 $ 192 286 406 $
5 Banque asiatique de développement 581 899 723 $ 521 344 610 $ 7 986 563 $ 52 568 550 $
6 GFATM 528 528 249 $ 528 528 249 $ - -
7 Banque africaine de développement 498 067 344 $ 463 578 477 $ 5 350 000 $ 29 138 867 $
8 Organisation mondiale de la santé (y compris Halte à la tuberculose) 479 884 338 $ - 411 838 401 $ 68 045 937 $
9 Fonds pour l'environnement mondial 302 401 001 $ 296 401 001 $ 6 000 000 $ -
10 Haut Commissariat des Nations Unies pour les réfugiés 195 130 663 $ 70 039 778 $ 112 905 885 $ 12 185 000 $
11 Alliance GAVI - UNICEF 188 000 000 $ 188 000 000 $ - -
12 Fonds des Nations Unies pour la population 179 573 827 $ 89 350 000 $ 2 500 000 $ 87 723 827 $
13 Comité international de la Croix-Rouge 145 638 200 $ 28 000 000 $ 117 638 200 $ -
14 Fonds international de développement agricole 124 255 749 $ 119 019 770 $ 2 800 000 $ 2 435 979 $
15 UNRWA 111 484 246 $ - 53 625 000 $ 57 859 246 $
16 Groupe consultatif pour la recherche agricole internationale 80 620 000 $ 78 420 000 $ 2 200 000 $ -
17 Fonds du Commonwealth pour la coopération technique 76 565 000 $ 76 060 000 $ 50 000 $ 455 000 $
18 Service de l'action antimines des Nations Unies 53 226 000 $ 2 000 000 $ 11 976 000 $ 39 250 000 $
19 Banque européenne pour la reconstruction et le développement 52 470 726 $ - - 52 470 726 $
20 Bureau de la coordination des affaires humanitaires 44 092 000 $ 6 100 000 $ 35 677 000 $ 2 315 000 $
21 Féd. int. des Sociétés de la Croix-Rouge et du Croissant-Rouge 42 265 570 $ - 42 265 570 $ -
22 Organisation des États américains 40 842 468 $ - 625 000 $ 40 217 468 $
23 Fiducie d'aide internationale Croix-Rouge du Canada 30 240 399 $ - 30 240 399 $ -


Annexe 2 : Échantillon d'évaluations


  Titre de l'évaluation Type d'évaluation Type d'organisation
1 Évaluation portant sur la Banque de céréales vivrières du Canada Dirigée par l'ACDI ou conjointe Autre
2 Service de l'action antimines des Nations Unies : résumé de six évaluations de pays Dirigée par l'ACDI ou conjointe Autre
3 Examen par les pairs de la fonction d'évaluation du Fonds des Nations Unies pour l'enfance Dirigée par l'ACDI ou conjointe Autre
4 Évaluation portant sur le fonds canadien pour la gestion des services de consultants (Canadian Consultant Management Fund) Dirigée par l'ACDI ou conjointe Autre
5 Évaluation de la participation canadienne à la Francophonie pour la période 2000 à 2006 Dirigée par l'ACDI ou conjointe Autre
6 Troisième bilan global du Fonds pour l'environnement mondial Dirigée par l'ACDI ou conjointe Autre
7 Evaluation of the International Trade Centre UNCTAD/WTO Dirigée par l'ACDI ou conjointe Autre
8 Solutions locales à des défis mondiaux : vers un partenariat efficace en éducation de base Dirigée par l'ACDI ou conjointe Autre
9 Évaluation conjointe de l'efficacité et de l'impact de la politique Favoriser le développement du Programme alimentaire mondial (PAM) Dirigée par l'ACDI ou conjointe Autre
10 BCAH : OCHA Humanitarian Response Review Dirigée par l'ACDI ou conjointe ONU
11 Peace and Security IMPACS Evaluation Dirigée par l'ACDI ou conjointe ONU
12 OCHA Common Humanitarian Fund Dirigée par l'ACDI ou conjointe ONU
13 Méta-évaluation du programme de subventions en faveur du Programme des Nations Unies pour le développement (PNUD) 2004-2007 Dirigée par l'ACDI ou conjointe ONU
14 Examen de l'Initiative de recherche en santé mondiale Dirigée par l'ACDI ou conjointe Autre
15 BAfD : Revue de l'efficacité de l'assistance de la Banque au secteur de la santé IFI 104 IFI
16 Évaluation de l'efficacité du développement du Fonds africain de développement (FAD) IFI 147 IFI
17 Ouganda : Revue de l'assistance du Groupe de la Banque au secteur de l'agriculture et du développement rural IFI 148 IFI
18 BERD : Country Strategy Evaluation for Mongolia IFI 156 IFI
19 BERD : Extractive Industry Review IFI 165 IFI
20 Évaluation conjointe du cycle des activités du FEM et des modalités applicables IFI 187 IFI
21 Évaluation de la stratégie régionale du FIDA pour l'Asie et le Pacifique - (EVEREST) IFI 214 IFI
22 BAsD : 2007 Annual Evaluation Review: The Challenge of Capacity Development IFI 22 IFI
23 Évaluation au niveau institutionnel du programme pilote de supervision directe IFI 223 IFI
24 Évaluation thématique de la performance et de l'impact du FIDA dans un contexte de décentralisation : l'exemple de l'Éthiopie, de l'Ouganda et de la République-Unie de la Tanzanie IFI 224 IFI
25 Development Results in Middle-Income Countries - An Evaluation of the World Bank's Support IFI 241 IFI
26 L'action menée dans les transports depuis dix ans : Évaluation de l'aide de la Banque mondiale dans le secteur des transports, 1995-2005 IFI 244 IFI
27 Banque mondiale : From Schooling Access to Learning Outcomes: An Unfinished Agenda IFI 249 IFI
28 Efficacité de l'appui de la Banque mondiale au développement de proximité et au développement mené par la communauté IFI 272 IFI
29 Special Evaluation on the Involvement of Civil Society Organizations in ADB Operations IFI 32 IFI
30 Special Evaluation on ADB's Fisheries Policy IFI 33 IFI
31 Banque mondiale - Viabilité de l'environnement : Évaluation de l'aide du Groupe de la Banque mondiale IFI 348 IFI
32 BAsD : SPECIAL EVALUATION STUDY ON URBAN SECTOR STRATEGY AND OPERATIONS IFI 35 IFI
33 IFC : Financing Micro, Small, and Medium Enterprises An Independent Evaluation of IFC's Experience with Financial Intermediaries in Frontier Countries IFI 351 IFI
34 Commonwealth : EVALUATION OF THE COMMONWEALTH MEDIA DEVELOPMENT FUND IFI 391 IFI
35 BAsD : Selected ADB Interventions on Nutrition and Food Fortification IFI 63 IFI
36 Éthiopie : Revue de l'assistance du Groupe de la Banque au secteur de l'agriculture et du développement rural IFI 98 IFI
37 Évaluation de l'appui de la Banque aux services urbains d'adduction d'eau et d'assainissement des pays membres régionaux en matière de renforcement des capacités IFI 137 IFI
38 Évaluation du soutien du FEM à la prévention des risques biotechnologiques IFI 185 IFI
39 FEM : Étude du programme « biodiversité » 2004 IFI 194 IFI
40 World Bank Assistance to Agriculture in Sub-Saharan Africa - An IEG Review IFI 243 IFI
41 Hazards of Nature, Risks to Development - An IEG Evaluation of WB Assistance for Natural Disasters IFI 250 IFI
42 Improving the WB's Development Effectiveness IFI 282 IFI
43 L'appui de la Banque mondiale au renforcement des capacités en Afrique : Une évaluation par l'OED IFI 284 IFI
44 Extractive Industries and Sustainable Development - An Evaluation of World Bank Group Experience (IFC) IFI 362 IFI
45 Evaluation of the Commonwealth Secretariat's Strategy for Gender Equality and Gender Mainstreaming IFI 388 IFI
46 Special Evaluation Study on ADB policy for the Health Sector IFI 39 (remplace IFI 13) IFI
47 IFC : IFC Assistance to Magadan SEMS Multi-bilatéral 33 IFI
48 BRAC Educational Program Multi-bilatéral 55 Autre
49 KOFl ANNAN INTERNATIONAL PEACEKEEPING TRAINING CENTRE - SUPPORT FOR CAPACITY DEVELOPMENT … Multi-bilatéral 12 Autre
50 Évaluation du projet du PNUD sur la chaîne pénale Multi-bilatéral 25 ONU
51 Government of Egypt and UNICEF Program of Cooperation 2002-2006 Multi-bilatéral 27 ONU
52 Banque mondiale - Mid-Term Review of the National Solidarity Program (NSP) Afghanistan (le rapport voulu n'a pas été trouvé; rapport de remplacement) Multi-bilatéral 3 Autre
53 Multi-bilatéral : Programme d'aide publique au développement en Europe centrale Multi-bilatéral 35 Autre
54 FNUAP et Banque mondiale : Bangladesh Health and Population Reform Programme: Historical Review and Lessons Learned 2003 Multi-bilatéral 37 ONU
55 Mid-Term Review of the Microfinance Sector and MISFA in Afghanistan Multi-bilatéral 4 Autre
56 Retrospective and Prospective Evaluation of Canada/Cuba Cooperation in the Field of Modernization of the Economy Multi-bilatéral 50 Autre
57 Multi-bilatéral : IUCN-ROSA ZAMBEZI BASIN WETLANDS PROJECT PHASE II Multi-bilatéral 56 Autre
58 SEAL Project Evaluation Multi-bilatéral 7 Autre
59 Evaluacion del Programa Nacional de Salud Sexual y Reproductiva en el Ministerio de Salud Multi-bilatéral 8 Autre
60 Mid-Term Review of the South Asia Enterprise Development Facility (SEDF) Multi-bilatéral19 Autre
61 Le Fonds central de l'intervention d'urgence - Résultats de l'évaluation de la première année d'activité Dirigée par l'ACDI ou conjointe ONU
62 Réponse multilatérale au tsumani dans l'océan Indien Dirigée par l'ACDI ou conjointe ONU
63 Rapport de l'Évaluation externe indépendante de la FAO Dirigée par l'ACDI ou conjointe ONU
64 Micronutrient Initiative Interim Report Dirigée par l'ACDI ou conjointe Autre
65 Évaluation externe indépendante du FIDA Dirigée par l'ACDI ou conjointe IFI
66 UNICEF : Evaluation of United Nations-supported pilot projects for the prevention of mother-to-child transmission of HIV ONU 110 ONU
67 Thematic Evaluation of the WFP School Feeding in Emergency Situations ONU 123 ONU
68 PAM : Full Report of the Thematic Review of Targeting in WFP Relief Operations ONU 138 ONU
69 Thematic Review of WFP Food Aid for Nutrition: Mother and Child Nutrition ONU 139 ONU
70 Thematic Evaluation of the Protracted Relief and Recovery Operation (PRRO) Category (WFP) ONU 148 ONU
71 UNHCR : Évaluation en temps réel de la participation du HCR aux opérations pour les déplacés internes en République démocratique du Congo ONU 162 ONU
72 Evaluation of the Department of International Protection's Protection Information Section (PIS) ONU 171 ONU
73 UNHCR : Sur la route de la santé et de l'Afghanistan ONU 174 ONU
74 UNHCR : Evaluation of the UNHCR Medical Service ONU 186 ONU
75 Alliance GAVI : An evaluation of GAVI's Immunisation Services Support ONU 2 ONU
76 Evaluation of the ICRC Emergency Operation in Lebanon, 2006 ONU 20 ONU
77 OMS : Report on the Evaluation of the WHO Multi-country Family Health Nurse Pilot ONU 200 ONU
78 Évaluation externe du programme africain de vaccins contre le sida ONU 208 ONU
79 Evaluation of the DFID-WHO Partnership ONU 211 ONU
80 CICR : Evaluation of the ICRC Action in Favour of the Missing and Their Families in the Balkans ONU 22 ONU
81 Travail de l'OMS avec les centres collaborateurs ONU 235 ONU
82 Quelques aspects de l'activité du Département de la santé publique et de l'environnement ONU 236 ONU
83 An Evaluation of UNFPA Support for Preventing the Spread of HIV/AIDS ONU 244 ONU
84 UNMAS : Evaluation of the Framework for Mine Action Planning and Rapid Response ONU 246 ONU
85 Évaluation du programme de l'action antimines au Soudan ONU 249 ONU
86 UNDP Support to Conflict-Affected Countries ONU 269 ONU
87 Évaluation du rôle du PNUD dans le processus des DSRP ONU 277 ONU
88 UNICEF : Évaluation des résultats des activités de développement en Colombie ONU 286 ONU
89 Assessment of Development Results Evaluation of UNDP's Contribution: Ethiopia ONU 288 ONU
90 Country Evaluation: Assessment of Development Results: Bangladesh ONU 293 ONU
91 Évaluation du Fonds humanitaire commun pour la RDC et le Soudan ONU 32 ONU
92 BCAH : Inter-agency Real-Time Evaluation of the Humanitarian Response to the Darfur Crisis ONU 39 ONU
93 GFATM : The Five Year Evaluation of the Global Fund: STUDY AREA 1 - GLOBAL FUND ORGANIZATONAL EFFICIENCY … ONU 4 ONU
94 Evaluation of the Response to the 2002-03 Emergency in Ethiopia, October 2004, Peter Simkin, Ato Teferi Bekele, Ato Daba Gabissa, Angela Raven-Roberts, John Graham et Lyle Bastin ONU 42 ONU
95 IFRC : ÉVALUATION DE L'UNITÉ PANAMÉRICAINE D'INTERVENTION EN CAS DE CATASTROPHE (PADRU) ONU 47 ONU
96 Evaluation of the HIV/AIDS Global Program 2002-2005 ONU 52 ONU
97 2008 Global: Evaluation of Gender Policy Implementation in UNICEF ONU 59 ONU
98 2007 Global: Review of UNICEF's Partnerships with Civil Society Organizations ONU 61 ONU
99 UNICEF : 2006 Global: The 2004 Indian Ocean Tsunami Disaster: Evaluation of UNICEF's Response (Synthesis Report) ONU 62 ONU
100 Country Programme Evaluation Government of the Transitional Islamic State of Afghanistan ONU 66 ONU
101 UNHCR Evaluation of the Department of International Protection's Protection Information Section (PIS) ONU 67 ONU
102 Evaluation of the Innocenti Research Centre ONU 75 ONU
103 Changing Lives of Girls: Evaluation of the African Girls' Education Initiative (UNICEF) ONU 86 ONU
104 2003 Global: Education as a Preventive Strategy Against Child Labour: Evaluation of UNICEF Global Child Labour Programme ONU 109 ONU
105 Évaluation de la politique et des activités du PAM en faveur du renforcement des capacités ONU 116 ONU
106 Évaluation de l'aide du PAM à la Chine (1979-2005) ONU 137 ONU
107 UNHCR's age and gender mainstreaming pilot project 2004 ONU 176 ONU
108 Independent External Evaluation of the Global Stop TB Partnership ONU 195 ONU
109 Évaluation de la contribution de l'OMS à l'initiative « 3 millions d'ici 2005 » ONU 204 ONU
110 Addressing the Reproductive Health Needs and Rights of Young People since ICPD, The Contribution of UNFPA and IPPF ONU 237 ONU
111 Evaluation of UNICEF's Support to Mine Action ONU 265 ONU
112 The CGIAR at 31: An Independent Meta-Evaluation of the Consultative Group on International Agricultural Research ONU 266 ONU
113 Evaluation of Results-Based Management at UNDP: Achieving Results ONU 267 ONU
114 Evaluation of Gender Mainstreaming in UNDP ONU 273 ONU
115 Real time evaluation of the drought response in the Horn of Africa ONU 37 ONU
116 Evaluation of ICRC's Sub-Regional "Unaccompanied Children (UAC) Tracing Programme" in West Africa ONU 15 ONU
117 Évaluation à mi-parcours du programme de pays - Inde (2003-2007) ONU 27 ONU



Annexe 3 : Tableau de cotation des évaluations



Annexe 4 : Résultats détaillés de l'examen des évaluations

1.1 Programmes et projets de l'organisation allant dans le sens des objectifs de développement nationaux et internationaux

Cote Total %
Très insatisfaisant 0 0 %
Insatisfaisant 13 11,5 %
Satisfaisant 94 83,2 %
Très satisfaisant 6 5,3 %
Total 113 100,0 %

1.2 Coordination des activités de l'organisation avec celles d'autres organisations et allant dans le sens des priorités nationales

Cote Total %
Très insatisfaisant 1 1,2 %
Insatisfaisant 17 20,5 %
Satisfaisant 1 77,1 %
Très satisfaisant 1 1,2 %
Total 83 100,0 %

1.3 Participation de l'organisation aux activités des organes locaux de planification et de coordination

Cote Total %
Très insatisfaisant 1 0,9 %
Insatisfaisant 34 31,5 %
Satisfaisant 73 67,6 %
Très satisfaisant 0 0 %
Total 108 100,0 %

2.1 Efficacité de la planification stratégique et de l'établissement des priorités au sein de l'organisation

Cote Total %
Très insatisfaisant 3 2,6 %
Insatisfaisant 57 49,6 %
Satisfaisant 53 46,1 %
Très satisfaisant 2 1,7 %
Total 115 100,0 %

2.2 Efficacité des systèmes de gestion axée sur les résultats

Cote Total %
Très insatisfaisant 13 15,9 %
Insatisfaisant 50 61,0 %
Satisfaisant 18 22,0 %
Très satisfaisant 1 1,2 %
Total 82 100,0 %

2.3 Fiabilité et utilité de l'évaluation des programmes

Cote Total %
Très insatisfaisant 5 4,8 %
Insatisfaisant 74 71,2 %
Satisfaisant 23 22,1 %
Très satisfaisant 2 1,9 %
Total 104 100,0 %

2.4 Efficacité de la gestion des connaissances

Cote Total %
Très insatisfaisant 3 3,3 %
Insatisfaisant 62 67,4 %
Satisfaisant 26 28,3 %
Très satisfaisant 1 1,1 %
Total 92 100,0 %

3.1 Degré de réalisation des objectifs

Cote Total %
Très insatisfaisant 1 0,9 %
Insatisfaisant 32 28,1 %
Satisfaisant 77 67,5 %
Très satisfaisant 4 3,5 %
Total 114 100,0 %

4.1 Rentabilité des programmes et projets de l'organisation

Cote Total %
Très insatisfaisant 0 0 %
Insatisfaisant 29 43,3 %
Satisfaisant 36 53,7 %
Très satisfaisant 2 3,0 %
Total 67 100,0 %

5.1 Maintien des avantages après la fin du projet ou du programme

Cote Total %
Très insatisfaisant 3 2,8 %
Insatisfaisant 41 38,7 %
Satisfaisant 62 58,5 %
Très satisfaisant 0 0 %
Total 106 100,0 %

5.2 Programmes et projets de l'organisation tenant compte de la capacité des institutions locales relativement au maintien des résultats

Cote Total %
Très insatisfaisant 2 1,9 %
Insatisfaisant 61 59,2 %
Satisfaisant 40 38,8 %
Très satisfaisant 0 0 %
Total 103 100,0 %

5.3 Programmes et projets de l'organisation prévoyant des ressources humaines, financières et matérielles adéquates (y compri celles du pays hôte)

Cote Total %
Très insatisfaisant 1 0,9 %
Insatisfaisant 71 67,0 %
Satisfaisant 34 32,1 %
Très satisfaisant 0 0 %
Total 106 100,0 %


1.1 Programmes et projets de l'organisation allant dans le sens des objectifs de développement nationaux et internationaux

Cote IFI % ONU % Autres % Total %
Très insatisfaisant 0 0 0 0 0 0 0 0
Insatisfaisant 6 17,6 % 5 8,1 % 2 11,8 % 13 11,5 %
Satisfaisant 26 76,5 % 54 87,1 % 14 82,4 % 94 83,2 %
Très satisfaisant 2 5,9 % 3 4,8 % 1 5,9 % 6 5,3 %
Total 34 100,0 % 62 100,0 % 17 00,0 % 113 100,0 %

1.2 Activités d'aide humanitaire de l'organisation coordonnées avec celles d'autres organisations et allant dans le sens des priorités nationales

Cote IFI % ONU % Autres % Total %
Très insatisfaisant 0 0 % 1 2 % 0 0 1 1,2 %
Insatisfaisant 5 23,8 % 9 18,4 % 3 23,1 % 17 20,5 %
Satisfaisant 16 76,2 % 38 77,6 % 10 76,9 % 64 77,1 %
Très satisfaisant 0 0 1 2 % 1 0 1 1,2 %
Total 21 100,0 % 49 100,0 % 13 100 % 83 100,0 %

1.3 Participation de l'organisation aux activités des organes locaux de planification et de coordination

Cote IFI % ONU % Autres % Total %
Très insatisfaisant 0 0 % 1 1,7 % 0 0 % 1 0,9 %
Insatisfaisant 14 43,8 % 20 33,3 % 0 0 % 34 31,5 %
Satisfaisant 18 56,3 % 39 65 % 16 100 % 73 67,6 %
Très satisfaisant 0 0 0 0 % 0 0 0 0 %
Total 32 100,0 % 60 100,0 % 16 100 % 108 100,0 %

2.1 Efficacité de la planification stratégique et de l'établissement des priorités au sein de l'organisation

Cote IFI % ONU % Autres % Total %
Très insatisfaisant 1 3 % 2 3 % 0 0 % 3 2,6 %
Insatisfaisant 13 39,4 % 35 53 % 9 56,3 % 57 49,6 %
Satisfaisant 18 54,5 % 29 43,9 % 6 37,5 % 53 46,1 %
Très satisfaisant 1 3 % 0 0 % 1 6,3 % 2 1,7 %
Total 33 100,0 % 66 100,0 % 16 100 % 115 100,0 %

2.2 Efficacité des systèmes de gestion axée sur les résultats

Cote IFI % ONU % Autres % Total %
Très insatisfaisant 5 21,7 % 6 13,6 % 2 13,3 % 13 15,9 %
Insatisfaisant 13 56,5 % 29 65,9 % 8 53,3 % 50 61,0 %
Satisfaisant 5 21,7 % 9 20,5 % 4 26,7 % 18 22,0 %
Très satisfaisant 0 0,0 % 0 0,0 % 1 6,7 % 1 1,2 %
Total 23 100,0 % 44 100,0 % 15 100,0 % 82 100,0 %

2.3 Fiabilité et utilité de l'évaluation de programmes

Cote IFI % ONU % Autres % Total %
Très insatisfaisant 1 3,1 % 3 5,3 % 1 6,7 % 5 4,8 %
Insatisfaisant 24 75,0 % 39 68,4 % 11 73,3 % 74 71,2 %
Satisfaisant 6 18,8 % 14 24,6 % 3 20,0 % 23 22,1 %
Très satisfaisant 1 3,1 % 1 1,8 % 0 0 2 1,9 %
Total 32 100,0 % 57 100,0 % 15 100,0 % 104 100,0 %

2.4 Efficacité de la gestion des connaissances

Cote IFI % ONU % Autres % Total %
Très insatisfaisant 1 3,4 % 1 2,0 % 1 8,3 % 3 3,3 %
Insatisfaisant 17 58,6 % 38 74,5 % 7 58,3 % 62 67,4 %
Satisfaisant 11 37,9 % 11 21,6 % 4 33,3 % 26 28,3 %
Très satisfaisant 0 0 1 2,0 % 0 0 1 1,1 %
Total 29 100,0 % 51 100,0 % 12 100,0 % 92 100,0 %

3.1 Degré de réalisation des objectifs

Cote IFI % ONU % Autres % Total %
Très insatisfaisant 1 3,0 % 0 0 % 0 0 % 1 0,9 %
Insatisfaisant 9 27,3 % 21 32,8 % 2 11,8 % 32 28,1 %
Satisfaisant 23 69,7 % 42 65,6 % 12 70,6 % 77 67,5 %
Très satisfaisant 0 0,0 % 1 1,6 % 3 17,6 % 4 3,5 %
Total 33 100,0 % 64 100,0 % 17 100 % 114 100 %

4.1 Rentabilité des programmes et projets de l'organisation

Cote IFI % ONU % Autres % Total %
Très insatisfaisant 0 0,0 % 0 0,0 % 0 0 % 0 0 %
Insatisfaisant 9 36,0 % 17 60,7 % 3 21,4 % 29 43,3 %
Satisfaisant 16 64,0 % 9 32,1 % 11 78,6 % 36 53,7 %
Très satisfaisant 0 0,0 % 2 7,1 % 0 0 % 2 3,0 %
Total 25 100,0 % 28 100,0 % 14 100,0 % 67 100,0 %

5.1 Maintien des avantages après la fin du programme

Cote IFI % ONU % Autres % Total %
Très insatisfaisant 2 5,7 % 0 0,0 % 1 6,3 % 3 2,8 %
Insatisfaisant 16 45,7 % 24 43,6 % 1 6,3 % 41 38,7 %
Satisfaisant 17 48,6 % 31 56,4 % 14 87,5 % 62 58,5 %
Très satisfaisant 0 0,0 % 0 0,0 % 0 0 % 0 0 %
Total 35 100,0 % 55 100.0 16 100,0 % 106 100,0 %

5.2 Programmes et projets de l'organisation tenant compte de la capacité des institutions locales relativement au maintien des résultats

Cote IFI % ONU % Autres % Total %
Très insatisfaisant 2 6,3 % 0 0,0 % 0 0 % 2 1,9 %
Insatisfaisant 16 50,0 % 37 68,5 % 8 47,1 % 61 59,2 %
Satisfaisant 14 43,8 % 17 31,5 % 9 52,9 % 40 38,8 %
Très satisfaisant 0 0,0 % 0 0,0 % 0 0 % 0 0 %
Total 32 100,0 % 54 100,0 % 17 100,0 % 103 100,0 %

5.3 Programmes et projets de l'organisation prévoyant des ressources humaines, financières et matérielles adéquates (y compris celles du pays hôte)

Cote IFI % ONU % Autres % Total %
Très insatisfaisant 1 3,2 % 0 0 % 0 0 1 0,9 %
Insatisfaisant 22 71,0 % 42 72,4 % 7 41,2 % 71 67,0 %
Satisfaisant 8 25,8 % 16 27,6 % 10 58,8 % 34 32,1 %
Très satisfaisant 0 0 0 0   0 0 0
Total 31 100,0 % 58 100,0 % 17 100,0 % 106 100,0 %



Formats de rechange

Note : Si vous ne pouvez accéder aux documents fournis dans un format de rechange, veuillez visiter la page d'aide.

Examen de l'efficacité du mécanisme multilatéral de prestation de l'aide de l'ACDI (459 Ko, 93 pages)

Annexe 3 : Tableau de cotation des évaluations (64.5 Ko, 3 pages)

Annexe 5 : Résultats de l'examen des organisations multilatérales (98 Ko, 10 pages)


Notes

1. La DGSPI est la direction générale de l'ACDI qui entretient le plus de liens avec les organisations multilatérales, mais elle n'a pas l'exclusivité à cet égard. Par exemple, la Direction générale de l'Europe, du Moyen Orient et du Maghreb (DGEMM) assume la responsabilité des relations avec la Banque européenne pour la reconstruction et le développement (BERD) et l'Office de secours et de travaux des Nations Unies pour les réfugiés de Palestine dans le Proche Orient (UNRWA).

2. L'attribution d'une cote donnée à chaque système examiné procédait d'une règle très simple : aucun point n'était attribué lorsqu'on estimait que le système ne fonctionnait pas ou était grandement affaibli, 0,5 point dans le cas d'un système qui fonctionnait, mais qui ne comportait pas tous les éléments nécessaires pour assurer une efficacité maximale et 1,0 point lorsque le système produisait clairement des résultats fiables et était utilisé à l'interne et par des intervenants de l'extérieur.

3. Comme le mentionne la section sur les limites, l'équipe d'examen a attribué ces cotes sur la base d'un petit nombre d'entrevues et d'une analyse documentaire limitée. Elles sont moins utiles pour établir des comparaisons entre les organisations que pour évaluer les tendances et les orientations parmi les organisations multilatérales en tant que groupe.

4. PNUD, « Nouvelles électroniques de l'évaluation », http://stone.undp.org/undpweb/eo/evalnet/eo_news/issue1-fr.html.