Manuel OPAD 5 – La phase d’évaluation

Université Pierre Mendès France de Grenoble
Master économie territoriale et développement
Supports pédagogiques d’accompagnement du manuel
La gestion des OPérations d’Aide au Développement (OPAD):
entre critiques et réalisme

Partie IV

La phase d’évaluation

Table des matières
Synthèse résumé de la partie V du manuel
La boîte à outils de l’évaluation
Fiche d’outil IV 1. La phase préparatoire de l’évaluation
Fiche d’outil IV 2. Les outils de l’évaluation
Fiche d’outil IV 3. La collecte des données et l’inventaire des résultats, effets et impact
Fiche d’outil IV 4. Quelques exemples d’effets constitutifs de l’impact
Fiche d’outil IV 5. La formulation des recommandations
Fiche d’outil IV 6. Les éléments des termes de référence d’une mission d’évaluation externe pour le choix de l’expert
La boîte à suggestions de l’évaluation
Fiche de suggestions IV.1. Quelques mises en garde préalables
Fiche de suggestions IV 2 L’évaluation de l’impact
Fiche de suggestion IV 3. L’évaluation participative
Fiche de suggestions IV 4. L’évaluation chemin-faisant » ou « tâtonnante «
Fiche de suggestions IV. 6. Comparaison d’une démarche d’auto-évaluation et d’une évaluation externe
Fiche de suggestions IV 7. La démarche d’autoévaluation au sein d’une organisation populaire

Sommaire de la partie V du manuel

La phase d’évaluation de l’OPAD)

INTRODUCTION
1. La montée en puissance des préoccupations en matière d’évaluation.
2. La nécessité de prendre du recul à partir de plusieurs questionnements.
CHAPITRE 10 – LA PHASE PRÉPARATOUIRE À LÉVALUATION
I. La diversité des évaluations
1. La diversité des approches d’évaluation.
2. La diversité des démarches d’évaluation en fonction du statut de l’évaluateur
II. La définition des termes de référence .
1. Le questionnement préalable : l’évaluation pour qui ? Par qui ? Comment.
2. Une question préalable est centrale : pourquoi évaluer, pour quelles finalités ?.
III. Les outils
1. La distinction résultat, effets, impact
2. Les indicateurs
3. Les critères d’évaluation et d’appréciation de l’OPAD .
CHAPITRE 11 – LES DÉMARCHES DÉVALUATION .
I. Les différentes phases d’un travail d’évaluation .
1. Phase 1 : l’identification et la présentation de l’OPAD
2. Phase 2 : le repérage et l’inventaire des apports et des retombées de l’OPAD .
3. Phase 3 : l’interprétation et l’analyse des données .
4. Phase 4 : la présentation aux acteurs des résultats de l’évaluation.
5. Phase 5 : la formulation des recommandations
6. La phase terminale de restitution et de diffusion du rapport final d’évaluation .
II. L’évaluation externe .
1. Les principales caractéristiques de ce type d’évaluation
2. Les spécificités d’une mission d’évaluation externe .
3. Les limites des évaluations externes
III. Les évaluations internes
IV. L’auto-évaluation .
1. Les caractéristiques de la démarche d’auto-évaluation .
2. Les étapes de la démarche d’auto-évaluation
3. Portée et limites de l’auto-évaluation .

Synthèse résumé de la partie V du manuel

La phase d’évaluation

Introduction
L’évaluation est la phase ultime de la vie d’une opération d’aide au développement. Elle est très fortement corrélée aux phases précédentes : i) à celle de la conception, à travers la construction du diagnostic et de la formulation du document cadre qui serviront de bases de comparaison du présent avec la situation d’origine, ii) à celle du suivi et de la construction de la mémoire collective pendant le cheminement de l’opération. L’évaluation est aussi très dépendante de la rigueur des modalités de sa mise en oeuvre. Pas seulement de la qualité des outils utilisés pour ce faire, mais surtout de la pertinence des points de vue que l’on adopte au départ. Contrairement aux apparences, l’évaluation ne se limite pas à ses dimensions techniques et « objectives ». Elle renvoie aux valeurs trop rarement explicitées qui la sous-tendent (cf. ci-dessous) et aux rapports de pouvoir qu’elle véhicule, l’évaluation « n’étant qu’un pouvoir supposé savoir » (YC Zarka « L’idéologie de l’évaluation : la grande imposture »). En toute hypothèse, plusieurs mises en garde préalables s’imposent qui sont mentionnées dans la Fiche de suggestions IV. 1 : quelques mises en garde préalables.
Ces dernières années, on a assisté à la montée en puissance des préoccupations en matière d’évaluation, tant dans les pays industrialisés que dans les pays en développement. Cependant, beaucoup reste à faire et beaucoup de difficultés restent à surmonter dans un environnement marqué par une insuffisante « culture d’évaluation » tant au Nord que surtout au Sud.
Sur le thème de l’évaluation, on consultera avec beaucoup d’intérêt :
– la bibliographie publiée par le RENSE (Réseau Nigérien de Suivi et d’Evaluation)www.rense-niger/org, téléchargeable à l’adresse www.pnud.ne/rense/doc.htm
-le « Guide de l’évaluation » du Ministère français des affaires étrangères (DGCID) 2005, et en particulier : les annexes sous forme de fiches techniques très pédagogiques, ainsi que la présentation des dispositifs d’évaluation et de suivi au sein des instances françaises et multilatérales de coopération et d’aide.    diplomatie.gouv.fr
– le  « Guide pratique de suivi-évaluation des projets de développement rural » coopération luxembourgeoise, qui contient une très abondante bibliographie sur le thème de l’évaluation
– Les références bibliographiques sur les manuels et les guides sur l’évaluation, signalées dans le Manuel de gestion des OPAD, page 280.
On distingue plusieurs démarches d’évaluation, en fonction de trois critères principaux :
– en fonction du temps de l’opération, selon qu’il s’agit : i) d’évaluations ex ante, pendant la phase de conception de l’opération, qui correspondent le plus souvent à des études de faisabilité, ii) d’évaluations pendant l’exécution de l’opération, qui correspondent alors à des pratiques de suivi-évaluation ou/et à des évaluations chemin faisant, iii) d’évaluations à la fin de l’exécution de l’opération, comme c’est plus souvent le cas, iv) d’évaluations ex post quand elles ont lieu nettement après la fin de l’opération pour pouvoir mesurer l’impact
– du statut de l’évaluateur selon que les évaluations sont externes ou d’experts, internes, ou d’auto-évaluation (cf. ci-après)
– des champs de l’évaluation selon l’objet, les modalités d’exécution et de transfert des résultats.
1. Les difficultés de toute évaluation
1.1. Deux difficultés sont générales qui tiennent aux exigences de l’évaluation elle même
Premièrement, la notion d’évaluation renvoie à la notion de valeurs et de normes. Dans le langage courant, évaluer c’est apprécier la valeur d’un bien ou d’un service.  Mais de quelles valeurs, de quelles normes, s’agit-il ? Des valeurs en termes d’avoir et d’accumulation matérielle ou en termes d’être, à la recherche d’une meilleure sociabilité ? S’agit-il des valeurs des donateurs ou de celles des bénéficiaires ? Sur la base de quelle histoire et de quel modèle culturel va-t-on opérer l’appréciation des retombées de l’action ?
Deuxièmement, toute évaluation repose sur une accumulation de savoirs et de connaissances « objectives » portant sur un grand nombre de domaines, dont en particulier : i) la nature et la signification des besoins, ii) le contexte et l’environnement du projet, iii) les dynamiques techniques, sociales, culturelles qui interfèrent sur le projet…. Mais en définitive que connaît- on de toutes ces réalités ? Quelle est la pertinence des différents diagnostics dont on dispose : en début, pendant et en fin d’exécution de l’opération (cf. les conclusions du chapitre sur le diagnostic) ? Les savoirs qui sous tendent tant sa conception que son exécution et que son évaluation, ne sont ils pas qu’une illusion ? Et en tous les cas, ne sont-ils pas trop superficiels ?
1.2. D’autres problèmes sont complémentaires d’ordre méthodologique
Trois séries de problèmes sont plus difficiles à résoudre :
–          un problème d’exhaustivité des résultats, des effets et de l’impact, compte tenu de leur plus ou moins grande diversité, dont certains sont difficilement mesurables, et le sont de plus en plus au fur et à mesure que l’on s’éloigne de la fin de l’opération (en particulier pour la mesure de l’impact),
–          un problème de hiérarchisation et d’agrégation de résultats et d’effets souvent hétérogènes et d’inégale importance,
–           surtout, un problème d’imputation et de causalité entre les apports de l’opération et les résultats observés, entre ce qui est le résultat de l’opération et ce qui ne l’est pas.(cf. manuel de gestion des OPAD, page 300) Il s’agit alors de comparer la situation d’un groupe qui a bénéficié de l’opération à celle d’un autre groupe qui n’en a pas bénéficié, en sachant que les différences entre eux peuvent être attribuées soit à des différences pré-existantes soit à l’impact de l’opération. Pour ce faire plusieurs approches sont possibles dont «l’approche de panel » et « l’approche groupe-témoin ». Plus récemment, sous l’impulsion de E. Duflo, une troisième méthode est recommandée : l’évaluation par assignation aléatoire ». (cf.E. Duflo « Evaluer l’impact de programmes d’aide au développement : le rôle des évaluations par assignation aléatoire », Revue d’Economie du Développement, N° 2/3, 2005  cf. aussi le site www.povertyactionlab.com)
Les évaluations aléatoires permettent que le groupe traité, soit rigoureusement comparable au groupe témoin pour être certain que chaque différence entre les deux groupes est bien liée à l’opération elle-même et non à des éléments externes.Dans le cadre d’une évaluation aléatoire, les bénéficiaires potentiels de l’opération sont répartis de façon aléatoire en deux groupes, l’un participera à l’opération (le groupe traité), et l’autre non (le groupe témoin). L’opération est mise en œuvre dans le groupe traité. Le groupe témoin ne prendra aucune part à l’opération. (Il ne participera à l’opération que dans un second temps). En comparant les résultats des deux groupes, on identifie les effets de l’opération, isolés de tous les autres facteurs externes qui auraient pu modifier son impact.
2. Les outils de l’évaluation
Ces outils ont été définis de manière générale dans les étapes antérieures au moment de la construction du cadre logique (on a précisé les IOV « indicateurs objectivement vérifiables ») et au moment de la formulation du document cadre du projet (cf. la partie sur la conception de l’opération). A ce stade final de l’évaluation, il importe de les reprendre pour les affiner et les préciser.
2.1. Que veut on évaluer : les résultats, les effets, l’impact ?
Dans le langage commun, ces trois notions sont assez proches. Dans la perspective d’un véritable travail d’analyse et de recommandation, il n’en est rien. Toutes trois renvoient au contraire à des réalités bien précises et spécifiques, qui doivent être assez nettement différenciées.
– Les résultats correspondent aux changements directement liés à l’exécution de l’opération d’aide. Ce sont ceux attendus et retenus comme prioritaires dans le document de projet et qui ont fait l’objet d’un suivi régulier pendant la phase précédente de son exécution.
La notion d’effet est plus large que celle de résultat. Elle désigne l’ensemble des retombées de l’opération d’aide sur son environnement et sur la population du territoire concerné, laquelle ne se limite pas aux « publics cibles » bénéficiaires.
– L’impact correspond à l’ensemble des effets observés qui sont pris dans leur globalité. Ce sont les résultats à plus long terme, significatifs des changements structurels et durables induits par l’OPAD, dont certains sont interdépendants et cumulatifs, alors que d’autres peuvent être contradictoires. De ce point de vue, la proposition de J.-D. Naudet de remplacer la notion «d’impact » par celle « d’empreinte » est particulièrement stimulante. (cf. Fiche d’outil IV 4 : quelques exemples d’effets constitutifs de l’impact).
Le «  manuel de gestion du cycle du projet de l’Union Européenne » distingue quatre types d’indicateurs de mesure :
– Les indicateurs d’inputs qui permettent de mesurer les ressources financières, administratives et réglementaires fournies par l’État et les bailleurs de fonds.
– Les indicateurs de résultat (output) qui permettent de mesurer les conséquences immédiates et concrètes des décisions prises et des ressources utilisées.
– Les indicateurs d’objectifs (outcomes) qui permettent de mesurer les résultats en termes d’avantages pour les groupes cibles.
– Les indicateurs d’impact qui permettent de mesurer les conséquences à long terme des résultats. Ils mesurent les objectifs généraux en termes de développement durable et de réduction de la pauvreté
Dans le modèle conventionnel, l’accent est mis sur la mesure des effets pour apprécierl’efficacité de l’apport en insistant sur la relation entre l’objet de l’aide et les donateurs ou pourvoyeurs de l’aide. Il ne dit rien par contre, sur l’ownership qui mesure l’appropriation de l’aide par les bénéficiaires et donc l’impact du projet.
2.2. Quels critères va t-on retenir ?
On utilise toute une batterie d’indicateurs spécifiques selon que l’on évalue : i) les résultats, ii) les effets, iii) l’impact, iv) les conditions de mise en œuvre et de réalisation de l’opération d’aide au développement, v) les modalités d’intervention et d’accompagnement des institutions et des organismes d’appuis techniques et financiers à l’OPAD.
Références : i) la boîte à outil introduction 3 sur le glossaire des mots des projets conventionnels, ii) la fiche à outil IV 2 : les outils de l’évaluation, iii) la fiche à outil II 5 : la matrice du cadre logique, et la définition des termes retenus, cf.aussi le Manuel de gestion des OPAD, pages 289 à 297
3. Les étapes de la démarche
Méthodologiquement, la démarche d’évaluation est la même que celle que l’on suit pour la réalisation d’un diagnostic. Elle s’organise autour des mêmes étapes.
31. La phase préparatoire
L’évaluation commence par une phase préparatoire qui permet d’affiner les termes de référence spécifiques à l’opération d’évaluation tels qu’ils étaient mentionnés dans le document de projet (cf. Fiche d’outil IV 1 : la phase préparatoire de l’évaluation). On répond aux questions : l’évaluation pourquoi ? pour qui ?selon quelles modalités ? Au cours de cette phase préparatoire, on définit aussi les outils que l’on va utiliser (résultats, effets, impact, indicateurs, critères cf. Fiche d’outil IV 2 : les outils de l’évaluation) ainsi que les caractéristiques du comité de pilotage de l’opération (sa composition, ses fonctions, son règlement intérieur et son mode de fonctionnement).
32. Les différents temps de l’évaluation proprement dite :
On déroule ensuite, l’opération elle-même d’évaluation en 5 étapes (Manuel de gestion des OPAD sur les outils pages 288-297 :
– 1) L’identification et la présentation de l’opération à partir du document cadre, qui servira de référence sur le contexte et l’historique de l’opération.
– 2) La collecte de données pour mesurer les résultats, les effets et l’impact, selon une démarche semblable à celle utilisée pour le diagnostic et le suivi
– 3). Outre l’exploitation des documents internes de suivi, du type rapports périodiques, on procède ensuite si nécessaire, à des investigations complémentairesà partir d’enquêtes de terrain individuelles et/ou collectives auprès : i) des acteurs et des partenaires directs impliqués dans l’exécution du projet (techniciens, responsables politiques, dirigeants d’association, stagiaires, formateurs…), ii) des groupes-cibles et des bénéficiaires (directs et indirects). Il est recommandé aussi : i) d’interroger les « exclus » du projet ainsi que les candidats non retenus, ii) de privilégier la réalisation d’enquêtes monographiques du type histoires à succès et/ou histoires de vie (cf. le chapitre sur la réalisation du diagnostic), iii) de procéder par interviews individuels et collectifs auprès des bénéficiaires à différents moments en fonction de la méthode d’évaluation retenue
– 4) le traitement et l’interprétation de ces données à partir de critères d’évaluation des résultats, des effets, de l’impact et des conditions d’obtention de ces valeurs (cf. Fiche d’outil IV 2 : les outils de l’évaluation)
– 5) L’évaluation s’achève par la formulation de recommandations et leur présentation aux différents acteurs concernés selon un format plus ou moins imposé par les donateurs (cf. Fiche d’outil IV 5 : les outils d’interprétation et d’analyse des données).
4. Evaluations externes, évaluations internes, autoévaluation et évaluations « chemin-faisant »
4.1. Les évaluations externes
L’évaluation externe est réalisée par un « expert » ou un consultant, ou par un collectif d’experts et/ou de consultants non directement impliqués dans la mise en œuvre de l’opération d’aide. L’intervenant extérieur est choisi en fonction des réponses qu’il fournit à un appel d’offre précisant les termes de référence de la mission (Fiche d’outil IV 7 : Les éléments des termes de référence d’une mission d’évaluation externe)
Le plus souvent, l’expert ou le consultant est un intervenant étranger, auquel dans le meilleur des cas, on associe un « homologue » national qui sert de « contrepartie » nationale, (sans toujours préciser d’ailleurs – et même rarement – la nature des contreparties prévues en faveur des intervenants nationaux… autres que leur rémunération !). Le contenu et le déroulement de ce type de mission sont définis par tout un ensemble de procédures propres à chaque donateur, depuis le contenu de l’appel d’offre jusqu’aux supports écrits que l’évaluateur doit suivre.
En principe la démarche d’évaluation est itérative, avec des aller retour entre l’évaluateur (et son équipe), le commanditaire, l’équipe chargée de l’exécution du projet et les bénéficiaires pour « croiser » et vérifier les informations recueillies et éviter certaines erreurs d’observation et d’interprétation. En réalité, à cette étape comme à l’étape de sa conception, la démarche d’une évaluation externe est, sauf exception, très mécaniciste. Elle se déroule  selon un enchaînement rigide, en raison en particulier de la durée des missions qui est en général très courte (de l’ordre de quelques semaines), avec tout au plus dans certains cas, l’organisation de séances d’information (et de concertation éventuellement) en cours d’activité.
Ces évaluations s’appuient : i) sur un travail d’exploitation et d’analyse des documents du projet (en particulier le document initial de projet et les rapports d’exécution et d’avancement), ii) sur un travail d’investigations complémentaires auprès des acteurs directement ou/et indirectement impliqués (bénéficiaires, destinataires) et si possible auprès d’individus de « groupes témoins ».
Les limites des évaluations externes
L’évaluation externe est utile dans la mesure où elle permet un regard extérieur sur les résultats obtenus et les modalités de leur obtention. Cependant, au-delà des limites générales à toute démarche d’évaluation et de réalisation d’un diagnostic, mentionnées ci-avant, une des limites spécifiques à ce type d’évaluation tient au temps qui est consacré à cette étape de l’évaluation, du fait des coûts d’une telle mission, surtout si l’évaluateur est un consultant ou un expert étranger. Cette limite est renforcée par le fait que la brièveté des délais rend impossible toute possibilité d’apprentissage à la fonction d’évaluation, pour les acteurs associés à l’évaluation
Surtout, il faut s’interroger sur l’opérationnalité et sur l’utilité de ce type d’évaluation externe pour les acteurs de l’action, dans le cas d’actions qui ne sont pas renouvelées. A quoi peut leur servir ce type de prestation quand les recommandations que contient le rapport d’évaluation finale, ne peuvent être mises en œuvre, l’action ayant pris fin depuis un certain temps au moment où dans le meilleur des cas le rapport leur arrive.
Comme signalé dans le Manuel de gestion des OPAD (page 310),  ces évaluations externes font l’objet de nombreuses critiques qui justifient le souhait de M.C Gueneau et B. Lecomte de « rendre l’évaluation externe moins externe ». Le diagnostic du LASDEL est sur ce point particulièrement sévère, qui dénonce les stratégies de manipulation des évaluations mises en œuvre qui se manifestent par: «la présélection des sites à visiter et la préparation des populations pour qu’elles disent ce qu’il faut ; les visites sur des sites financés par d’autres bailleurs, etc. Les évaluateurs qui enquêtent dans les villages nigériens sur l’exécution des activités « des projets » sont souvent victimes de leur méconnaissance du terrain, d’une certaine naïveté et de la prédominance des pratiques « collusives », localement mises en œuvre par les ONG nationales ou les équipes projet pour masquer le détournement de l’argent des « projets » destinés à la réalisation des activités de développement »
4.2. Les évaluations internes
Elles sont réalisées par les responsables de l’opération qui ont un rôle de maître d’œuvre, parfois assistés d’un expert extérieur au projet (national ou le plus souvent étranger) qui joue le rôle de facilitateur ou d’accompagnateur. Elles sont de plusieurs types en fonction de la manière dont les acteurs concernés sont associés à ce travail.(cf. Fiche de suggestions IV 3 : l’évaluation participative)
On reproche à cette méthode de reposer sur des observateurs qui manquent de recul et à qui on demande d’être à la fois juges et parties. Ce n’est pas totalement faux. A l’inverse, cette démarche a deux avantages principaux. Elle a le mérite d’impliquer directement dans l’évaluation, des personnes qui connaissent bien l’opération de l’intérieur et la manière dont elle a fonctionné et évolué aux différentes étapes de son déroulement. Elle est par ailleurs plus directement opérationnelle dans la mesure où ce seront ceux qui auront participé aux activités de diagnostic et de recommandations, qui auront à les mettre en œuvre.
4.3. L’autoévaluation (Manuel de gestion des OPAD pages 311-314)
Ce sont les bénéficiaires eux-mêmes, et non les responsables de l’opération qui s’impliquent individuellement et collectivement dans toutes les étapes de la démarche : de la formulation des termes de référence jusqu’au choix des modalités de diffusion du rapport final.
L’étendue exacte et les modalités de la participation sont susceptibles de varier selon les différents acteurs, mais toutes les démarches qui les sous-tendent ont en commun de considérer qu’une simple consultation n’est pas suffisante et que les acteurs doivent être totalement intégrés et impliqués à toutes les phases du processus décisionnel de l’évaluation. Toutes ont aussi en commun, de viser le renforcement des capacités d’intervention des acteurs dans le champ de la proposition et de l’amélioration des modalités d’intervention en matière de développement..
Ces dernières années se sont développées de nombreuses initiatives d’autoévaluation en relation avec le développement des programmes d’appui à l’auto-organisation des organisations paysannes et des opérateurs économiques (en particulier ceux du secteur informel). Elles témoignent de l’intérêt de faire de l’évaluation un moyen de partage du pouvoir et du savoir avec l’ensemble des publics bénéficiaires, impliqués dans la réalisation de l’opération d’aide au développement.
Deux champs sont alors possibles qui devraient être complémentaires. D’une part, l’autoévaluation peut porter sur une (ou les) organisation (s) populaire (s) impliqué (es) dans la réalisation de l’opération (cf. Fiche de suggestions IV 7: démarche d’autoévaluation d’une organisation populaire). D’autre part, l’autoévaluation peut porter uniquement sur les apports de l’opération elle-même. Dans tous les cas, l’autoévaluation est à la fois : i) un outil de réflexion,  ii) un processus d’observation, de confrontation et de négociation, iii) un dispositif d’apprentissage pour un renforcement des compétences des organisations collectives.
En général, l’autoévaluation se déroule en plusieurs temps avec, dans certains cas, un appui extérieur de départ qui tend à se réduire progressivement. Elle repose sur une démarche de même nature que celle signalée précédemment sur la démarche participative de diagnostic. (cf. « Manuel d’évaluation participative des programmes »www.coregroup.org/Storage/…/evaluation). Par contre, comme le visualise la fiche de suggestions IV 6 : La démarche d’autoévaluation et d’évaluation externe, elle est très sensiblement différente de la démarche d’évaluation externe.
Les étapes de la démarche d’autoévaluation
Ce sont celles qui figurent dans la Fiche de suggestions IV 5 : les étapes de la démarche d’autoévaluation. Au préalable, la mise en œuvre d’une démarche d’autoévaluation implique un important travail d’information, de sensibilisation et de formation des acteurs qui vont être partie prenante de cette démarche, sur ses enjeux et ses modalités. Cette exigence explique que l’autoévaluation soit illusoire si elle ne s’inscrit pas dans une démarche d’appui à un processus d’autopromotion.
Dans toute évaluation interne, les évaluateurs qui sont les bénéficiaires, manquent souvent de recul pour repérer les dysfonctionnements (cf. ci-avant). Cela est encore plus vrai dans le cas d’une autoévaluation quand les « leaders » nient les problèmes par intérêt ou pour s’auto- justifier, surtout s’ils en sont les principaux responsables. D’une manière plus générale, au niveau de ce type d’évaluation, rejaillissent toutes les questions qui résultent de la diversité des positionnements sociaux dont certains sont parfois antagonistes, et des arbitrages que cela implique, arbitrages qui sont souvent peu conformes aux exigences d’une réelle évaluation. Pour cette raison, il faut bien être conscient des difficultés de la tâche et des contraintes qu’elle impose dont trois sont principales.
– Premièrement, cette approche est consommatrice de temps, pour intéresser, former et faire travailler ensemble les acteurs, alors qu’une évaluation externe dure rarement plus de deux à trois semaines,
– Deuxièmement, elle suppose une réelle motivation, ce qui est particulièrement difficile dans des situations de conflits. Le risque alors est que l’autoévaluation soit de nature plus revendicative que co-responsabilisante,
– Reste une troisième contrainte souvent citée et réelle : le manque ou l’insuffisance de la formation des acteurs. Raison de plus pour utiliser ce temps de l’autoévaluation comme un temps fort d’apprentissage et de renforcement des compétences.
Par contre, cette démarche est la plus pertinente pour évaluer tant les effets (et en particulier les imprévus), que l’impact de l’opération d’aide. Surtout l’autoévaluation a le mérite d’être la pièce maîtresse d’un processus d’auto formation et d’acquisition d’une culture de l’évaluation partagée entre tous les acteurs et les groupes qui y sont associés. Elle est ainsi un processus qui va accroître leurs capacités d’analyse, de contrôle, et donc leurs capacités à décider et à négocier après avoir pu constater que leur parole avait été entendue. Pour faire de l’autoévaluation un véritable instrument de gestion, il faut la considérer comme une pratique courante et non comme « une opération coup de poing ». Il apparaît utile dans ces conditions, de coupler l’autoévaluation de l’opération avec l’autoévaluation de (s) l’organisation (s) des acteurs pour repérer et apprécier l’évolution de ses forces et de ses faiblesses (cf. ci-avant). La GTZ (coopération allemande) parle alors « d’auto-évaluation organisationnelle » qui porte en particulier sur plusieurs thèmes dont celui du leadership, sur les motivations des membres, sur leurs relations entre eux, sur l’histoire en parallèle du groupe et de l’opération[1].
4.4. Les évaluations « chemin-faisant »
Ces évaluations sont une composante centrale de la stratégie « chemin faisant « ou « tâtonnante ». Elle est vivement conseillée pour donner du sens aux observations que l’on peut faire dans une démarche de « suivi-évaluation » en complément à la mesure des résultats (cf. la Fiche à suggestions IV 4 : les évaluations « chemin-faisant » ou « tâtonnante »)

La boîte à outils de l’évaluation

Fiche d’outil IV 1. La phase préparatoire de l’évaluation
Fiche d’outil IV 2. Les outils de l’évaluation
Fiche d’outil IV 3. Collecte des données et inventaire des résultats, effets et impact
Fiche d’outil IV 4 : quelques exemples d’effets constitutifs de l’impact
Fiche d’outil IV 5 Les outils d’interprétation et d’analyse des données
Fiche d’outil  IV 6. La formulation des recommandations
Fiche d’outil  IV 7 Les éléments des termes de référence d’une mission d’évaluation externe pour le choix de l’expert

FICHE D’OUTIL IV 1

LA PHASE PRÉPARATOIRE DE L’ÉVALUATION

Comme pour l’étape de mise en œuvre, l’évaluation commence par une phase préparatoire pour préciser et affiner les éléments du document de projet sur cette opération. Il s’agit dedéfinir les termes de référence spécifiques à l’opération autour de quatre questionnements :
– 1)  L’évaluation pourquoi ? Pour quelles finalités ?
En principe,  l’évaluation : i) informe et capitalise, ii) porte un jugement qui n’est pas un verdict ? iii) aide à réorienter si nécessaire, iv) a une fonction pédagogique
– 2) L’évaluation pour qui ? pour les partenaires du Nord ou pour ceux du Sud (dont les bénéficiaires) ?
– 3)  L’évaluation par qui ? L’évaluation sera-t-elle : externe ou interne, dans ce cas sera t-elle de type ou non auto évaluation ?  ou externe (en ayant recours à une expertise nationale ou étrangère ?)
– 4)  Selon quelles modalités ?
Quelques conseils pour bien mettre l’évaluation sur les rails
 Prévoir l’évaluation dès la conception de l’action. Dans le dossier de financement, il faut prévoir de façon aussi précise que possible les changements attendus chez les bénéficiaires (les objectifs*) et prévoir du temps pour recueillir des informations auprès des bénéficiaires et/ou des partenaires (par exemple, un temps d’animation orienté sur l’évaluation, un questionnaire, des entretiens…). En fonction du déroulement de l’action, on définira plus précisément les questions à poser et les méthodes de recueil de ces informations.
– L’évaluation est à construire « sur mesure », en fonction de l’action et des questions qui se posent à un moment donné. Il n’y a pas d’évaluation « clés en mains » avec des indicateurs prêts à l’emploi. Chaque action a ses objectifs, son public, ses acteurs, son contexte local. C’est en élaborant l’évaluation qu’on décidera de réutiliser des indicateurs et outils déjà existants parce qu’ils seront pertinents.
– Une évaluation participative et négociée implique les acteurs (intervenants, partenaires, financeurs), qui se mettent d’accord sur le sens donné à l’évaluation, et qui définissent les questions posées à l’évaluation et les méthodes à utiliser. C’est la meilleure configuration pour donner à l’évaluation sa fonction « démocratique » (le partage des points de vue), son rôle de valorisation des succès de l’action et son rôle de moteur du changement pour améliorer les points faibles.
– Dimensionner l’évaluation en fonction de l’action. Une action longue et suivie avec le même public peut faire l’objet d’une évaluation plus approfondie qu’une action ponctuelle. Mais quelle que soit l’action, il est légitime de se poser la question de ses effets.
– L’évaluation s’organise comme une action : elle se planifie (avec des objectifs qui sont les questions posées), elle se réalise et… elle produit ses effets (elle contribue à la prise de décision et à l’information).
Source L’évaluation en 9 étapes : document pratique, Espace régional de santé publique Rhône Alpes

FICHE D’OUTIL IV 2

 LES OUTILS DE L’ÉVALUATION

1. L’évaluation : i) des résultats, ii) des effets, iii) et de l’impact
La distinction résultats, effets, impact : L’exemple de l’évaluation du projet « de l’eau pour tous »
Objectifs
Résultats
Effets
Impact
Réaliser 12 puits répondant aux normes techniques
10 puits busés de 25 m, ayant un débit journalier de 60 m3
1 forage
Le critère qualitatif n’étant pas déterminant pour la population, celle-ci continue à puiser l’eau au marigot quand cela est possible et n’utilise le puits qu’en saison sèche
L’action n’a pas amélioré la situation sanitaire des populations, alors que les objectifs ont été atteints. Par contre, les nouvelles activités productives des femmes contribuent à l’augmentation de leurs revenus dont une partie est réinvestie dans la santé
Réduire le travail des femmes
Diminution effective du temps d’attente au puits
Transfert du temps libéré sur de nouvelles charges familiales ou des activités productives
Diminuer les contaminations bactériennes dues à l’eau de boisson
Analyse bactériologique montrant une faible teneur en germes dans l’eau des puits
Les villageois transportent et stockent l’eau des puits avec les mêmes récipients que l’eau du marigot. L’eau consommée demeure donc contaminée.
Source : F3E, CIEDEL, « Guide méthodologique : Prise en compte de l’impact et construction d’indicateurs d’impact » juin 1999, page 10
Les résultats : un regard porté sur l’action elle même
Les résultats correspondent aux apports et aux changements directement liés à l’exécution du projet. On compare alors les résultats attendus et programmés et les résultats obtenus. Cette vision simplificatrice et réductrice de l’évaluation s’est très largement renforcée ces dernières années, à l’initiative du PNUD, avec la généralisation de la Gestion Axée sur les Résultats (cf. Fiche d’outil II 7 : la GRD). Ce type d’évaluation est largement détaillé dans le guide destinée principalement aux personnels des bureaux pays du PNUD « Le guide de la planification du suivi et de l’évaluation des résultats du développement » guide téléchargeable à l’adresse undp.org/evaluation/documents/
Pour évaluer les résultats on utilise en général quatre critères principaux : i) le critère d’efficacité qui mesure le taux de réalisation d’une opération, ii) le critère d’efficience introduit les questions relatives au coût de réalisation des activités, iiile critère de pertinence interroge sur le fait de savoir si l’objectif initial a toujours du sens à la fin del’opération, iv) le critère de cohérence (interne et externe) vise à évaluer la cohérence et l’adéquation des différents produits et résultats de l’opération, avec ceux d’autres actions de nature sensiblement identiques menées par ailleurs et avec la réalité du contexte que l’on cherche à modifier.
Les effets : un regard porté sur l’interaction entre l’action et la population
La notion d’effet est plus large. Elle désigne l’ensemble des retombées du projet sur son environnement et sur la population du territoire concerné qui ne se limite pas aux « publics cibles ».   On distingue : i) les effets directs et indirects attendus, ii) les effets inattendus dont d’éventuels effets « pervers » (du type comportements de rentiers, dépendance…).
L’impact (plutôt que les impacts) : un jugement porté sur les dynamiques du changement au sein de la population concernée par l’action
 Pour reprendre la définition qu’en donnent G. Graugnard et N. Heeren, l’impact d’une action de développement est « l’ensemble des changements significatifs et durables, positifs ou négatifs, prévus ou imprévus, dans la vie et l’environnement des personnes et des groupes, et pour lesquels un lien de causalité direct ou indirect peut être établi avec l’action de développement » in « L’évaluation de l’impact : guide méthodologique », CIEDEL, juin 1999 Sur l’évaluation de l’impact, cf. ci après « la fiche de suggestions IV. 2 : l’évaluation de l’impact»
2. La batterie des critères d’évaluation
Les critères sont des « points de vue » sous lesquels on se place pour évaluer les changements induits par l’action d’aide au développement
2.1. Les critères d’évaluation des résultats
Ce sont les plus fréquemment utilisés et les plus souvent recommandés par les concepteurs du modèle conventionnel de gestion des opérations d’aide au développement. On distingue alors :
– Le critère d’efficacité qui mesure le taux de réalisation d’une opération d’aide au développement, en comparant les résultats obtenus au moment de l’évaluation avec ceux attendus au départ qui découlent des objectifs fixés.
– Le critère d’efficience qui introduit les questions relatives au coût de réalisation des produits compte tenu des moyens humains et matériels mis en œuvre. On intègre dans l’évaluation la notion de coûts induits par l’exécution de l’action. On s’interroge sur le point de savoir si les dépenses afférentes étaient en rapport avec les résultats obtenus, ou si l’on aurait pu obtenir les mêmes résultats à un moindre coût.
– Le critère de pertinence qui interroge sur le fait de savoir si l’objectif initial a toujours du sens à la fin de l’opération d’aide. Il questionne sur le degré de pertinence des résultats tant par rapport aux besoins et aux problèmes identifiés au départ que par rapport aux besoins et aux problèmes observables en phase finale de l’opération.
– Le critère de cohérence qui vise à évaluer la cohérence et l’adéquation des différents produits et résultats de l’opération d’aide au développement avec ceux d’autres actions de nature sensiblement identiques menées par ailleurs et avec la réalité du contexte que l’on cherche à modifier. On s’interroge ainsi tant sur lacohérence externe de l’action (par rapport à d’autres actions de nature sensiblement identique menées par ailleurs, tant au niveau central qu’au niveau local) que sur sacohérence interne (
2.2.  Les critères d’évaluation des effets de l’OPAD
L’évaluation a alors pour objets : i) d’identifier les effets induits par l’OPAD sur les populations, dont les effets imprévus et pervers ; ii) de mesurer les écarts éventuels avec les effets attendus, et iii) d’aider à expliciter ces écarts pour suggérer les décisions à prendre pour améliorer les effets de l’action.
2.3. Les critères d’évaluation d’impact
La démarche d’évaluation de l’impact repose plus sur la prise en compte de critères relatifs aux causes du sous-développement que sur les critères relatifs aux effets du sous-développement.
2.4. Les critères d’évaluation des conditions de mise en œuvre et de réalisation de l’opération d’aide au développement
À ce niveau de l’évaluation, l’accent est mis sur « l’historique du projet », en insistant sur ses temps forts et sur ses points d’infléchissement. Il s’agit d’une part de mieux comprendre et d’interpréter plus finement les résultats obtenus et d’autre part de mieux anticiper les évolutions prévisibles à la fin de la programmation du projet. La démarche est forcément plus qualitative. Elle repose : i) sur la compréhension des dynamiques des acteurs et des institutions ; ii) sur l’identification des parcours des acteurs et des institutions; iii) sur l’analyse des évènements et des conflits, et iv) sur la réalité d’histoires de vie significatives (tant individuelles que collectives)
Pour reprendre le vocabulaire du langage du développement qu’utilisent les experts et les consultants, on recourt en général à trois ensembles de critères d’évaluation des conditions de réalisation de l’OPAD : i) les critères de participation qui mesurent les niveaux et les modalités d’implication des partenaires et des acteurs moins directement concernés aux différents moments de la vie du projet, ainsi que les relations partenariales avec les associations du type ONG et les groupements, ii) les critères de régulation et de traitement des conflits en cours d’exécution du projet, iii) les critères de pérennisation, et/ou de viabilité, et/ ou encore de chance de survie des projets en fonction des niveaux d’appropriation du projet par les bénéficiaires et de la capacité des acteurs locaux à tirer partie de l’événement.
2.5. L’évaluation des modalités d’intervention et d’accompagnement des institutions et des organismes d’appuis techniques et financiers à l’OPAD
Ce type d’évaluation est plus rare, pour des raisons que l’on peut aisément comprendre, surtout quand l’évaluateur externe dépend de l’institution qui a financé l’OPAD et qui de ce fait risque d’être juge et partie. Ces effets sont donc plus mal connus… et ignorés par les bailleurs de fonds. Au-delà de l’OPAD, il s’agit d’évaluer de manière très concrète et appliquée, les effets du système d’aide et en particulier les effets pervers qu’il génère ou qu’il est susceptible de générer tant au niveau local
Une façon habile de procéder est de recourir aux recommandations et aux prescriptions des donateurs vis-à-vis des pays et des populations bénéficiaires. Il s’agit alors de vérifier dans quelle mesure les organismes et les acteurs chargés de l’appui ont : i) développé des comportements et des pratiques de bonne gouvernance ; ii) fait preuve de transparence ; iii) ont impliqué concrètement les populations concernées dans une réelle démarche participative, pour en faire de véritables acteurs de leur développement… et plus globalement de vérifier si
elles ont donné l’exemple dans l’application de « bonnes pratiques » (cf. la Fiche d’outil I 2 : les « conditionnalités » imposées par les donateurs).

FICHE D’OUTIL IV 3

LA COLLECTE DES DONNÉES ET L’INVENTAIRE DES RÉSULTATS, EFFETS ET IMPACT

Les données nécessaires
– celles nécessaires pour la mesure des IOV à la demande des bailleurs de fonds
– celles qui correspondent aux besoins et aux attentes des bénéficiaires
Les sources d’information
– L’exploitation des documents produits aux différents moments de la vie du projet :
– lors de la conception du projet et de la formulation du document de projet, qui décrivent les situations de référence au départ de l’action à partir de la réalisation du diagnostic et de la formulation du document cadre du projet
– au cours du suivi et du monitoring pendant le déroulement du projet du type rapports d’avancement périodiques et annuels, suivi-évaluation: (cf. la partie précédente sur la phase d’exécution et de suivi, Manuel de gestion des OPADpages 245 à 250).
– La réalisation d’investigations complémentaires à partir d’enquêtes de terrain de type monographiques tant auprès :
–  des acteurs et des partenaires impliqués directement et indirectement,
– que des « exclus » de l’opération ainsi que des candidats non retenus (approche groupe témoin, évaluations par assignation aléatoire…).
Ces investigations sont de même nature que celles recommandées dans la phase de préparation, de conception et de mise en œuvre de l’opération du type : recherche-action, histoires de vie, jeux de rôle, thèâtre-action…. Elles supposent que la démarche d’évaluation soit participative. De telles investigations sont rarement menées dans le cadre d’évaluations externes compte tenu de la brièveté des missions. L’évaluateur se contente alors de collecter les informations définies dans les termes de référence de la mission.
Une approche est bien appropriée pour recenser les effets et les résultats de l’opération dans le cadre d’une approche participative.
– la construction de l’arbre à problème en fin de projet
– sa comparaison avec celui construit lors de la conception du projet

FICHE D’OUTIL IV 4

QUELQUES EXEMPLES D’EFFETS CONSTITUTIFS DE L’IMPACT

Aménagement rural
– Initiatives nouvelles de traitement des zones périphériques
-Actions de conservation des eaux et des sols en amont et en aval
– Les ressources précédemment non exploitées sont valorisées
– Mise en place de nouvelles instances et de nouvelles règles de gestion des terroirs
Appui à la création d’activités génératrices de revenus
– Incidence sur d’autres secteurs d’activité
– Confiance
– Intensification des relations économiques à moyenne et longue distance
– Les migrants se mobilisent pour appuyer les nouvelles activités
Microcrédit
– Les crédits sont affectés à d’autres usages que leur destination initiale
– Crédits pour l’habitat reconvertis pour l’agriculture péri et intra-urbaine
– Affaiblissement du rôle des notables qui exerçaient un rôle de régulateur entre emprunteurs et usuriers
– Evolution du rôle des usuriers
– L’accès au crédit augmente la concurrence entre les petits opérateurs économiques
Réhabilitation de quartiers urbains
– Recomposition sociale : les enjeux locaux l’emportent sur les intérêts ethniques et les origines
– L’action a conduit à un sentiment collectif d’appartenance à un quartier
– La réhabilitation a conduit la régie de transport en commun à reconsidérer la desserte permettant ainsi une intégration à l’économie urbaine
L’hydraulique villageoise
– Emergence de conflits d’usage de l’eau entre les usages : domestique, pour l’élevage et les troupeaux, pour l’irrigation des champs et des cultures maraîchères
– La plus grande disponibilité en eau : i) crée de nouveaux services, ii) favorise la convivialité et la capacité d’accueil, iii) attire les éleveurs, iv) permet de faire des cultures de contre-saison
Source : G. Graugnard, N. Heeren, “Guide méthodologique : l’évaluation de l’impact .Prise en compte de l’impact et construction d’indicateurs d’impact», F3E, CIEDEL, juin 1999


FICHE D’OUTIL IV 5

LA FORMULATION DES RECOMMANDATIONS

La démarche jusqu’alors rétrospective devient prospective. Elle consiste à suggérer le contenu de stratégies alternatives (objectifs et moyens) pour amplifier les résultats positifs obtenus et réduire les insuffisances constatées. Il s’agit :
– de justifier ces recommandations pour convaincre les donneurs d’ordre et les centres de décisions,
– d’anticiper les effets prévisibles des recommandations avancées.
L’évaluation s’achève par la rédaction en deux temps d’un rapport final d’évaluation remis au commanditaire à l’origine de la demande :
– d’abord un document provisoire que l’on fait valider, compléter, amender par le comité de pilotage
– ensuite un rapport final définitif.
Deux limites majeures :
 – souvent le rapport final ne parvient pas aux acteurs concernés par le projet. Il reste dans les agences !
  – souvent la remise du rapport est trop tardive. Le projet étant terminé, les recommandations restent alors sans suites opérationnelles
Plan type d’un rapport final d’évaluation pour les projets de l’Union Européenne
1. Résumé et commentaires 
Il doit être concis, et utilisable comme un document indépendant. Il doit être court, ne pas
Compter plus de cinq pages. Il doit être centré sur les principaux points d’analyse, donner les conclusions majeures, les enseignements et recommandations.
2. Texte principal
Le texte principal doit commencer par une introduction décrivant d’abord, le projet ou programme à évaluer et ensuite, les objectifs de l’évaluation. Le corps ou le noyau du rapport doit respecter les cinq critères d’évaluation, décrire les faits et les interpréter ou les analyser conformément aux questions clés liées à chaque critère. La valeur d’une évaluation tient à la qualité de l’écoute et de l’analyse de ce que l’évaluateur a vu et entendu
3. Conclusions et recommandations
Elles doivent faire l’objet d’un chapitre distinct. Dans la mesure du possible chaque conclusion majeure doit être suivie de la recommandation correspondante.
Les conclusions clés couvriront souvent des aspects relatifs aux critères d’évaluation. Les recommandations doivent être aussi réalistes, opérationnelles et pragmatiques que possible. Les recommandations doivent être soigneusement adressées aux différents publics à tous les niveaux.


FICHE D’OUTIL IV 6

LES ÉLÉMENTS DES TERMES DE RÉFÉRENCE D’UNE MISSION D’ÉVALUATION EXTERNE POUR LE CHOIX DE L’EXPERT

1. Rappel des caractéristiques principales du projet (historique et antécédents, objectifs, public cible, activités programmées…).
2. Portée et objet de l’évaluation : on précise s’il s’agit d’une évaluation finale préalable ou non à la reformulation d’une prochaine OPAD ou s’il s’agit d’une évaluation à mi parcours pour repérer les facteurs de blocage et/ou de retard.
3. Aspects à considérer : ceux relevant de la conception même du projet ? ceux relevant de son fonctionnement ? les facteurs économiques et sociaux de l’environnement de l’OPAD ?
4. Domaines des recommandations attendues : le choix des activités ? des objectifs ? de son rattachement institutionnel ? les personnels du projet et leurs niveaux de compétences ?
5. Composition de la mission.
6. Les modalités : durée, partenaires à consulter, comité de pilotage.
7. Rapport final : date de publication, modalités de restitution, demande d’un rapport provisoire ?

La boîte à suggestions de l’évaluation

Fiche de suggestions IV. 1. Quelques mises en garde préalablesFiche de suggestions IV. 2. L’évaluation de l’impact

Fiche de suggestions IV 3 : L’évaluation participative
Fiche de suggestions IV 4 : L’évaluation chemin-faisant ou « tâtonnante »
Fiche de suggestions IV.5 La démarche d’autoévaluation
Fiche de suggestions IV. 6. Comparaison d’une démarche d’auto-évaluation et d’une évaluation externe
Fiche de suggestions IV 7. La démarche d’autoévaluation au sein d’une organisation populaire


FICHE DE SUGGESTIONS IV.1

QUELQUES MISES EN GARDE PRÉALABLES

Se rappeler quelques vérités élémentaires
– Ne pas confondre croissance et développement (Manuel de gestion des OPAD) pages 277-278). La croissance est l’augmentation continue d’un indicateur quantitatif du type PIB. Le développement est quant à lui, défini comme «  une combinaison de changements mentaux et sociaux d’une population qui la rendent apte à faire croître, cumulativement et durablement son produit réel global »,  ou pour reprendre la définition de F. Perroux comme « un processus cumulatif d’effets d’entraînement qui permet l’émergence d’une économie de l’homme et de tous les hommes et la transformation de progrès particuliers en un progrès du tout social ». Si la croissance est nécessaire pour enclencher un processus de développement, la simple croissance économique ne produit pas automatiquement le développement. Nécessaire, elle n’est pas suffisante.
– Une opération d’aide vaut plus par ce qu’elle promeut que par ce qu’elle produit. On ne peut pas se contenter de comparer des résultats et des effets. Il faut prendre en compte l’impact, ce qui suppose que l’on se préoccupe de l’appropriation des effets de l’opération. La finalité d’une opération d’aide au développement est plus de provoquer et d’impulser des processus de changements durables que de viser simplement des résultats (souvent seulement quantitatifs) en fin d’opération, qui risquent de disparaître après un certain délai..
– Se méfier de la tyrannie du chiffre : il faut éviter de « féticher » les outils de mesure en se rappelant que tout ce qui compte dans la vie des hommes et des femmes et qui varient selon les peuples, ne peut être véritablement (ou seulement) compté à l’aide de chiffres. Certes la quantification est nécessaire. Il faut la connaître non pas pour l’ignorer, mais pour la nuancer.
Les « sept péchés  capitaux » possibles de l’évaluateur selon P Lavigne Delville (GRET)
– Instrumentaliser l’évaluation à son profit,
– S’inféoder à priori à l’un ou l’autre des acteurs,
– Plaquer ses propres schémas, sans chercher à comprendre ce qu’ont cherché à faire les équipes et pourquoi,
– Tomber dans le piège du rétrospectif
– Imputer aux acteurs « des choix » qui ne sont que des réponses au jeu des contraintes au sein duquel il se trouve,
– Prendre pour argent comptant des objectifs initiaux irréalistes,
– Ne voir que des résultats à court terme, ou seulement des possibles effets à long terme.
Sur l’analyse critique des méthodes des évaluations, du point de vue des acteurs et sur l’intérêt des évaluations participatives, cf. l’article de P. Lefevre et P. Kolsteren « Le développement comme arène : implications pour l’évaluation des projets », Bulletin de l’APAD, N° 8, 1994, téléchargeable à l’adresse  apad.revues.org/1823

FICHE DE SUGGESTIONS IV 2

L’ÉVALUATION DE L’IMPACT

Plusieurs manuels sont disponibles sur le thème de l’évaluation de l’impact, dont celui de la F3E et de l’association Six S   qui font l’objet de cette fiche
1. Le guide méthodologique F3E,
« Prise en compte de l’impact et construction d’indicateurs d’impact » CIEDEL, juin 1999
L’impact se distingue de deux autres notions : celle de résultats, et celle d’effets.(Fiche d’outil IV 2 : les outils de l’évaluation). L’impact est défini comme « la nouvelle situation issue de l’ensemble des changements significatifs et durables, positifs et négatifs, prévus ou imprévus, dans la vie et l’environnement des personnes et des groupes et pour lesquels un lien de causalité direct ou indirect peut être établi avec l’action de développement ».
L’évaluation de l’impact est un jugement porté sur les dynamiques de changement au sein de la population concernée par l’action. C’est ce qui reste quand le projet est fini. L’évaluation de l’impact a alors lieu deux, trois, cinq ans après la fin du projet
La démarche d’évaluation de l’impact proposée par le guide est la suivante
1. On repère et on inventorie les changements en termes de résultats et d’effets, à partir du diagnostic de départ
2. Dans cet ensemble, on choisit les effets produisant des changements significatifs et durables, dans et hors de l’action. On s’appuie sur les fiches de suivi des réalisations, des rapports périodiques, la capitalisation d’expériences…et si possible sur les modalités de collecte des informations pour un suivi/évaluation et/ou un suivi/capitalisation des innovations et des nouvelles opportunités.
3. On établit une grille de lecture commune pour tous les effets retenus autour de champs thématiques choisis pour leur pertinence (du type intensification, progrès en outillage, amélioration de l’auto-emploi…), et des indicateurs qui permettront de donner « une valeur » à chaque élément thématique de la grille.
4. On analyse de façon systématique, les relations entre ces éléments et leur importance relative
Ce guide méthodologique de la F3E, a le grand mérite de présenter un très grand nombre de cas concrets d’effets constitutifs de l’impact et d’indicateurs d’impact correspondants, dans plusieurs domaines du type : aménagement rural, microcrédit, santé, réhabilitation de quartiers urbains…
2. Le suivi de l’impact au sein des zones et des pays des interventions de l’association Six S. Source : B. Lecomte, « Organisations paysannes et efficacité de l’aide » page 32
Chaque village touché par un apport financier de Six S remet une  » fiche-village «  en fin de chaque saison sèche (30 juin) précisant les activités et les investissements faits, non seulement grâce à l’argent de Six S mais grâce à toutes les ressources internes et externes utilisées cette année-là.
On obtient ainsi :
a) Pour chaque village touché par Six S pour la saison sèche considérée ; relevé en nombre des journées de travail fournies pour chacune des huit catégories d’activités ; des indicateurs par type d’activité, par exemple pour le maraîchage : surface (totale ; en plus ou en moins par rapport à la saison sèche précédente) ; puits (anciens et nouveaux) ; pompes : production ;  aide financière ou matérielle reçue de Six S et d’autres sources.
b) Pour chaque zone d’activité de Six S, un relevé, en nombre, des : Villages touchés ; groupements touchés ; membres actifs (hommes et femmes) ; autres villageois actifs (H et F) ; journées de travail effectuées.
L’exploitation de ces estimations et mesures d’impact est faite durant chaque mois d’août : par tableau sur ordinateur, par report sur cartes, par comparaison entre les zones

FICHE DE SUGGESTION IV 3

L’évaluation participative

1. « Guide d’évaluation de projet : une démarche participative », Agence de la santé publique au Canada  www.phac-aspc.gc.ca/ph-sp
L’évaluation participative n’est, par définition, réalisable que s’il y a collaboration entre les personnes qui y participent, autrement dit, entre tous ceux et celles que l’amélioration de la santé intéresse. Cette collaboration débute en même temps que le projet, et se poursuit pendant toute la durée du projet. L’évaluation participative n’est jamais un exercice ponctuel a posteriori, c’est-à-dire exécuté une seule fois et après coup.
La collaboration permet de : i) réaliser l’évaluation en dialoguant avec les groupes communautaires; ii) prendre en compte l’expérience et le savoir des groupes communautaires; iii) mesurer les effets engendrés par un projet en ce qui a trait à la santé; iv) faire en sorte que les questions et les résultats de l’évaluation soient pertinents pour tous les intervenants; v) faire mieux accepter et utiliser la démarche et les résultats de l’évaluation; vi) aboutir à des résultats plus faciles à comprendre et à utiliser par le personnel de programme et de projet qui désire améliorer sa façon de travailler et influer sur la politique et les orientations du programme.
Les principes de la démarche de l’évaluation participative
– L’évaluation participative met l’accent sur l’apprentissage, la réussite et l’action.
– Elle doit être utile aux personnes chargées d’accomplir l’opération qui est évaluée
– C’est une démarche continue, organisée de manière à ce que tous les participants puissent utiliser l’information recueillie, pas uniquement à la fin du projet, mais aussi en cours de route.
– C’est aussi une démarche qui prend en compte la progression du changement touchant les connaissances, les attitudes, les compétences et les comportements.
– Les responsables de projet sont chargés de formuler les questions précises de l’évaluation, de définir les indicateurs de réussite et de fixer des délais d’exécution réalistes.
– L’évaluation participative permet de découvrir les questions qui intéressent en commun les groupes qui réalisent le projet, ceux qui sont visés par le projet, les organismes de financement et toute autre partie intéressée..
2. « Manuel d’évaluation participative » J. Aubel, Catholic relief services-USAID
Pour cet auteur, les étapes de la démarche participative sont les suivantes :
– Phase I: Réunions de préparation : i) on définit le but et les objectifs de l’évaluation,  ii) on identifie les membres de l’équipe d’évaluation, iii) on planifie les aspects logistiques et administratives, iv) on développe le cadre visuel du programme, v) on oriente les facilitateurs de l’atelier de planification de l’évaluation
– Phase II: Atelier de planification de l’évaluation : i) on organise les exécutants du programme en un groupe de travail efficace, ii) on formule les questions d’évaluation, iii) on identifie les sources et les techniques de recueil de données, iv) on développe les instruments de recueil de données, on finalise le choix de l’échantillon des sites et les personnes interviewées
– Phase III: Travail de terrain : préparation, recueil et analyse de données : i) on prépare les équipes de terrain : en technique de recueil de données et en orientation logistique, ii) on conduit des interviews et des observations, iii) on analyse les informations recueillies, iv) on résume les résultats du travail de terrain
– Phase IV: Atelier d’élaboration des enseignements tirés : i)on élabore les enseignements tirés pour chaque question d’évaluation, ii) on apprécie de l’équipe sur la méthodologie participative
– Phase V: Résumé des résultats de l’évaluation
– Phase VI: Elaboration d’un plan d’action basé sur les résultats de l’évaluation
– Phase VII: Finalisation du rapport de l’évaluation, diffusion et discussion


FICHE DE SUGGESTIONS IV 4

L’ÉVALUATION CHEMIN-FAISANT » OU « TÂTONNANTE »

Source : N. Couix « Evaluation « chemin-faisant » et mise en acte d’une stratégie tâtonnante », contribution à l’ouvrage collectif dirigé par M.J Avenier « La stratégie « chemin faisant »1997. cf. aussi la Fiche de suggestions III 6 : Comprendre, gérer la complexité plutôt que la nier ou la rejeter 
1. Contrôle et évaluation : deux paradigmes différents
Le contrôle est une interrogation sur du « prévu ». On vérifie la conformité d’un phénomène à un modèle de référence. On s’assure de la réalisation d’objectifs fixés à l’avance et on mesure les écarts entre le prévu et le réalisé. Le contrôle ne dit rien sur le « pourquoi » et le «  comment » les choses se sont passées. En matière de gestion des opérations d’aide le référentiel de départ est le cadre logique.
L’évaluation vise à construire une appréciation du phénomène qui est l’objet de l’évaluation. Il s’agit d’un questionnement sur la signification et l’interprétation des actions menées ainsi que sur les conséquences inattendues et imprévues. On interroge alors le fonctionnement effectif plutôt que le fonctionnement prescrit. Ce qui suppose que l’on construise en permanence le référentiel de base. L’évaluation est alors un processus de « production de sens »
Les deux termes méritent d’être séparés non pas pour les opposer mais pour les articuler et les rendre complémentaires, l’évaluation devant pouvoir s’appuyer sur la mesure et le contrôle.
2. Evaluation « chemin faisant » et mise en acte effective de « tâtonnements »
L’évaluation est une manière de mettre en acte effectivement, une démarche tâtonnante fondée sur des aller-retour entre l’action et la réflexion. Elle est l’occasion :
– de réaliser un diagnostic permanent qui va permettre les réadaptions éventuelles nécessaires tant en ce qui concerne les fins que les moyens
– d’actualiser et de mettre en place un système d’information et de communication évolutif afin d’éviter les risques de sclérose
– de mettre en place un dispositif pluraliste participatif, en tenant compte : i) des capacités d’attention limitées de tout individu et de toute organisation qui sera attentif à certains signes et pas à d’autres, ii) de la pluralité des valeurs
3. Quelques suggestions pour la mise en acte d’une évaluation « chemin faisant »
– Bien identifier l’instance d’évaluation et les chargés de l’évaluation
– Repérer les « temps forts » en fonction de la dynamique de l’action stratégique
– Utiliser l’évaluation « chemin faisant » comme un facteur d’apprentissage organisationnel à partir de principes et de réalités que les acteurs doivent découvrir progressivement et apprendre collectivement

FICHE DE SUGGESTIONS IV 5

LA DÉMARCHE D’AUTOÉVALUATION

1. Les étapes de la démarche
– Etape 1. Définition du cadre général de l’auto-évaluation : Il s’agit d’élaborer avec l’ensemble des acteurs, la problématique de l’évaluation et de définir avec eux les thèmes sur lesquels elle portera. On fait exprimer les acteurs sur leurs interrogations, leurs problèmes et leurs préoccupations, qui vont servir d’hypothèses à vérifier ou à infirmer. Pour convaincre et sensibiliser les acteurs, il est conseillé de leur présenter une étude d’un cas concret.
– Etape 2. Elaboration avec les bénéficiaires des outils et de la démarche de recueil des informations : définition des grilles d’entretien, élaboration par le groupe de fiches d’auto identification à remplir pour chaque point de l’OPAD en précisant les moyens mobilisés, les difficultés rencontrées et les initiatives prises, construction de tableaux de synthèse, choix des critères les plus pertinents et d’échelles d’estimations qualitatives. Pour la collecte de l’information, les  » enquêteurs  » sont choisis par les bénéficiaires du projet. Il peut être utile de recourir à deux modalités de travail collectif : d’une part la constitution de groupes homogènes autour d’un seul type d’acteur, d’autre part la constitution de groupes hétérogènes composés de représentants des différents types d’acteurs sur des thématiques plus transversales.
– Etape 3. Recueil des informations et leur dépouillement par l’animateur qui est le plus souvent externe à l’OPAD. Les données collectées sont analysées sur la base d’une confrontation des explications et des jugements. Le débat porte en particulier sur la nécessité d’apporter des rectifications ou pas, sur le choix des corrections souhaitables et des orientations futures.
– Etape 4. Elaboration et formulation des recommandations.
2. Un outil de pilotage utile : le suivi-évaluation-prévision (SEP)
(cf. M.C Gueneau, B. Lecomte « Les paysans dans les marigots de l’aide », pages 243-244)
La démarche d’autoévaluation oblige à mettre en place un système d’information rigoureux, pour suivre, évaluer et programmer les activités en continu, qui devrait selon ces auteurs présenter trois caractéristiques essentielles :
– Etre léger, ciblé sur un nombre raisonnable de données retraçant l’essentiel de l’action en évitant l’excès de zèle
– Etre conçu par les principaux utilisateurs intéressés, pour éviter les difficultés d’appropriation de systèmes conçus par des consultants extérieurs,
– Allier des informations quantitatives classiques à des données plus qualitatives, en utilisant des échelles de valeur pour mesurer ces dernières.
La gestion d’un tel système suppose une régularité des enregistrements et une rigueur, autant d’exigences qui sont difficiles à mettre en œuvre, et qui en tout état de cause, ne peut être qu’un travail de longue haleine.


FICHE DE SUGGESTIONS IV. 6

COMPARAISON D’UNE DÉMARCHE D’AUTO-ÉVALUATION ET D’UNE ÉVALUATION EXTERNE

Evaluation externe
Autoévaluation
– Démarche standard et normative de comparaison des objectifs et des résultats
– Les bénéficiaires ne sont pas forcément informés des résultats de l’évaluation, ils sont passifs, simplement interrogés
– Evaluation sélective, excluante
– L’évaluation : une étape programmée qui débouche sur un document final de synthèse
– Démarche plus qualitative, au cœur des stratégies des acteurs impliqués, en fonction des représentations qu’ils ont des objectifs et des résultats attendus
– L’évaluation est un outil de partage du pouvoir. Elle est un temps fort d’apprentissage de nouvelles compétences
– L’évaluation donne lieu à de vraies négociations. Les résultats apparaissent au fur et à mesure de la démarche, et se prolongent dans la vie du groupe


FICHE DE SUGGESTIONS IV 7

LA DÉMARCHE D’AUTOÉVALUATION

AU SEIN D’UNE ORGANISATION POPULAIRE

Source : GRAD. (Groupe de Réalisation er d’animation pour le développement) « Cinq outils pour l’autoévaluation » (Date non précisée)
Les utilités de l’autoévaluation :
– Un outil de réflexion sur les principales préoccupations du moment
– Un processus collectif de réflexion critique, de négociation interne et de décision concertée qui va permettre une consolidation de l’organisation de l’intérieur
– un levier d’apprentissage qui renforce les capacités propres d’analyse et de décision de l’organisation ainsi que sa capacité de négociation vis à vis de l’extérieur
Avant de lancer la démarche, il est très important de bien identifier le contexte dans lequel l’opération se déroule, en s’interrogeant sur plusieurs questionnements :
–   Qui en a pris l’initiative ? pour quelles raisons cette décision a été prise aujourd’hui ?
–   Les relations au sein de l’organisation sont elles propices à une telle réflexion critique ? L’organisation dispose-t-elle où peut-elle  trouver des ressources humaines pour mener  à bien l’exercice, pour l’accompagner et pour la fonction de médiation ?
–    Dispose t-on d’un minimum de données chiffrées et exploitées sur les activités de l’organisation ? Les documents écrits peuvent ils servir de support de communication pour la majorité de la population ? Sinon quels outils visuels privilégier ?
Les étapes de la démarche
La démarche est construite sur une succession de questions qui font l’objet d’un débat entre les membres de l’organisation, accompagné si possible d’un animateur externe
Temps 1 : A quoi servira l’autoévaluation ?
On débat en groupe de l’utilité de l’autoévaluation à partir du récit par les participants de l’histoire de leur organisation en insistant sur les décisions significatives et la manière dont elles ont-été prises. L’objectif est d’analyser et comparer entre elles ces histoires, pour mettre en évidence les fonctions que ces décisions ont remplies (en termes d’autonomie par exemple)
Temps 2 : Où voulons nous arriver demain ?
Quels sont les rêves qui animent les membres de l’organisation pour agir ensemble ? Quels sont ceux qui font l’unanimité et ceux qui ne concernent que certains des membres ? Quelle est leur hiérarchie ?
Temps 3 : Quelles sont les principales questions que nous nous posons aujourd’hui au sujet de notre organisation ?
Il s’agit de prendre du recul pour porter une vision d’ensemble sur les interrogations et les préoccupations actuelles. Quelles sont les questions-clés les plus importantes qui désignent les différents thèmes de l’autoévaluation, en distinguant : l’organisation et les relations internes, les activités, les relations avec l’extérieur.
Temps 4 : De la description de la réalité à l’expression d’un jugement
Au sein du groupe, la discussion porte d’abord sur : i) les bases du recueil de données nécessaires pour rendre compte de la réalité, ii) des critères d’évaluation adaptés à chacun des thèmes retenus, iii) des indicateurs concrets correspondants à chaque critère, du type : services rendus à la population, augmentation des fonds propres de l’organisation, modalités de décision et de contrôle au sein de l’organisation….dynamiques associatives et relationnelles induites.
On procède ensuite au sein du groupe à un diagnostic collectif qui repose sur une analyse rétrospective sur la situation. On collecte les informations. On cherche ensuite à comprendre la situation et à dégager une interprétation commune ou avec des variantes. Sur cette base, on formule des jugements et on énonce un diagnostic commun qui résume les principales conclusions de l’analyse, autour des points forts ou réussites et des points faibles ou des échecs que l’on commente. Sur la base du diagnostic, on définit les propositions d’orientations futures, on les synthétise et on choisit après négociations les orientations futures retenues .
Temps 5 : On diffuse et on fait critiquer le rapport d’évaluation

[1] Sur ce même thème, on consultera utilement le manuel d’auto-évaluation de la coopération canadienne C.Lusthaus, M.H Adrien, G. Anderson, F. Carden, « Améliorer la performance organisationnelle. Manuel d’auto- évaluation », CRDI, 1999. Ce document est consultable sur le site http://www.idrc.ca
Publicités

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s

%d blogueurs aiment cette page :