Comment mesurer la transformation :

Susy Cheston, Directrice exécutive, Women's Opportunity Fund

Larry Reed, Directeur général, Opportunity International Network

et

Vanessa Harper, Lauren Hill, Nancy Horn, Suzy Salib, Margaret Walen

SOMMAIRE

Présentation générale : la question de l'évaluation d'impact est l'une de celles qui continuent à poser problème aux praticiens du microcrédit, dont certains estiment que les études d'évaluation d'impact existantes sont sans valeur, alors que d'autres insistent qu'elles sont absolument nécessaires. Les auteurs voudraient voir instituer un nouveau modèle d'évaluation d'impact. Ils décrivent brièvement les principes essentiels des audits d'impact qui comprennent la mesure de la transformation chez les clients. Ils analysent également une série d'outils d'évaluation d'impact destinés aux praticiens du microcrédit et présentent rapidement les défis futurs auxquels devront faire face praticiens, bailleurs de fonds et théoriciens pour accroître l'utilité des efforts d'évaluation d'impact.

Résumé : le débat sur l'évaluation d'impact conduit forcément à la question suivante : « Mesurer l'impact, d'accord, mais dans quel but ? ». Les auteurs voudraient voir adopter des outils d'évaluation d'impact qui ne se limitent pas à incorporer les indicateurs d'évaluation financière mais qui puissent également indiquer la transformation chez les clients - et par transformation, nous parlons de modifications profondes dans la vie des personnes et de leur quartier ou région. Nous ne prétendons pas nier les problèmes attachés à l'évaluation d'impact, notamment les questions de rigueur théorique, de coûts et d'obligation d'expertise. Néanmoins, en dépit de ces problèmes, les auteurs dénoncent l'erreur qui consiste à supposer que le marché offre un indicateur adéquat de données d'évaluation d'impact et soutiennent que les praticiens du microcrédit devraient effecteur des évaluations d'impact afin de déterminer si les institutions de microcrédit ont atteint leur objectif officiel-l'allégement de la pauvreté.

C'est pour cela qu'ils demandent l'adoption et la mise en œuvre d'outils d'évaluation d'impact conçus pour les praticiens du microcrédit et offrant un modèle nouveau de l'évaluation d'impact, un modèle qui soit basé sur le concept de l'audit d'impact. Ils relèvent les insuffisances des études d'évaluation d'impact traditionnelles et soulignent que l'audit ne doit pas être conçu comme un exercice théorique mais comme un outil de gestion interne. L'objectif en est tout à la fois de mesurer les résultats et d'améliorer les programmes analysés.

À partir de l'utilisation d'un modèle d'audit financier, nous offrons des directives générales dans le but et dans le cadre d'un audit d'évaluation d'impact, en privilégiant les critères que devraient utiliser les gestionnaires pour sélectionner des outils appropriés. Ces critères comprennent notamment les analyses de tendances à long terme, les comparaisons avec les données d'impact antérieures, la facilité de mise en œuvre par le personnel existant et la possibilité d'incorporation au sein des systèmes d'information de gestion déjà en place, tout cela à des coûts comparables à ceux observés pour les audits financiers.

La première étape a consisté pour les auteurs à offrir un profil de chacun des quelques- uns des outils les plus utiles pour les praticiens du microcrédit à l'heure actuelle. Nous avons inclus une description de chaque outil, des exemples de questions ou de données recueillies et un résumé des point forts essentiels et des faiblesses de chaque outil. L'annexe contient également quelques présentations abrégées supplémentaires d'outils d'évaluation d'impact et d'autres ressources.

En dernier lieu, les auteurs appellent les praticiens du microcrédit à redonner à l'évaluation d'impact l'importance due à un outil de gestion essentiel. Ils invitent également les bailleurs de fonds à financer le développement d'outils faciles à reproduire et à récompenser les organisations qui les utilisent. Ils aimeraient encourager les experts-conseil à accroître leur expertise et leurs compétences en matière d'analyse de ces outils. Enfin, ils signalent que les clients ont besoin de comprendre que le succès des efforts d'évaluation d'impact dépend absolument de leur participation.

Vieille plaisanterie mais qui illustre bien la situation dans laquelle se trouvent les méthodes d'évaluation de l'impact et du microcrédit. L'objectif du mouvement du microcrédit est d'alléger la pauvreté. En dépit de quoi, les seuls indicateurs de performance utilisés pour évaluer l'efficacité des programmes de microcrédit sont conçus pour mesurer la rentabilité de l'institution de crédit et la qualité de son portefeuille. Ces indicateurs ne nous apprennent en aucune manière si nos clients sont devenus moins pauvres du fait des prestations reçues.

Pourquoi se servir de ces indicateurs qui ne nous indiquent pas si nous atteignons notre objectif ? Tout simplement parce qu'ils sont plus faciles à calculer de manière satisfaisante. Nous passons notre temps à étudier les zones bien éclairées alors que l'objet que nous cherchons reste dans l'ombre.

Cette présentation cherche à éclairer la question de l'évaluation d'impact sur le client dans le secteur du microcrédit. Nous projetons d'étudier le manque de bons outils d'évaluation d'impact, de décrire certaines des difficultés escomptées au cours de la recherche de tels outils, d'identifier les éléments d'une évaluation d'impact idéale et de décrire quelque-uns des outils qui devraient nous permettre d'évaluer notre impact. En passant, nous essaierons également de réfuter les arguments de ceux de nos amis qui prétendent nier l'importance de l'évaluation d'impact.

Nous sommes conscients du fait que la question de l'évaluation d'impact a donné lieu à de nombreux débats d'experts, tout récemment dans le cadre du projet AIMS (Assessing the Impact of Microenterprise Service - Évaluation de l'impact des prestations à la microentreprise) de l'Agence des États-Unis pour le Développement International (USAID) et lors d'une série de réunions virtuelles organisées par le Groupe consultatif d'assistance aux plus défavorisés (GCAPD) de la Banque mondiale. Nous ne pouvons que féliciter ces organismes du travail accompli et les encourager à continuer. Dans l'intervalle, les auteurs de cette présentation ont choisi de concentrer leur attention sur ce qui fait encore défaut aux praticiens du microcrédit que nous sommes : des outils qui puissent nous aider à mieux concevoir les instruments de crédit et à mieux gérer nos institutions.

Il nous faut dès le départ admettre que nous souffrons d'un certain parti pris. En premier lieu, en tant que praticiens du microcrédit nous avons besoin d'informations fiables pour pouvoir prendre des décisions correctes. Nous ne disposons pas de sommes de temps et d'argent infinies pour vérifier que les données recueillies sont justes à 99,44 %. Nous reconnaissons la valeur des efforts fournis par les chercheurs pour développer la théorie et la pratique de l'évaluation d'impact, mais pour nous, le critère essentiel reste de savoir si ces outils permettent d'obtenir des données qui nous aideront à prendre de meilleures décisions.

En deuxième lieu, notre longue expérience de ce secteur d'activité nous conforte dans l'idée que l'objectif premier de la microfinance est d'alléger la pauvreté. Nous choisissons de faire ce travail parce que nous voulons aider et encourager un processus de transformation dans les vies de nos clients et de leur lieu de vie.² Nous sommes prêts à reconnaître que cela ne pourra être accompli sans la mise en place préalable d'institutions à grande échelle qui puissent opérer de manière rentable. Toutefois, notre mission primordiale est la transformation de la femme en tant qu'individu, et de son quartier ou de sa région, et non pas la transformation de l'institution.

Nous sommes conscients du fait qu'il peut être délicat de déterminer si nous avons atteint notre objectif, dans la mesure où la pauvreté n'est pas limitée au domaine économique, mais revêt aussi des aspects sociaux, spirituels et politiques. Nous avons néanmoins choisi de mesurer notre réussite en essayant de savoir si nos clients constatent une amélioration de leur vie grâce à nos programmes. Nous savons qu'il s'agit d'une situation complexe, mais nous préférons passer notre temps à tenter de faire la lumière sur le sujet que faire des recherches dans des zones faciles et bien éclairées qui ne peuvent pas réellement nous indiquer si nous avons atteint notre but.

À première vue, il peut sembler évident de mesurer l'impact du microcrédit. Si nous cherchons à alléger la pauvreté, et surtout si nous devons utiliser un montant limité de fonds publics pour ce faire, nous devons certainement trouver un moyen de décider si nous atteignons notre objectif. Après tout, le crédit est un outil complexe. En effet, l'endettement de l'emprunteur peut lui être aussi néfaste que bénéfique. Si nous nous efforçons d'aider nos clients à sortir de la pauvreté, nous voulons forcément savoir qu'ils étaient pauvres au moment où ils ont commencé à emprunter et moins pauvres à la suite de leur emprunt. Nous ne tenons pas à les voir bloqués dans la même situation, d'un cycle à l'autre, ne réalisant qu'un faible profit. Savoir que nous avons augmenté la dette de 100 millions de personnes ne nous dit pas si nous avons accompli notre mission, même si nous leur avons procuré ces crédits de manière efficace d'un point de vue comptable.

Et pourtant la situation n'est pas si claire et certains des experts les plus connus de l'industrie du microcrédit ont émis des doutes au sujet de l'utilité des dépenses d'évaluation d'impact.

Beth Rhyne écrit par exemple : « Dans l'ensemble, les évaluations des programmes de crédit sont encore fondées sur la logique qui procède du vieil ordre d'idée sur la causalité. Elles sont conçues selon la présomption d'un lien causal direct entre l'attribution de crédit à des emprunteurs individuels et une conséquence souhaitée particulière, par exemple une modification du revenu de l'emprunteur résultant directement de l'octroi d'un prêt particulier. »³

Les arguments de base à l'encontre d'une évaluation de l'impact plus approfondie ont été les suivants :

Bien que les arguments présentés au paragraphe précédent offrent une certaine cohérence, il reste néanmoins à répondre à la question de savoir si les ressources consacrées au microcrédit réussissent réellement à sortir les individus de la pauvreté. Ces arguments n'aident pas non plus à évaluer les différentes méthodes d'octroi du microcrédit. Imaginons par exemple le cas de deux institutions de microcrédit, toutes deux également rentables d'un point du vue comptable et possédant le même nombre de clients. Leur impact est pourtant extrêmement différent : l'une d'entre elles offre un crédit rentable mais n'a qu'un impact marginal et dispersé sur ses clients. L'autre ne se contente pas d'offrir des prêts mais aide ses clients à développer leurs talents de leadership et à édifier des réseaux sociaux avec pour résultat un changement positif et étendu à l'intérieur des communautés où vivent ces clients. Les évaluations financières ne nous donnent aucun moyen de différencier entre ces deux institutions. Il nous faut un moyen d'évaluer l'impact transformationnel pour découvrir la différence.

Nous pensons que les évaluations de rentabilité et de qualité du portefeuille représentent d'importants indicateurs de la santé institutionnelle d'une organisation mais elles ne mesurent ni la santé des clients ni leur bien-être. Citons l'un des professeurs de comptabilité que nous avions consultés pour cette présentation : « L'utilisation des comptes de résultats pour mesurer l'impact du microcrédit est similaire à l'utilisation d'un compteur de vitesse pour mesurer la température. »

Mais pourquoi essayer d'utiliser un compteur de vitesse pour mesurer la température ? S'il n'existe pas de thermomètre ou si les instruments de mesure de la température sont trop gros, ou trop coûteux pour permettre une utilisation régulière. C'est malheureusement la situation actuelle du secteur de l'évaluation d'impact. Des outils très sophistiqués ont été mis au point pour indiquer où s'est produit l'impact, mais la majorité d'entre nous, dans l'industrie, estiment que ces outils sont trop coûteux ou demandent trop de temps pour être employés d'une manière régulière.

Si nous voulons pouvoir mettre au point des outils utilisables, il est essentiel que les dirigeants d'organisations de microcrédit jouent un rôle plus visible dans le débat portant sur l'impact. Nous pensons que l'heure est venue pour les praticiens du microcrédit de jouer un rôle et de rendre à l'évaluation d'impact son rôle essentiel d'outil de gestion.

En préparant cette présentation, nous avons étudié plus de 100 documents d'évaluation d'impact, mettant en jeu 50 outils actuellement utilisés. Nous avons été très surpris du petit nombre de méthodes dont nous pouvions recommander l'utilisation. Non pas que ces études d'impact aient été conçues de manière incorrecte, mais parce qu'elles étaient ou impossibles à reproduire ou trop coûteuses. De plus, un grand nombre d'entre elles présentaient les mêmes points faibles :

Si nous voulons mettre au point un instrument fiable pour évaluer l'impact de manière régulière, nous devrons modifier le modèle utilisé lorsque nous réfléchissons à l'évaluation d'impact. Le modèle actuel est celui de l'étude d'impact théorique, commandée par le bailleur de fonds, et dont l'objectif est de démontrer si les programmes financés par le bailleur de fonds ont eu un résultat positif quelconque. Nous possédons de ce fait un vaste assortiment d'enquêtes taillées sur mesure, ponctuelles et qui ne peuvent ni fournir d'analyse de tendance ni permettre de comparaison avec d'autres études d'impact. Autrement dit, les informations fournies servent principalement à justifier les dépenses déjà encourues par le bailleur de fonds ou à orienter de nouvelles ressources du bailleur de fonds.

Le fait que le terme « études » se trouve si souvent accolé au terme « impact », indique l'importance acquise par le modèle théorico-académique. Il semble que nous passions beaucoup de temps à parler d'études d'impact et beaucoup moins à parler de mesures d'impact, de contrôle d'impact ou d'analyse d'impact.

Non que nous ne tirions pas parti de ces études : nous les citons fréquemment (si tant est qu'elles nous soient favorables) lorsque nous faisons appel à de nouvelles sources de financement. Mais nous les utilisons rarement dans le cadre de la planification.

David Hulme parle d'un ensemble homogène d'objectifs pour l'évaluation d'impact, depuis la démonstration d'impacts dans le cadre de l'évaluation des résultats d'un investissement jusqu'à l'amélioration des méthodes pratiquées par une institution de microcrédit.⁴ Les outils d'évaluation d'impact qui s'attachent à l'amélioration plutôt qu'à la démonstration peuvent inclure quelques-uns des outils déjà utilisés, mais ils les utiliseront différemment. Quant aux outils d'évaluation d'impact qu'utilise régulièrement les dirigeants des institutions, ils seront axés différemment.

Ce type de contrôle d'impact continu suggère un modèle différent : un audit d'impact utilisé comme un outil interne de gestion. Son processus est très semblable à celui d'un audit financier, lequel comprend toutes les étapes décrites précédemment. Les membres de l'équipe recueillent les données financières selon un calendrier périodique et cohérent. Ils utilisent ces données pour générer une analyse de tendances et des comparaisons au niveau des centre de profits. Ces informations sont incorporées à l'intérieur du processus régulier de planification, pour aider l'organisation à améliorer sa rentabilité. Chaque année, l'organisation fait appel à des experts extérieurs (auditeurs) responsables de la vérification des données et de la présentation de suggestions visant à l'amélioration des procédures comptables et de gestion. Lorsque les mêmes normes d'évaluation d'impact sont mises en pratique par toute une industrie, il est possible aux organisations de comparer leurs performances avec celles d'organisations similaires.

Un audit d'impact fonctionnerait de la même manière. Le personnel de l'institution recueillerait les données de référence pour les indicateurs financiers et sociaux importants pour chaque client (d'un groupe-échantillon) au cours du processus de demande de prêt. Ces données pourraient être mises à jour annuellement ou lors de chaque nouvelle demande de prêt. De manière périodique (tous les six mois ou tous les ans), l'organisation analyserait ces données pour définir les tendances observées parmi ses clients avant d'approfondir les sujets mis en lumière par cette analyse au moyen d'enquêtes menées auprès des client ou de groupes de discussion. L'organisation pourrait ensuite recueillir toutes ces données et les inclure dans sa réflexion sur la conception et la stratégie de ses activités de prêt. La publication d'un rapport annuel offrirait une description de l'impact du programme, les niveaux de transformation souhaités et obtenus, ainsi que les modifications qui seront apportées au programme à la suite de ces informations. Des experts externes pourraient être chargés de vérifier l'exactitude des informations obtenues, de suggérer des améliorations du processus de collecte des informations et d'aider la direction de l'organisation à tirer pleinement parti des implications de l'analyse d'impact sur les activités du programme.

L'utilisation du modèle de l'audit financier nous permet aussi de réfléchir au montant des frais qu'une institution devrait être disposée à consacrer à l'évaluation de son impact. Notre règle approximative est que l'institution devrait être disposée à dépenser la même somme pour le contrôle et l'audit de son impact que pour l'audit de ses finances. Autrement dit, une institution devait attacher autant d'importance à la réussite de son objectif qu'à la réalisation d'un profit suffisant pour assurer sa survie institutionnelle. Dans le cas d'un programme de microcrédit possédant un nombre maximum de 10 000 clients, le coût peut être évalué entre 10 000 et 20 000 dollars US en frais de personnel, systèmes de détection et « auditeurs » externes. Nous sommes d'avis qu'un investissement de ce type en contrôle d'impact ne peut que se révéler rentable financièrement à mesure que l'institution accroît son efficacité pour obtenir le type d'impact souhaité et augmente les bénéfices et avantages offerts à ses clients. (Veuillez remarquer que ce raisonnement ne concerne pas que les activités à but non lucratif ou à mission sociale. On observe un nombre toujours plus important de sociétés faisant appel à des « audits sociaux » et à des « tableaux de résultats équilibrés » pour décider si leur action a un impact positif sur leurs employés, leurs clients et les communautés dans lesquelles elles fonctionnent.⁶)

L'un des membres d'Opportunity International Network en Inde, The Bridge Foundation (TBF) de Bangalore, a apporté la preuve de ce type d'audit d'impact. À l'origine, TBF offrait des prêts à des particuliers situés en zone urbaine. Elle a démarré ses activités en faisant appel aux églises et aux leaders communautaires qui pouvait l'aider à identifier des clients honnêtes. À partir de ces informations, TBF effectuait sa propre analyse pour déterminer l'expérience professionnelle et le potentiel des candidats. Durant cette phase initiale, les activités de TBF étaient axées vers la génération d'emploi - la création d'emplois pour la catégorie de personnes ciblées, grâce à des « projets utilisateurs de main d'œuvre ».

Toutefois, l'expérience et des résultats d'un audit d'impact ont entraîné une modification de la méthodologie. En 1991, après avoir analysé les données recueillies sur l'impact de son action, TBF est arrivée à la conclusion que la génération d'emploi ne créait pas d'emplois pour le groupe cible, les très pauvres ; les employés embauchés par les clients étaient des travailleurs qualifiés n'appartenant pas au groupe ciblé. Cette conclusion a conduit TBF a diriger son attention vers la génération de revenu et au relèvement du niveau du revenu familial au moyen de « projets familiaux ». En outre, depuis 1991, TBF a effectué un changement majeur de son programme en le transférant du secteur urbain vers le secteur rural, si bien qu'à l'heure actuelle la majorité de ses clients proviennent de villages situés à l'intérieur des terres, dans quatre des états du sud de l'Inde.

En tant que gestionnaires, nous voulons que les donnés sur l'impact nous aident à prendre des décisions stratégiques critiques. Nous avons besoin de savoir dans quel secteur de clientèle travailler, lesquelles de nos formules de prêt fonctionnent effectivement, quels sont les obstacles rencontrés par nos clients, pourquoi les taux de remboursement ont décliné, pourquoi nos programmes ont l'air d'attirer moins de clients, lesquels de nos clients reçoivent le plus de bénéfices de notre institution et lesquels en reçoivent le moins et de quelle manière développer nos programmes.⁷ Dans cette optique, les outils sélectionnés devraient :

Ces critères tendent à brouiller les liens existant entre le contrôle d'impact et l'évaluation d'impact. Le contrôle d'impact est l'évaluation des performances d'un projet par rapport à ses objectifs internes, au moyen d'informations recueillies périodiquement - à long terme ou ponctuelles. Cela peut par exemple permettre de prendre des décisions telles que la sélection du montant de prêt que les clients sont en mesure de gérer. L'évaluation d'impact est l'analyse d'un projet par comparaison avec ses objectifs principaux selon un critère spécifique - il s'agit d'une analyse rétrospective. Cela ajoute un élément d'intentionnalité à l'évaluation de notre mission et aux suggestions de corrections de trajectoire. Nous estimons que ces activités ne doivent pas forcément être considérées comme des activités distinctes mais plutôt comme deux éléments nécessaires d'un système d'audit d'impact continu.

La section suivante présente quelques-uns des outils d'évaluation d'impact les plus prometteurs que nous ayons rencontrés au cours de notre enquête. Même si aucun d'entre eux ne parvient à satisfaire tous les critères définis précédemment, l'utilisation de plusieurs de ces outils pourrait permettre de développer un système d'audit d'impact.

Créateur : Helzi Noponen

Organisation de mise en œuvre : Friends of Women's World Banking (Inde), financement de la Fondation Ford

Description : un système interne, décentralisé et intégré de contrôle, évaluation, gestion et formation, qui peut être utilisé pour la prise de décision à tous les niveaux, y compris ceux de la clientèle, du personnel sur le terrain et des bailleurs de fonds.

Ai-je amélioré mon logement ?

Ai-je amélioré mes méthodes de production/fabrication ?

Ai-je amélioré mon accès aux soins de santé ?

Suis-je heureuse/heureux des conditions dans lesquelles je vis ?

(ces questions sont posées à l'aide d'illustrations d'accompagnement)

Le système de formation intégrée (ILS) est basé sur la mise à jour, par le client, d'un journal personnel illustré. Ces informations sont transférées dans un journal récapitulatif tenu par le groupe d'auto-assistance du microcrédit, puis fournies au responsable de région, au directeur du programme et en dernier lieu au fournisseur de fonds intermédiaire. À chaque niveau, les participants recueillent des données, évaluent les changements, analysent les raisons des changements, modifient leurs stratégies en fonction de ce qu'ils ont appris, enregistrent leur progrès et communiquent ce qu'ils ont appris.

Au cours de l'observation préliminaire, un groupe de tisserands sur métiers à bras analphabètes se sont servis de leurs journaux illustrés pour raconter leur vie et faire pression pour obtenir l'électricité ainsi qu'une clinique pour les maladies professionnelles. Les groupes d'auto-assistance les ont utilisés, avec des modules de formation associés, pour contrôler et améliorer le fonctionnement de leur organisme dans les domaines de la gestion et de la tenue des registres comptables. Le personnel local les a employés pour assurer une bonne allocation des ressources en les orientant vers les zones de besoin identifiées. En outre la constatation que l'utilisation de main d'œuvre enfantine était bien plus importante que prévue a entraîné la création d'un programme de lutte contre le travail des enfants. En sus des données d'évaluation d'impact, ce systèmes a permis la création d'un flot de méthodes optimum d'action et de formation et peut à lui seul aider à la prise d'autonomie des clients et du personnel.

L'ILS peut être adapté en utilisant le Manuel d'analyse des intervenants pour déterminer les domaines d'étude et les indicateurs appropriés avant d'embaucher un dessinateur local chargé d'adapter les illustrations. Le coût de mise en œuvre de l'ILS se limite aux frais de personnel durant la formation et pour la durée de l'enquête, aux frais de transport vers les sessions de formation et au coût d'impression ou de photocopie des journaux personnels (un journal de client d'une durée de trois ans coûte 0,40 dollars US). Dans la mesure où il s'agit d'un système intégré, la condition impérative est que l'ONG s'engage à fournir son personnel à tous les niveaux.

Créateur : MSI, Lorraine Blank et Russ Webster

Organisation de mise en œuvre : Workers Bank, Jamaïque

Description : une banque de données de référence au sujet de la santé, du niveau d'instruction et du statut financier des clients à la date du premier prêt et à intervalles ultérieurs.

Eacute;quipement ménager durable/non durable que possède votre foyer.

Montant total de l'endettement actuel

Liquidités disponibles

Montant moyen des dépenses alimentaires

En collaboration avec la Workers Bank de la Jamaïque, MSI a mis au point une base de données de contrôle de l'impact qui est incorporée à l'intérieur du système de demande de prêt. Lors de l'entretien de demande de crédit, le préposé aux prêts saisit directement les données sur ordinateur. Les données fournies pendant l'entretien comprennent les informations nécessaires pour évaluer le prêt, ainsi que des informations portant sur les revenus du client, ses biens, ses habitudes de dépenses1/4 La durée totale de l'entretien est d'environ 20 minutes. Lorsque le client fait une nouvelle demande de prêt, on procède à une nouvelle prise de données. Cette méthode permet de surveiller les changements des indicateurs pendant toute la durée d'emprunt du client auprès de la Workers Bank.

Créateurs : SEEP, sous l'égide d'Elaine Edgcomb, alors directrice exécutive, avec

Barbara MkNelly, Carter Garber et Nancy Horn (en tant que participante au projet AIMS d'USAID)

Organisation de mise en œuvre : ODEF/Honduras, partenaire de Katalysis et Kafo Jiginew/Mali, partenaire de la Campagne contre la faim

Description : analyse d'impact à éléments multiples comprenant une comparaison croisée entre clients et non clients ; des sessions questions-réponses approfondies de groupes échantillons composés de clients appartenant à l'institution depuis plusieurs années ; une enquête menée auprès d'anciens clients et des entretiens avec des groupes de discussion.

Au cours des quatre semaines qui viennent de s'écouler, avez-vous reçu un revenu autre que celui obtenu en travaillant pour quelqu'un d'autre ?

Lorsque vous décidez de démarrer une activité/entreprise, quels facteurs prenez-vous en compte ?

Au cours des deux dernières années, avez-vous effectué ou fait effectuer dans votre logement des réparations, améliorations ou ajouts d'un coût supérieur à 50 dollars US ?

Les dépenses scolaires effectuées par votre foyer/famille cette année ont-elles été moindres, identiques ou supérieures à celles de la dernière année scolaire ?

À Kafo Jiginew, l'enquête d'impact a été conduite auprès de trois groupes échantillons - clients depuis un an, depuis deux ans et nouveaux clients. Le test a été effectué au cours d'une période de trois semaines par des membres du personnel à qui étaient confiés des clients qu'ils ne connaissaient pas. Le montant total des dépenses de Kafo (salaires, indemnités journalières1/4 ) était 2 800 dollars US ; les frais de la Campagne contre la faim se montaient à 8 700 dollars US (salaires, frais divers et location de voiture pour l'agent de formation et le chauffeur.⁸ Les 197 jours-personnes utilisés comprenaient la planification, les tests préliminaires, la collecte de données, l'installation de logiciel, et la saisie et l'analyse de données.

L'évaluation offre une démonstration satisfaisante de l'impact positif à de nombreux niveaux, notamment l'entreprise, le foyer, l'individu et son quartier ou sa région. En outre, elle munissait Kafo d'informations concernant par exemple l'utilisation réelle par les clients des fonds prêtés ce qui permettra une amélioration de la conception du programme.

Outil : Enquête de sortie des clients

Créateur : conçue par Carter Garber pour le projet AIMS d'USAID,⁹ selon les « Questionnaires de sortie de clients de Trust Bank » du Women's Opportunity Fund

Organisation de mise en œuvre :AGAPE, Colombie, membre d'Opportunity International Network

Description : entretien standard effectué avec les clients de prêt de groupes au moment de leur sortie du programme

Quelles sont les raisons principales de votre sortie du programme ?

Qu'avez-vous pu accomplir dans votre activité/entreprise grâce aux prêts que vous avez reçus ?

Comment le prêt a-t-il été utile pour votre famille ?

Quelles sont les deux choses que vous avez préférées dans le programme ?

En dépit de sa portée limitée, le précédent outil nous a paru utile du fait de la simplicité de sa mise en œuvre et de son aptitude à fournir la première étape de l'évaluation de la satisfaction de la clientèle au sujet du programme. Les enquêtes sont effectuées par les préposés au crédit auprès des clients, au moment où ceux-ci quittent le programme. L'utilisation de cet outil a permis à AGAPE/Colombie de recueillir des informations sur le revenu des clients ainsi que sur l'utilisation et le montant des prêts. Ces constatations ont amené l'organisation à développer la formation et l'éducation de sa clientèle sur la manière d'investir le montant des prêts et à augmenter les évaluations des activités professionnelles des clients au départ.

L'approche similaire de FINCA/Nicaragua a produit un rapport sur le ciblage et le renouvellement de clientèle, et l'impact du programme, par John Hatch, Todd Manwaring, Meredith Terrell et Judd Horn, en septembre 1998. Remarquons toutefois que les outils d'enquête ont été utilisés auprès de nouveaux clients, de clients quittant le programme et d'anciens clients. Les résultats indiquaient les différentes questions affectant la satisfaction au sujet des produits ainsi que l'impact constaté par le client pour chaque groupe.

Outil : étude d'évaluation d'impact

Créateur : Monawar Sultana et Ashok Nigam

Organisation de mise en œuvre : Family Development Fund, Egypte (UNICEF/Égypte, 1998)

Description : mesure les améliorations constatées au niveau du bien-être matériel, de l'accès aux services sociaux élémentaires, de l'amélioration du statut de la Femme, ainsi que la longévité institutionnelle du programme, à l'aide d'entretiens individuels utilisant des questionnaires méthodiques, d'entretiens avec des groupes de discussion et d'études de cas.

À quelle fréquence votre famille mange-t-elle des légumes ou des fruits ?

Au cours des deux dernières années, l'un des membres de votre famille a-t-il reçu un prêt autre que celui accordé par le projet ?

Comment soigneriez-vous vos enfants s'ils souffraient de diarrhée ?

Est-ce que votre relation avec votre mari (ou la famille de votre mari) a changé après que vous ayez obtenu le prêt ?

Cette méthode utilisait une bonne approche progressive pour recueillir les différents types de données concernant les clients. Le questionnaire d'entretien constituait la première étape, relativement superficielle et générale. Ce questionnaire était effectué auprès d'un groupe échantillon de clients pris au hasard et auprès d'un groupe témoin par les préposés aux prêts au cours d'une période totale de 30 jours. La deuxième étape, concernait 107 femmes interrogées dans le cadre de groupes de discussion, et de conversations libres, dans huit centres. Pour la troisième étape, les études de cas approfondies, huit emprunteurs appartenant au même groupe ont été interrogés au cours d'entretiens individuels.

Parmi de nombreuses constations intéressantes, il a été observé que le revenu dérivé des activités favorisées par le crédit est utilisé essentiellement pour la scolarité des enfants et la subsistance de la famille. Parmi les familles ayant bénéficié du crédit, le nombre de celles dont les enfants n'étaient pas scolarisés tombait de 23 % à 16 %, même si l'on constate que la plupart des emprunteurs préfèrent scolariser les garçons plus que les filles. L'une des suggestions pour le programme était de cibler les femmes des groupes d'âge plus jeunes, afin de satisfaire les objectifs de l'UNICEF concernant l'amélioration des conditions de vie des enfants.

Évaluation d'impact sur le client des programmes de crédit de Mbeya. Corey Huntington, pour Mennonite Economic Development Associates (MEDA), Tanzanie. Septembre 1996. Les clients participent à des discussions de groupe et à des entretiens individuels approfondis portant sur l'impact économique et social observés par des individus et leur famille. Parmi les résultats positifs, on a constaté une augmentation de l'autonomie financière des femmes et des suggestions portant sur la nécessité d'accroître la formation et l'éducation des clients au sujet de l'utilisation des prêts accordés. Le coût se montait à 3 700 dollars US.

Programme d'épargne et de crédits de groupe garantis de la Bande de Gaza et la Cisjordanie. Khalid Nabris. Save the Children/Cisjordanie et Bande de Gaza. Septembre 1997. Mélange intéressant de données qualitatives et quantitatives, comprenant notamment une enquête par questionnaire d'emprunteurs et une autre de clients ayant abandonné le programme, des groupes de discussion avec des emprunteurs, des maris de clientes et des enfants de clientes. Également des ateliers destinés au personnel local.

Évaluation de la réussite des clients : évaluation de l'impact d'ACCION sur les micro-entreprises aux États-Unis. Cristina Himes et Lisa J. Servon. The U.S. Issues Series Document N ° 2, avril 1998. Le formulaire de demande de prêt recueille des données de référence pour les prêts, nouveaux ou reconduits, rassemblant ainsi des données longitudinales au sujet de l'activité, des dépenses personnelles et du revenu. Les coûts sont peu élevés, mais le système n'observe pas les clients qui ont quitté le programme et les données ne sont pas recueillies de manière régulière. Des entretiens approfondis ont été effectués sur les gains constatés par les individus, les familles et les quartiers ou régions où vivent les clients, à la suite de l'activité professionnelle et du programme de microcrédit..

Outils utilisés par ADEMI-BANCOADEMI. Description de Pedro Jimenez. Mars 1998. Depuis son démarrage, ADEMI a recueilli des données au sujet de la croissance des activités de ses clients, à l'intérieur de chaque demande de prêt ou de renouvellement de prêt. Les indicateurs observés sont les suivants : liquidités, équipements, actifs, ventes, profits, salaires du propriétaire et des employés, dépenses, épargne et nombre d'employés. Depuis 1983, ADEMI a recueilli et possède des données sur plus de 44 000 entreprises, et ces données lui ont servi à faire la preuve de l'impact macro-économique du crédit accordé et également à faire pression pour attirer l'attention sur le secteur de la micro-entreprise.

Un bon programme d'évaluation et de contrôle d'impact s'appuie sur plus d'un outil, de la même manière qu'un dirigeant d'entreprise utilise un ensemble de méthodes pour évaluer ses performances financières actuelles et prédire sa croissance future. Même si les hommes d'affaires aiment à soutenir que le « résultat financier est la seule mesure de la réussite », les entreprises possèdent de nombreuses méthodes pour mesurer leurs performances. Ces indicateurs comprennent notamment le revenu par action, la part de marché, le taux de rendement interne, la valeur actualisée nette et l'outil de gestion le plus récent, la valeur économique ajoutée. En sus de ces outils numériques, les entreprises surveillent un assortiment de mesures subjectives afin d 'évaluer la satisfaction et le comportement de la clientèle, y compris les enquêtes et les groupes de discussion.

Ceci est tout aussi vrai d'un bon programme d'analyse d'impact. Il comporte une bonne base d'informations contrôlée régulièrement et disponibles dans un format qui peut être observé de nombreuses manières différentes (telles que la base de données de la Workers Bank de la Jamaïque). Il est souhaitable, autant que possible, que les outils de cette base d'informations soient standardisés pour permettre un audit régulier de ces informations. En outre, des formes de contrôle d'impact peuvent être rajoutées, notamment des enquêtes et des groupes de discussion, pour donner aux preneurs de décisions une meilleure compréhension des conditions, des principes et attitudes et de l'expérience de leurs clients.

Si nous voulons voir le principe de l'évaluation d'impact devenir aussi présent et aussi évident que

les audits financiers, il appartient à tous les membres du secteur du microcrédit de le prendre beaucoup plus au sérieux.¹¹

Une action commune devrait nous permettre de faire la lumière sur le secteur d'évaluation d'impact et de trouver le moyen, non seulement de mesurer l'impact, mais également d'accroître notre capacité à transformer la vie des clients à qui nous apportons le microcrédit.

1 Dans le cadre de ce document, du Sommet du Microcrédit de 1997 et de la campagne du Sommet longue de neuf ans, toutes les références au microcrédit font référence aux programmes de prêts destinés à encourager l'emploi indépendant, ainsi qu'aux autres prestations financières et professionnelles à cet effet (notamment l'épargne et le soutien technique) réservées aux personnes très pauvres.

2 Dans le cadre de cette présentation, nous tenons à opérer une distinction entre impact et transformation. Nous sommes d'avis que l'impact représente tous les changements, positifs ou négatifs, qui résultent d'une intervention. Nous définissons la transformation comme un changement très profond des croyances, des valeurs morales, des attitudes, des actions, des relations existants entre les personnes et des structures entraînant une amélioration durable de l'existence d'une personne et(ou) du quartier ou de la région dans laquelle vit cette personne.

Cohen, Monique. Septembre 1998. « Impact Assessment: The Evolving Agenda ». Washington, D.C. : Document USAID.

Davies, Philip. 1996. « Qualitative Tools and Microenterprise Impact Evaluation ». New York, NY : document de travail SEEP.

Fetterman, David M., Shakeh J. Kaftarian, and Abraqham Wandersman (eds.). 1996. « Empowerment Evaluation. Knowledge and Tools for Self-Assessment and Accountability ». Thousand Oaks, CA : Sage Publications.

Finsterbusch, Kurt, Lynn G. Llewellyn et C. P. Wolf. 1983. « Social Impact Assessment Methods ». Beverly Hills, CA : Sage Publications.

Finsterbusch, Kurt et C. P. Wolf. 1981. « Methodology of Social Impact Assessment (2^ième éd.) ». Stroudsburg, PA : Hutchinson Ross Publishing Co.

Gosling, Louisa et Mike Edwards. 1995. « Toolkits. A Practical Guide to Assessment, Monitoring, Review and Evaluation ». Manuel de développement n°  5. Londres, RU : Save the Children.

Hatch, John K. Et Laurie Frederick. 1998. « Poverty Assessment by Microfinance Institutions: A Review of Current Practice ». Washington, D.C. : Microenterprise Best Practices Project.

Horn, Nancy E., Ph.D. Makonen Getu, Ph.D, et coll. 1997. « Transformation Case Studies: Lessons from Ghana, Indonesia, Russia and Colombia ». Chicago, IL : Opportunity International.

Hulme, David. 1997. « Impact Assessment Methodologies for Microfinance: A Review ». Washington, D.C., précis du projet AIMS n°  14.

Hyman, Eric et Kirk Dearden. 1997. « A review of Impact Information Systems of NGO Microenterprise Programs ». Washington, D.C. : USAID, précis du projet AIMS n°  10.

Mayoux, Linda. 1997. « Impact Assessment and Women's Empowerment in Micro-finance Programs: Issues for a Participatory Action and Learning Approach ». Document de travail présenté à la réunion virtuelle de GCAPD ayant pour thème les méthodes d'évaluation d'impact dans les programmes de microfinance.

Mohr, Lawrence B. 1995. « Impact Analysis for Program Evaluation 2. (2^ième éd.) ». Thousand Oaks, CA : Sage Publications.

Narayan, Deepa. 1996. « Toward Participatory Research ». Fiche technique de la Banque mondiale n°  307. Washington, D.C. Banque internationale pour la reconstruction et le développement/Banque mondiale.

Nigam, Ashok. March 1998. « Impact Assessment of Microcredit Programmes: A methodological note and questionnaire ». New York, NY : UNICEF.

Patton, Michael Quinn. 1990. « Qualitative Evaluation and Research Methods (2^ième éd.) ». Newbury Park, CA : Sage Publications.

Sebstad, Jennefer. Juin 1998. « Toward Guidelines for Lower-Cost Impact Assessment Methodologies for Microenterprise Programs ». Document de travail présenté pour la Deuxième réunion virtuelle des comités de travail du GCAPD ayant pour thème les méthodologies d'évaluation d'impact. Washington, D.C.: USAID AIMS.

Sebstad, Jennifer. Juin 1996. « Overview of Studies on the Impact of Microenterprise Credit ». Washington, D.C. : USAID, projet AIMS.

Wholey, Joseph S., Harry P. Hatryet Kathryn E. Newcomer (éd.). 1994. « Handbook of Practical Program Evaluation ». San Francisco, CA : Jossey-Bass Publishers.

La page d'accueil du projet AIMS se trouve à l'adresse suivante : www.mip.org.

La page d'accueil de l'Institut national de sciences sociales (NISSI) se trouve à l'adresse suivante : www.nissi.org.

Le site Web MandE News possède souvent des informations portant sur l'évaluation d'impact en provenance du RU à : www.mande.co.uk/news.htm.

La totalité de l'Annexe de cette présentation, notamment des analyses abrégées de 15 outils d'évaluation, figure sur le site Web du Sommet du microcrédit : www.microcreditsummit.org.