Effets utiles, de quoi parle-t-on ?

Contrairement à l'impact, l'Effet est un résultat imputable à notre action. Je souffle sur le pissenlit, je produit un effet : les graines se dispersent.

L'impact n'est jamais un effet direct de mon action. Non seulement, il est un EFFET MÉDIAT, mais encore il n'est pas le résultat de ma seule action. Certes mon action a permis à des graines de pissenlit de se disperser et potentiellement de développer la biodiversité locale. Mais cet impact final est tout autant tributaire de nombreux facteurs qui n'ont rien à voir avec mon action : la direction du vent, l'absence de pollution locale, le programme territorial de création de corridors écologiques...

Bref, mon action est CONTRIBUTRICE d'un potentiel impact positif ou négatif, mais elle n'est aucunement la cause directe de l'impact. Dit autrement, les effets sont dans un rapport de contribution aux impacts.

Un autre exemple :

Rattacher une "action de politique de recrutement non discriminatoire" à un indicateur tel que l'"Engagement des salariés" n'a pas vraiment de sens. La politique RH va contribuer à des formes d'engagement. Mais l'Engagement des salariés tient à une série de facteurs bien plus large.

Le constat, c'est qu'entre l'action et l'impact, on oublie souvent de réfléchir et qualifier les effets. Or, ce sont eux qu'on a besoin d'évaluer et de suivre pour penser notre action et augmenter notre niveau de contribution à un impact.

Dans notre exemple, la politique RH doit produire des effets utiles comme : sentiment d'être respecté dans ses appartenances sociales et culturelles, qualité de l'intégration des nouveaux collaborateurs... Si ces effets se développent, alors la contribution à l'impact va s’étoffer.

 Dit autrement, un effet se caractérise par le fait que : 

• il est le résultat de l'action, et une action peut générer de nombreux effets immédiats ou médiats
  
• nous pouvons en être tenu responsables
• il est le résultat d'une intention
• il est toujours connecté à un "bénéficiaire" : l'effet est effet pour quelqu'un
• il peut être positif ou négatif, et cela dépend d'ailleurs de la perception du bénéficiaire de l'effet (si je souffle mon pissenlit à proximité d'une personne allergique, je vais produire un effet négatif pour lui)
• il n'est pas toujours prévisible : je peux tout à fait générer des effets que je ne pouvais pas anticiper. On parle alors d'effets INDUITS. Je souffle mon pissenlit et je produit sur moi-même un sentiment de bien-être auquel je ne m'attendais pas tout à fait quand je suis passé à l'action.
  

Nous tirons cet exemple illustré des travaux de la Gestion Axée sur les Résultats (GAR), qui a été fortement développée au Québec, et qui distingue également les effets et les impacts. Dans le vocabulaire de la GAR, l'Effet est appelé Résultat ou Objectif spécifique, et l'Impact est appelé impact ou Objectif global. Si la sémantique n'est pas la même, la logique est identique.

Décryptons cet exemple (source : https://www.eval.fr/chaine-de-resultats/) 

Un premier effet immédiat de l'action = l’accès des étudiants à l’éducation supérieure.

Un effet médiat de l'action (celui qu'on cherche à produire) = l’accès au diplôme. 

Enfin, l’impact s’intéressera aux conséquences du diplôme sur le parcours de vie de l’étudiant, et qui dépend d'une multitudes de facteurs autres que la seule possession du diplôme. On pense notamment à l'état du marché de l'emploi. e

Schématiquement, on peut représenter Effet et Impact comme deux niveaux différents en terme d'évaluation :

A chaque niveau d'indicateurs, on voit bien que le degré de contrôle et de responsabilité du porteur de projet décroit. Dans l'exemple décrypté, l’université a contribué à l’intégration de l’étudiant mais d’autres facteurs non-maîtrisés par la structure ont joué, par exemple le dynamisme du marché de l’emploi et la fluctuation de l’activité économique.

En conclusion : une évaluation responsable est celle qui va s'intéresser aux effets (dont l'organisation peut raisonnablement être tenue pour comptable). Et qui va systématiser la collecte et l’analyse des premiers effets, au delà des réalisations (produits, services) et sans attendre une éventuelle évaluation d’impact.

L'évaluation d'impact peut bien sûr être pertinente pour apprécier la contribution de différents agents, dont l'organisation, à des impacts sociaux, environnementaux et sociétaux, mais ce type d'évaluation est autrement complexe et nécessite d'engager tout un écosystème d'acteurs.

Car le résultat est majoritairement vu comme FINAL : ce que, in fine, l'action doit produire et qu'on doit prioritairement évaluer / mesurer. La notion d'effet est plus souple et large du point de vue de la temporalité : elle adresse aussi bien les effets immédiats que médias, ceux qui se produisent pendant le travail de réalisation comme ceux qui sont issus de la réalisation.

Premier constat : la notion de résultat ne s'intéresse qu'aux effets médias (les effets des effets). Second constat : la notion de résultat s'intéresse prioritairement aux effets TANGIBLES ou OBJECTIVABLES, c'est-à-dire susceptibles d’être observés et/ou mesurés : une quantité de, un livrable, un dispositif...

Par effet, on vise plus large : s'intéresser à tous les effets (premiers, intermédiaires, finaux) et s'intéresser à tous les registres d'effets : pas seulement matériels (partant mesurables) mais aussi immatériels et subjectifs (partant non mesurables).

Par effets immatériels, on entend par exemple le développement de la confiance entre les acteurs, la capacité à partager de la connaissance, l'amélioration de la santé des collaborateurs, la montée en compétences, etc.

C'est un point important, le résultat se place dans le registre de l'objectivité : un résultat est atteint ou pas, cela ne dépend pas (ou peu) d'un jugement de valeur. Au contraire, la notion d'effet relève en grande partie de la subjectivité : en agissant, je pense pouvoir produire tel ou tel effet positif sur un autre agent, mais seul cet agent peut confirmer que cet effet lui a été utile et bénéfique. L'effet s'apprécie à travers le regard et la perception du bénéficiaire. Dit autrement, la notion d'effet mérite d'être discuté avec celui qui en est le bénéficiaire présumé.  

Nous reprenons ici un exemple issu des travaux de la Gestion Axée sur les Résultats (GAR) qui opère aussi cette distinction entre Effet et Résultat. Il décrit une chaîne de résultats dans un programme d'appui aux média :

L'exemple illustre bien une logique d'effets, des plus immédiats (réalisations et effets) aux plus lointains (impacts).

Le "résultat" au sens de productions tangibles - les bulletins d'information, interviews... - ne sont qu'un type d'effet parmi une chaîne plus large. Sur le plan de l'évaluation, l’enjeu va être d'anticiper (autant que faire se peut) et d'analyser les liens de causalité au fur et à mesure du déroulé de l’action.

Cette distinction entre Effets et Résultats invite à prendre de la distance critique avec la modalité du BILAN, qui constitue aujourd'hui le mode d'évaluation dominant.

Pourquoi ? parce que le Bilan a tendance à ne s'intéresser qu'aux résultats finaux de l'action, et en particulier ceux qui peuvent être appréhendés à travers des LIVRABLES et des MESURES quantitatives ou qualitatives. Ce mode d'évaluation s'intéresse peu, voire pas, aux effets intermédiaires produits ou induits en chemin. Dit autrement, aux effets du travail lui-même.

Le BILAN se pratique ainsi souvent ex-post, c'est-à-dire une fois l'action achevée. Et il est supposé sanctionner des résultats de manière objective. Dit autrement, il passe sous silence toute la dimension subjective d'appréciation des effets (intrinsèquement dépendants de celui qui en est bénéficiaire ou qui subit lorsque ces effets lorsqu'ils sont négatifs).

En conséquence, pratiquer un mode d'évaluation qui s'intéresse aux effets produits et induits par le travail (au-delà et en-deça des résultats) est une évaluation qui :

• doit se concevoir comme un processus permanent, accompagnant l'action elle-même ;
• doit s'appuyer sur les agents qui sont directement ou indirectement concernés par l'action, donc producteurs ou sujets des effets produits ;
  
• doit assumer le caractère subjectif, partant non mesurable, de certains effets (raconter, et pas seulement compter). Cette évaluation réintègre pleinement la notion de jugement de valeur. Elle est donc support à la discussion plutôt qu'à l'affirmation.
• ne se limite pas à des systèmes de mesures, mais intègre d'autres registres de preuves : des éléments de récit, des témoignages, des indices...

Déjà pour signifier qu'un effet n'a de réalité que pour celui qui bénéficie ou pâtit de l'effet :

• Un effet est toujours un AVANTAGE que tire quelqu'un ou un DOMMAGE que subit quelqu'un
• Enfin, un même effet peut créer en même temps un avantage pour quelqu'un et un dommage pour un autre

Dit autrement, un effet n'est jamais un effet positif ou négatif dans l'absolu. L'appréciation d'un effet dépend étroitement de la perception de celui qui en vit les conséquences, directes ou indirectes d'ailleurs.

En introduisant la notion d'utilité, l'EFC cherche :

• à nuancer la notion de VALEUR : celle-ci n'a pas de réalité en soi (un produit n'a pas de valeur intrinsèque), mais uniquement pour la personne qui accorde de la valeur à l'offre qu'on lui propose (un produit a de la valeur pour moi parce que j'en tire beaucoup d'utilités, ce pour quoi je consens à le payer).
• à élargir notre regard sur les bénéficiaires d'une offre / service : lorsque l'on parle de résultats et d'impacts, on vise souvent le bénéficiaire FINAL (dit autrement le client payeur, ou in fine le citoyen/consommateur). En parlant d'Effets utiles, on cherche à capter et apprécier les effets produits ou induits sur d'autres bénéficiaires potentiels et réels de notre travail : nos financeurs, nos partenaires, nos fournisseurs, nos salariés... Cela conduit à regarder la notion de valeur avec une focale plus large, et à questionner AUSSI les effets utiles que l'on génère à l'échelle de tout notre système d'acteurs (et pas seulement le bénéficiaire ultime)

Un exemple issu de l'expérience professionnelle d'Aénéis.

Cette notion d'Utilité va conduire à étendre le périmètre de ce qui mérite d'être évalué. Cela à un triple niveau :

• au-delà des résultats (anticipés et objectivés) : l'effet adresse toutes les utilités produites en cours de route et au-delà du "résultat" pointé comme final. Or, les effets peuvent se manifester dans de multiples registres et selon des temporalités très diverses.
• au-delà du "bénéficiaire" final : l'effet adresse toutes les parties prenantes, internes et externes, directes et indirectes, qui naviguent dans l'écosystème de l'organisation.
• au-delà de ce qui se mesure à travers des unités comptables : l'effet nous projette dans une approche qualitative de la réalité, qui va bien plus loin que la "classique" enquête de satisfaction On cherche à accéder à ce que le(s) bénéficiaire(s) a ressenti, ce que s'approprier notre solution lui a demandé comme efforts, ce qu'il a tiré comme avantage et dans quelle temporalité...

Deux grandes conséquences pour le travail d'évaluation :

• il ne peut véritablement être pertinent que s'il est conduit en lien étroit avec les bénéficiaires directs et indirects. Comme l'effet utile est toujours la résultante d'un jugement de valeur de quelqu'un sur la proposition qu'on lui fait (l'offre), cela veut dire que l'évaluation ne peut se faire sans lui, (sans convoquer ce jugement). On parle d'enjeux de CO-EVALUATION dans l'EFC.
  
• il ne peut faire l'économie de l'échange avec d'autres subjectivités. Dit autrement, l'évaluation est un processus social et pas uniquement de mesures objectives. Il faut parler et faire parler ses parties prenantes pour accéder véritablement à la valeur créée. On fait de l'activité d'évaluation une activité profondément relationnelle dans l'EFC.

L'évaluation n'est plus une activité qui se pratique à un moment donné (souvent à la fin de l'action, comme dans le mode Bilan) et pour produire un livrable (un tableau de bord par exemple). Elle devient un processus à animer dans le temps et avec les acteurs de son écosystème.

Chercheurs au Laboratoire ATEMIS, Romain Demissy et Sandro de Gasparo requalifient ainsi le périmètre d'une démarche d'évaluation qui s'intéresse à l'analyse des effets utiles :

L'évaluation endosse ainsi deux fonctions :

Une fonction interne de reconnaissance et de mise en valeur du travail réel et de l’engagement des équipes ;

Une fonction externe allant au-delà de la position « défensive » de justification de la conformité entre l’attendu et l’advenu pour révéler et discuter la valeur des effets effectivement produits dont les effets induits débordant du périmètre anticipé.

Source référence ATEMIS : 201910_Fonjep_LivretMSE-BD.pdf

Comme l'effet, la notion d'externalité vise le registre des conséquences de l'action. 

Mais l'externalité se distingue de l'effet, car elle désigne un type de conséquences bien particulier :

• celles qui ne sont PAS INTENTIONNELLES : l'acteur économique n'a pas pour objectif recherché de provoquer cet effet (positif - Avantage ou négatif - Nuisance) ;
• ni systématiquement valorisée ou compensée : l'acteur qui bénéficie d'un Avantage non intentionnel ne restitue pas une partie de la valeur qu'il tire de l'avantage ; l'acteur qui subit une Nuisance non intentionnelle n'est pas systématique dédommagé pour cette nuisance.

On parle d'externalité lorsqu'un acteur économique créé, de par son activité, un effet externe sur un autre acteur en lui procurant :

• soit un AVANTAGE sans contrepartie monétaire > Externalité positive
• soit un DOMMAGE sans compensation > Externalité négative

Le référentiel de l’Économie de la Fonctionnalité et de la Coopération va attirer l'attention sur le fait que le modèle de production dominant (logique industrielle et société de consommation) produit aujourd'hui de nombreuses externalités négatives sur l’environnement écologique et social de nos sociétés.
Dans la période actuelle, le développement économique fondé sur l’industrie et une dynamique « productiviste » (produire, vendre et consommer toujours plus de biens) pose de très nombreux problèmes de détérioration de l’environnement écologique et l’accroissement d’inégalités sociales et territoriales.
L’enjeu majeur de l'EFC (comme du développement durable) consiste à prendre en charge la réduction des externalités négatives et à accroître celles qui sont positives, ce qui conduit à rechercher un (ou des) nouveau(x) modèle(s) de développement des territoires et des nouveaux modèles économiques d’entreprise. 

Une évaluation qui irait jusqu'à prendre en charge le sujet des externalités est une évaluation qui va s'intéresser à l'ensemble des coûts ou des gains sociaux qu'une activité économique va générer (sans que cela ne soit son objectif).

Dit d'une autre manière, l'évaluation va s'intéresser à tous les coûts cachés qu'une activité économique va reporter sur la société. Par exemple, un incinérateur de déchets va générer une odeur désagréable source de nuisance pour les riverains, mais aussi le passage incessant de camions pouvant dégrader les routes avoisinantes et créer un danger particulier pour les enfants et les piétons des quartiers environnants. Tous ces effets constituent des externalités négatives induites par la présence de cet incinérateur. Ils sont non intentionnels en ce sens que l’incinérateur n’a pas pour objectif recherché de provoquer ces nuisances. Elles sont le corolaire de son activité. Une évaluation qui intègrerait le sujet des externalités irait apprécier les coûts subis par d'autres acteurs que l'entreprise. Dans notre cas, les coûts supportés par les pouvoirs publics pour traiter les sujets de nuisance remontés par les habitants ou assumer un entretien plus lourd et fréquent des routes.

Sur le plan opérationnel, ce type d'évaluation se développe en deux temps :

• Premièrement, il convient d’étudier les externalités subies par l’organisation de la part de toutes ses parties prenantes. Cet examen peut permettre à l’organisation de saisir des opportunités qu’elle n’aurait potentiellement pas vues et ainsi transformer un impact non intentionnel subi en levier de développement. Il peut aussi permettre à l’organisation de prendre ou réorienter certaines décisions stratégiques afin de minimiser l’impact de ces externalités.
• Ensuite, il convient de développer l’analyse des externalités que l’entreprise induit sur son système d’acteurs (analyse du système d’acteurs encastrés dans des dimensions territoriales).