Evaluation

Démarche d'évaluation du dispositif KPA-Cité (Cabinet Quadrant Conseil)

Le dispositif KPA-Cité est permet de développer des coopératives au sein d’un lieu ou tiers-lieu, pensé par et pour les participant.e.s. Dans cette coopérative, les participant.e.s sont appuyés par divers.es professionnel.le.s qui leur permettent de développer des compétences, de s’approprier des enjeux autour de l’économie, de l’innovation sociale, de l’environnement, des nouveaux modes d’organisation, etc. Mais surtout, ils prennent du plaisir et peuvent bénéficier d’une rémunération selon les missions qui leur sont confiées et de leur implication dans le projet.

Plus d'information : Ce qui se fait ailleurs#KPA-Cité

Démarche d'évaluation avec Quadrant Conseil

Le cabinet d'étude spécialisé dans l'évaluation Quadrant Conseil à co-construit la démarche d'évaluation que nous allons détailler ici. Sa mission portait sur:

• l'analyse des impacts avec des ateliers d’identification et priorisation des impacts potentiels de KPA-Cité sur les coopérant·es. Et avec la formation-action à la conduite et analyse d’entretiens, par les professionnel·les, auprès des publics accompagnés.
• l'accompagnement à la production d'un récit évaluatif avec l'animation d’ateliers collectifs autour de la contribution de KPA-Cité, s’appuyant sur les registres de l’évaluation (pertinence, efficacité, cohérence). Et avec la co-production d’un récit évaluatif, à partir des données et témoignages collectés et mis en commun par le réseau.

KPA-Cité avait pour missions de réaliser :

• les bilans des réalisations et capitalisation, c'est-à-dire sur la mise en place d’un «collecteur» de données sur les coopérant·es, permettant de recueillir – de manière anonyme – des éléments de profil, ainsi que de participation. Et sur le recueil des données d’activités (chiffre d’affaires, rémunération des coopérant·es).
• les bilans de la capitalisation, sur le partage des outils et ressources sur une plateforme dématérialisée : le Wiki KPA-Cité. Er sur l'organisation trimestrielle de journées Inter-KPA, en présentiel, auxquelles sont convié·es les contributeurs/rices (professionnel·les) et les coopérant·e

Le déroulé de la démarche

1. identification des impacts de Kpacité : Les contributeurs/rices ont identifié collectivement les principaux impacts possibles (et observés) de Kpacité sur les coopérant·es et sur les partenaires, les acteurs du monde économique, le territoire
2. formation action à la conduite d’entretiens auprès des coopérant·es : L’équipe de Quadrant Conseil a proposé une formation-action aux contributeurs/rices sur la conduite d’entretiens, en particulier auprès des coopérant·es : Qu’est-ce qu’un entretien en évaluation ? Questions éthiques - Démarche méthodologique
3. Réalisation d’entretiens auprès des coopérant·es : Les contributeurs/rices ont réalisé 30 entretiens individuels (de 30 minutes à 1 heure 30) auprès de coopérant·es, dans 6 KPA. Objectif : collecter des informations sur les effets de Kpacité sur les coopérant·es
4. Analyse des entretiens réalisés, avec les contributeurs/rices et coopérant·es : Lors d’une journée Inter-KPA, les contributeurs/rices, ainsi que des coopérant·es, ont analysé les entretiens réalisés : Identification des effets évoqués par les coopérant·es. Catégorisation et pondération des effets
5. Co-rédaction du récit évaluatif de Kpacité : L’équipe de Quadrant Conseil et les contributeurs/rices ont co-construit le récit évaluatif de Kpacité, à partir de : L’analyse des entretiens auprès des coopérant·es / L’analyse de documents (données, témoignages, ressources du réseau) / Le partage d’expériences des contributeurs/rices

Outils et démarche de suivi et d'évaluation de la Coopérative TILT (Cabinet Quadrant Conseil)

Appui à la conception d’un dispositif de suivi et d’évaluation ex ante de la Coopérative de Transition Écologique – TILT.

Contexte

Les activités économiques en faveur de la transition écologique et du lien social sont aujourd’hui, et plus que jamais, des activités porteuses de sens à l’échelle individuelle, et constituent par la même des solutions pour construire une société plus soutenable. Créée en mai 2019 à l’initiative de la Ville de Grande-Synthe et de l'Association Zoein, TILT est la première Coopérative de Transition Écologique en France à expérimenter le Revenu de Transition Ecologique (www.tilt.coop). TILT a en effet été créée sur le principe de l’expérimentation du Revenu de Transition Écologique (RTE) conceptualisé par Sophie Swaton, enseignante chercheure à l'Université de Lausanne (https://zoein.org/). TILT est statutairement une Coopérative d'Activité et d'Emplois, multi activités et spécialisées sur les innovations écologiques et solidaires. Sa vocation est d'accueillir, d'accompagner, de soutenir financièrement les initiatives et projets entrepreneuriaux en faveur de la transition écologique. Ancrée depuis sa création dans le Dunkerquois, TILT a pour ambition d’intervenir progressivement à l’échelle des Hauts-de-France. La raison d’être et d’agir de la Coopérative est d’accélérer les initiatives citoyennes de transition écologique, sociale et économique, et de contribuer au développement d’écosystèmes économiques locaux soutenables dans une perspective de résilience locale. Dans l’optique de conduire cette expérimentation, la volonté des sociétaires de la Coopérative a été d’engager - dès le lancement opérationnel des activités de la Coopérative en 2020 - une étude-action pour coconstruire un dispositif de suivi et d’évaluation ad hoc

Présentation des résultats

Dans le cadre de l’étude-action réalisée par Quadrant Conseil, il s’est agi plus précisément de caractériser la « théorie du changement » de l’action menée par la Coopérative. En d’autres termes, la théorie du changement permet de rentre explicite la façon dont une intervention fonctionne en décrivant sa contribution à une série de résultats intermédiaires, et, in fine, à l’objectif final de l’intervention. Cela permet d’éviter la « boîte noire » entre l’intervention réalisée et ses objectifs finaux, et ainsi de faciliter la formulation d’un jugement nuancé sur son efficacité. En outre, l’étude-action a permis de produire un référentiel d’évaluation propre à la Coopérative, comprenant les questions évaluatives, les critères de succès, les indicateurs et les sources de données. Enfin, des outils de suivi et d’évaluation continue ont été définis et testés avec les parties prenantes de la Coopérative. En particulier, ceux sont des « entretiens récits » avec les entrepreneurs, des questionnaires spécifiques, mais aussi des espaces de réflexivité et d’échanges qui ont été coproduits et animés durant toute la mission d’accompagnement.

Focus

Dans le cadre de cette étude-action, notre approche évaluative basée sur la théorie du changement a été un parti pris fort. Dans un contexte d’expérimentation et de développement « en marchant » de la Coopérative, la méthodologie utilisée a permis de mobiliser et d’impliquer une diversité de partenaires de la Coopérative, dont les entrepreneurs eux-mêmes qui étaient tout juste entrés dans la Coopérative. L’animation du processus de co construction a permis de mieux clarifier ensemble les grandes finalités de la Coopérative, ainsi que ses objectifs opérationnels et les résultats recherchés. En outre, notre parti pris méthodologique a permis de dépasser une approche strictement centrée sur la « performance de l’entreprise ». Ce choix a permis de mieux prendre en compte la dimension territoriale recherchée dans le projet de la Coopérative. Trois échelles d’analyse sont ainsi prises en compte dans le dispositif de suivi et d’évaluation de la Coopérative : l’échelle individuelle (les entrepreneur.es), l’échelle du collectif d’entrepreneur.es (la coopérative en tant que telle), et l’échelle territoriale avec l'objectif d'analyser les effets de l'action de la Coopérative au niveau local.

Enseignements

L’étude action a eu double effet : Elle a permis de documenter le lancement de l’expérimentation de la Coopérative et construire un dispositif d’évaluation intégrant les « boucles d’apprentissage » de l’expérimentation en cours ; Autrement dit, de son évolution et son amélioration dans le temps. En outre, elle a permis d’enrichir le dispositif d’accompagnement de la Coopérative auprès de ses bénéficiaires, et en premier lieu des entrepreneurs. Les « entretiens récits » qui ont été formalisé permettent à la fois de rendre explicite les « effets réels » de l’accompagnement de la Coopérative auprès des entrepreneurs. La méthodologie sert également aux entrepreneurs dans leur activité. Transposable, elle permet aussi aux entrepreneurs de mieux révéler les effets de leur action auprès de leur client. Une culture commune de l’évaluation au sein du collectif d’entrepreneurs et des partenaires de la Coopérative reste à animer sur le temps long.

Facteurs de reproductibilité

La démarche d’évaluation se trouve pleinement intégrée à la méthode générale d’intervention de la Coopérative. La méthodologie développée vise à tirer les enseignements du dispositif de suivi-évaluation pour améliorer la démarche dans le temps, et mieux prendre en compte l’évolution de l'activité de la Coopérative.

Atelier réalisé dans le cadre de l'université éphémère de TILT en Novembre 2022.

La démarche d'évaluation de TILT au prisme des méthodes d'accompagnement vers le changement

Pourquoi une démarche d’évaluation ?

Tilt, comme les différentes initiatives de RTE, constituent des expérimentations construites chemin faisant dans une logique de recherche-action sur la base des éléments cadres définis dans sa conceptualisation par Sophie Swaton. Le premier objectif de la définition d’un système de suivi-évaluation était ainsi de contribuer à caractériser, tester et enrichir le RTE tel que déployé par Tilt et de l’intégrer dans sa démarche de progrès. Tout comme l’action de Tilt, la démarche d’évaluation n’est pas figé, et l’enjeu et davantage d’accompagner le déploiement du RTE et la rélexivité sur la démarche :  « que faisons-nous ? qu’est-ce qui est en train d’émerger ? que laisse-t-on de côté ? qu’est-ce qui marche, pour qui, comment, dans quelles conditions ? Quels choix faisons-nous pour la suite ? ».

Tilt étant la première Coopérative de Transition Écologique à expérimenter le Revenu de Transition Écologique, les enjeux de diffusion de ses apprentissages sont également importants. Elle constitue à ce titre un prototype du RTE, avec l’objectif de concevoir les méthodes, les leviers et de produire les ressources, destinés au partage et au transfert des apprentissages à d’autres expérimentations en France comme ailleurs ; chacune d’entre elles étant libres de dessiner sa propre trajectoire tout en bénéficiant de ces retours d’expérience et de les questionner au regard de leur propre contexte

Les grandes étapes de la démarche :

La définition du système de suivi-évaluation de TILT a mobilisé une série d’entretiens et d’ateliers afin de définir un premier référentiel d’évaluation, puis a permis de tester certains premiers outils de collecte d’information tels que les entretiens récits avec les entrepreneurs.

> Définition d’un référentiel d’évaluation

Le référentiel d’évaluation est un élément clé d’une démarche d’évaluation, qui permet de se mettre d’accord sur les questions posées et ce que l’on devrait observer en cas de réussite : à l’aune de quels critères pourra-t-on juger que Tilt est une réussite ?

A l’issue de la démarche, 4 grandes questions d’évaluation ont été retenues, concernant l’accompagnement des entrepreneurs, l’émergence ou le renforcement d’espace de coopération, la contribution à la transition des territoires et l’adéquation des objectifs de Tilt avec ses ressources.  

Un des principaux changements initiés à ce stade a été de s’émanciper d’une évaluation uniquement centrée sur l’initiative entrepreneuriale, sur laquelle on peut apposer des critères d’utilité écologique et social, mais plutôt considérer un périmètre d’évaluation plus large, concernant l’initiative entrepreneuriale dans son écosystème à différentes échelles, qui s’entrecroisent et font ressources.

Ce référentiel intègre une théorie du changement de Tilt, permettant d’expliciter avec les parties prenantes les différents effets attendus.

> Définir des outil intégrés aux activités de Tilt, exemple des entretiens récits auprès des entrepreneurs

Un des principaux enjeux du système de suivi-évaluation était de s’intégrer et contribuer aux activités déployées par Tilt, plutôt que d’en faire une activité à part. L’exemple de la mobilisation des entretiens récits auprès des entrepreneurs illustre plus particulièrement ce positionnement.

Dès les premiers temps de rencontres, la dimension sensible de l’entreprenariat écologique et sociale est apparue comme particulièrement importante pour les différentes parties prenantes et notamment les entrepreneurs.e.s afin d’appréhender les effets de Tilt. L’expérience quotidienne des activités économiques et de leurs parcours ainsi que celle de la coopérative étant alors une façon privilégier de révéler et mieux appréhender ces effets, et de s’écarter de l’usage unique d’indicateurs quantitatifs peu adapté au contexte (un nombre encore restreint d’entrepreneurs) et à la dimension expérimentale du déploiement du RTE.  La politique sociale que la coopérative a défini (et qui fait sa spécificité) implique en effet d’évaluer dans quelle mesure le projet réduit le sentiment de vulnérabilité des personnes, à les accompagner à gagner en autonomie et participe à la reconnaissance sociale des personnes en contexte d’urgence écologique, qui conduit bien souvent à un sentiment d’inutilité, de culpabilité ou d’invisibilité des personnes dans la société consumériste.

Le test de ce format d’entretien auprès des premiers entrepreneurs ayant intégré Tilt s’est révéler riches d’enseignement pour caractériser le processus d’accompagnement de Tilt et ses différents effets, tout en proposant un temps de réflexivité aux entrepreneurs sur leurs parcours.

Quelques enseignements parmi d’autres ?

> Un accompagnement centré dans un premier temps sur le rôle de facilitateur de l’accompagnateur

Dans un contexte de crise sanitaire, l’accompagnement de Tilt s’est centré dans un premier sur le rôle de facilitateur de l’accompagnateur. Un accompagnement « sur-mesure » qui permet notamment à certains entrepreneurs :

• D’identifier, rencontrer et échanger avec d’autres acteurs, notamment via l’accès direct aux partenaires et réseaux de Tilt :  
• D’avoir accès à différents types de ressources, (investissement, atelier…) ou des prestations ;
• De disposer d’un appui stratégique au développement de leur projet ;  

A titre d’exemple, dans le cade du pôle de mobilités activités, l’accompagnateur-référent oriente cette démarche dans une logique d’Économie de la Fonctionnalité et de la Coopération (EFC), afin de structurer un réseau d’acteur autour des mobilités professionnelles (participation à des espaces de consultation et de gouvernance, intégration d’associations, collectifs, et création des Boîtes à vélo, structuration d’un  réseau d’acteur etc.) et d’ancrer les activités dans les besoins du territoire.

> Les projets développés par les entrepreneur.e. s ont vocation à répondre à une diversité de finalités écologiques, sociales et territoriales

Les premiers entrepreneurs ayant intégré Tilt développent des projets ayant vocation à répondre à une diversité de finalités écologiques, sociales et territoriales notamment en raison du spectre très large des effets attendus de certaines activités comme la facilitation de la pratique du vélo auprès des particuliers et professionnels : santé, pollution de l’air et sonore, émissions de GES.

Zoom sur l'expérimentation et l'évaluation dans le Canton de Vaud

Le projet RTE dans le canton de Vaud (situé en Suisse romande, à proximité du canton de Genève) est né avec la mise en place de nouvelles mesures d’insertion socio professionnelles à vocation écologique par la Direction Générale de la Cohésion Sociale dont un service est pilote du volet insertion. La fondation Zoein a été mandatée par le canton pour accompagner les organismes prestataires (associations et fondation qui font de la réinsertion) à introduire la dimension écologique dans les mesures d’insertion sociale. Après une année d’accompagnement, Zoein a été associée à un groupe de travail, pilotée par l’EPER (Entraide Protestante Suisse), en partenariat avec la DGCS, pour réaliser une étude de faisabilité du RTE au sein du canton de Vaud. Son objectif est d’associer les parcours de création d’activité et d’insertion sociale et de créer un projet RTE à la frontière entre des partenaires publics et privés. Les étapes du projet ont consisté à :

• Dresser un bilan sur le plan de la situation environnementale,
• Identifier les acteurs, et en particulier les organismes spécialisés dans l’insertion
• Identifier des secteurs d’activités prioritaires pour la transition : économie circulaire, énergie et habitat, mobilité, alimentation durable, biodiversité.
• Imaginer plusieurs types de RTE par rapport aux publics cible de ces rte :
  • Un RTE insertion, pour les personnes ayant droit au revenu d’insertion afin de les soutenir dans un emploi au sein d’entreprises en lien avec la transition écologique
  • Un RTE nouveaux projets pour les entrepreneurs et porteurs de projet de la transition écologique destiné à soutenir la création d’activités et les porteurs de projets
  • Un RTE insertion nouveau projet : un revenu pour les personnes ayant droit au revenu d’insertion, porteuse d’une activité économique de transition

Le RTE est ainsi conçu dans le prolongement des revenus d’insertion. L’originalité de ces trois déclinaisons de RTE réside dans le fait que des passerelles pourraient s’instituer entre les dispositifs. Par exemple, le groupe de travail envisage qu’un porteur d’activités - qui bénéficie d’un RTE nouveaux projets - puisse après une année d’activités embaucher une personne ayant droit à un RTE insertion. A ce titre le RTE nouveau projet aurait pour fonction de soutenir et de développer le potentiel de transition de l’activité par l’emploi et la formation des personnes en insertion. Ce chantier « RTE nouveaux projets » est important, notamment en termes de financement, encore incertain aujourd’hui.

A ce stade du projet, une diversité de question se pose sur le rôle des partenaires, l’accompagnement des porteur.se.s de projet, le rôle de la future CTE dans le canton de Vaud.  Un travail important a été réalisé sur les critères d’éligibilité du RTE pour les parcours d’insertion et ceux destinés à sélectionner entreprises, qui se réclame de la transition. L’articulation entre RTE/CTE est enfin un des chantiers importants à venir.

Cette démarche se distingue des questionnements relatifs à la démarche d’évaluation mise en place par Tilt. Le regard croisé entre Tilt et le projet dans le canton de Vaud est intéressant - entre  d’un côté la démarche « institutionnelle » du canton de Vaud et la définition de critères d’éligibilité et d’un autre la démarche d’évaluation de Tilt qui se base sur un outil d’accompagnement en continue basé sur des critères qualitatifs en évolution permanente. Le projet du canton de Vaud évalue aussi la possibilité de s’inspirer du modèle TILT pour proposer un accompagnement personnalisé.

Plusieurs tensions ou questions autour du dispositif d’évaluation ont été exprimées :

A ce stade, la démarche de suivi et d’évaluation de Tilt est encore peu opérationnalisée depuis la fin de la phase 1 de l’évaluation (mi-2021) en raison de manque de temps disponible et d’organisation interne de l’équipe support pour intégrer cette démarche au processus d’accompagnement. Son opérationnalisation implique de constituer une équipe d’accompagnateur.rices et de les former au dispositif.  Cela dit, en 2022, les premiers espaces de vie collective commencent à apparaitre, que ce soit dans le cadre d’un groupe dédié à la gouvernance partagée, aux partages des outils de communication. La constitution d’une équipe d’accompagnateur.rices permettra de poursuivre des entretiens individualisés des entrepreneurs sur 2022-2023.

La stratégie d’évaluation définie pour accompagner la CTE au fil de l’eau repose sur l’engagement des personnes qui participent au pilotage de l’expérimentation et en particulier à l’association Zoein et des entrepreneurs-salariés, dédiés à l’accompagnement et au managment de projet. L’opérationnalisation du référentiel sur le long terme réclame de bien définir les modalités de transmissions de la démarche pour dépasser la phase test et faire évoluer le référentiel. Dans le cas inverse, cette démarche peut rapidement s’essouffler par manque d’encadrement.

A l’heure actuelle, les porteur.euse.s de projets intègrent Tilt via des structure relais et adhèrent au projet parce que ces personnes partagent des valeurs communes de solidarité, de transition et des affinités. Les secteurs d’activités de la coopérative se structurent donc à partir de l’engagement des porteur.euse.s de projet. Elles pourraient aussi s’appuyer sur d’un diagnostic territorial, qui puisse permettre d’identifier les besoins, de prioriser les activités clés de la transition écologique pour ensuite prioriser les domaines d’activités, encourager l’entreprenariat dans ces secteurs et travailler en lien avec les acteurs économiques, associatifs et institutionnels pour développer des filières, secteurs d’activités ou participer aux mutations de l’emploi.

• Thomas Polikar de Zoein explique qu’une étude menée par le canton de Vaud a identifié des secteurs d’activités prioritaires pour la transition (économie circulaire, énergie et habitat, mobilité, alimentation durable, biodiversité). Des critères d’éligibilité ont été définis pour déterminer quel type de structures et d’entreprises pourrait accueillir les personnes ayant droit à un « RTE insertion ».

Le prolongement d’un revenu d’insertion (RSA en France, RI en Suisse) contient plusieurs risques importants et de construire des raccourcis entre transition et insertion :

• Réduire les enjeux de transition au seul domaine de l’insertion et inversement
• De ne pas rémunérer de manière juste ce type d’activité
• De dévaloriser l’emploi dans les domaines de transition.
• Par ailleurs, en procédant ainsi, il s’agirait de demander aux personnes en situation d’insertion de réaliser des efforts supplémentaires alors qu’elles sont le moins responsables des dérèglements environnementaux globaux – en termes d’empreinte écologique.

L’évaluation passe par deux formes d’évaluation : parfois l’évaluation porte sur l’accompagnement de la CTE Tilt, les porteurs de projets, d’autres sur l’évaluation du dispositif comme politique publique. Il y a une tension entre ces deux manières d’aborder le référentiel d’évaluation. Pourquoi ne pas porter la focale sur les critères d’utilité sociale et écologique du RTE ?

• Pour Laurent Chochoy de l’Institut Godin, la portée de la démarche d’évaluation est de sortir d’une évaluation par « critères » d’utilité sociale et écologique, qui dénature la portée politique du RTE. Le RTE ne peut pas être déconnecté du domaine du politique parce qu’il répond à un problème, désigne des priorités sociétales et se positionne comme un entrepreneur de cause (voir infra). Le RTE est une innovation sociale qui répond à un besoin de société et de politique publique. Sa réussite et plus largement celle de ZOEIN est d’agir pour accompagner le changement de paradigme des institutions à travers ce dispositif dans le domaine de l’emploi et de l’économie locale. Il s’agit donc pour Tilt de s’attaquer à la transition écologique comme problème public, en mobilisant les institutions, sans s’enfermer à créer des critères. C’est comme cela que le RTE peut être reconnu comme un outil et une des solutions pour amener la transition écologique. Un enjeu est d’inviter et d’associer les institutions à joindre la démarche sans que Tilt doive se plier aux injonctions institutionnelles et politiques en présence mais bien s’inscrire dans un projet de territoire sur le temps long.

RESSOURCES POUR ALLER PLUS LOIN :

Intervenants et auteurs : Caroline Lejeune (Zoein), Vincent Honoré (Quadrant Conseil), Laurent Chochois (Institut Godin), Thomas Polikar (Fondation Zoein)

Au sujet de l’Intervention de Vincent Honoré et Caroline Lejeune :

Centre d’Études et de Ressources du Développement Durable, « Repères sur la mise en récits de vos projets de transition », avril 2021.

https://www.tilt.coop/

https://zoein.org/

https://quadrant-conseil.fr/

Pour en savoir plus sur l’évaluation de politiques publiques :

La page ressources de Quadrant Conseil : https://www.quadrant-conseil.fr/ressources.php

Au sujet de l’intervention de Laurent Chochoy :

https://institutgodin.com/qui-sommes-nous/

Au sujet de l’intervention de Thomas Polikar :

https://zoein.org/