Monographies

Propos introductifs :

Depuis début 2024, l'association Zoein porte l’ambition de co-construire un « Référentiel d'évaluation stratégique du RTE / Label RTE en France » à partir des expérimentations en cours. Un travail d’état des lieux des démarches et pratiques évaluatives dans les territoires d’expérimentations du RTE a été réalisé, avec analyse des besoins et attentes des acteurs qui pilotent les coopératives. Des entretiens semi-directifs ont été menés pour soutenir l’identification et la caractérisation des pratiques et des démarches d’évaluation de l’activité de la coopérative/association. Cette approche de recueil de données qualitatives, qui vise la production d’informations non standardisées, porte son intérêt sur la mise en visibilité des ressentis et des opinions des acteurs de terrain et s’intéresse aux singularités qui émergent de l’ancrage de l’expérimentation dans son écosystème.

Cette méthode exploratoire a été associée à la création de fiches méthodologiques qui reprennent les différentes approches qui concourent à l’évaluation du dispositif RTE/CTE ou qui représentent des inspirations pour développer une approche commune autour de l’évaluation du dispositif.

- Audyssées -

Située en Haute Vallée de l’Aude, la CTE Audyssées est une SCIC conventionnée depuis 2020. Elle est un centre de réflexion et d’incubation de projets éthiques et écologiques.

Son objet et son modèle économique sont entièrement dévoués à l'expérimentation du RTE, et liés à la mise en place d'un Territoire zéro Chômeur de Longue Durée (TZCLD).

Le dispositif a pour spécificité de reposer sur une convention avec le département qui permet à la CTE de compléter la rémunération des bénéficiaires du RSA avec le RTE.

La coopérative propose des cycles d’ingénierie de projet, qui comprennent plusieurs étapes distinctes : des Audyssées thématiques, des ateliers d'émergence de projets, et la mise en place de comités de pilotage pour aboutir au déploiement de projets de RTE. Le cycle ne contient pas de phase d’évaluation formalisée, mais il est question d’introduire un cadre qui le permette.

Entretiens réalisés avec Joëlle Chalavoux, Co-présidente, et Raphaël Soulier, coordinateur d’Audyssées. Version actualisée le 31 mai 2024.

VISION ET OBJECTIFS DE L'EVALUATION

Chez Audyssées, l’évaluation englobe un domaine vaste qui sert à mieux appréhender et à mesurer les effets d’une action. Dans la pratique, elle prend la forme d’un ensemble de critères regroupés dans des tableaux d’indicateurs permettant d’atteindre des objectifs.

L’impact est un terme qui est utilisé au sein de la CTE. Il renvoie à ce qui est “source de changement”. L’impact doit être visible, donc chiffrable ou établi sur la base de critères d’évaluation et doit se questionner à plusieurs moments afin d’observer une évolution, par exemple dans les relations interpersonnelles.

“On a collectivement à répondre à des enjeux avant même de parler de transition, et pour qu'on puisse tous parler de la même chose,  il faut des évaluations crédibles et communicables”

La démarche d’évaluation est considérée comme importante, notamment au moment de la phase de développement, pour prendre du recul et montrer aux partenaires l’utilité du projet. Elle est également utile pour l’amélioration continue du dispositif, afin de rester dans une approche d'expérimentation scientifique s'appuyant sur des données mesurables et comparables adaptées aux objectifs. Cette phase reste compliquée à appréhender, car l’évaluation d’impact se base sur les enjeux qui touchent les financeurs qui établissent eux-mêmes leurs critères. Il est d’ailleurs important de préciser qu’à la différence des financeurs, chez Audyssées : “Nous revendiquons un droit à l'échec, inhérent aux projets de transition. C’est une caractéristique que l’on omet trop souvent”.

En termes d’indicateurs d’impact, ce qui importe chez Audyssées est de démontrer la dynamique écologique territoriale, notamment l’attractivité du territoire, sa “capacité d’hospitalité”. Selon eux, il est possible de l’estimer en s’attachant, par exemple, à analyser le nombre de jeunes qui trouvent un travail qui fait sens pour eux. “L’indicateur de plaisir, la notion de réseau, le sentiment d’appartenance, ce sont ces évolutions que l’on tente de qualifier” : Au-delà de l’impact économique, l’impact social est intéressant à observer, et cela à deux niveaux : D’une part pour les RTE, et d’autre part, pour les équipes permanentes .

Un autre indicateur important concerne le fait de parvenir à faciliter la coopération, à dynamiser la filière d'acteurs économiques autour de la transition écologique. C’est la notion d’animation territoriale qui est  importante ici, dans laquelle la CTE a un rôle à jouer.

“Pour l’instant les évaluations sont “subies”. Mais, en prenant nos critères d'évaluation de projet, nous pourrions être dans l’analyse de l'opérationnel plus que dans des résultats”.

L’enjeu de l’évaluation est de parvenir à toucher la commande publique avec des demandes de prestation justifiées par la valeur apportée au territoire : Inverser la tendance en formulant une demande plutôt que répondre à un appel à projets. Des échanges ont débuté avec la communauté de communes sur ce qu'ils peuvent aller chercher en financement pour qu’Audyssées intervienne en prestation. Le Directeur Général des Services semble dans une démarche de coconstruction et une vision à long terme. On observe ici qu’une autre façon de gérer peut être acceptée. La vision de “citoyens experts” est entendue, et représente une option pour les collectivités qui sont confrontées à des difficultés auxquelles elles ne savent pas répondre. Aujourd’hui, on observe qu’elles commencent à s’engager dans d’autres réflexions : “C’est exactement ce que nous recherchons et qui nous permet d'intégrer les sphères de l'impact territorial, qui est notre objectif de départ”.

Depuis peu, Audyssées se relie au dispositif TZCLD sur le volet d’insertion professionnelle : l’impact du territoire pourra être évalué conjointement ou en parallèle, en combinant les effets observés dans le déploiement conjoint des deux dispositifs et leur imbrication.

PRATIQUES, OUTILS, DISPOSITIFS D'ACTEURS

Outils :

• Lors du montage du projet : Des fiches métiers avaient été rédigées et il pourrait être intéressant de les comparer avec ce qui est observé aujourd’hui pour identifier les écarts dans les estimations et les définitions. Cela pourrait être un indicateur intéressant pour réaliser en quoi ce qui avait été projeté s’est concrétisé dans la pratique ou non, et pourquoi.

• Au quotidien : Pour la gestion de la coopérative, ce sont les retours d’expériences qui sont favorisés, sans qu’il n’y ait de réels indicateurs ou quelconque formalisation. Des outils d'évaluation sont établis avec différents critères sociaux, économiques et environnementaux. Il font l'objet d'un travail de recadrage du processus de RTE. Cela se fait toujours de manière informelle.

• Au cours des ateliers d’émergence de projets : Un diagramme de Kiviat a été élaboré pour sélectionner les projets de RTE, sur la base de huit critères, pour visualiser les aspects positifs des projets et écarter les domaines non concernés, et questionner l’apport à l’économie locale et à la personne. Dans les faits il n’est pas utilisé, c’est par l’intelligence collective, sans cadre méthodologique que les décisions se prennent “selon les appétences de chacun”. Avançant sans méthodologie partagée, l’équipe est néanmoins parvenue à identifier que son besoin s’oriente vers une évaluation de la démarche plutôt que du résultat, ce qui importe est de comprendre par quel processus le dispositif peut se déployer et les conséquences générées.

Ce qui fonctionne :

• Les Audyssées mensuelles, et de manière générale les rencontres, les participations aux foires, et l’axe communication autour ces évènements qui est à soigner pour les rendre visibles. L’embauche d’un chargé de communication s’est avérée concluante, voire indispensable.

Ce qui peut être amélioré :

• Les cycles d'ingénierie de projets  doivent être réorganisés, notamment le format d’ateliers d’émergence, indépendant des audyssées thématiques avec des embryons de projets et des candidats au RTE et à la participation aux comités de pilotage indépendants.

“On est en recherche d’évaluation plus cadrée, il faut doubler, garder ce format et ajouter quelque chose qui nous dépasse, même si c’est de l’autoévaluation, pour se décentrer, nous permettre de sortir de nos œillères. Et pour nous évaluer nous-mêmes”.

[[Fichier:Illustration des principales dynamiques partenariales à l'œuvre dans la démarche d'évaluation du dispositif

Audyssées.png|vignette|431x431px|Illustration des principales dynamiques partenariales à l’œuvre  dans la démarche|néant]]

CONCLUSION

Chez Audyssées, l’équipe a démontré une capacité à proposer un système d’ingénierie et une mobilisation du territoire adaptés pour démontrer la plus-value du projet. Les pratiques évaluatives existent pour réfléchir aux pratiques et se réajuster si besoin, mais elles sont en cours de formalisation. La question du cadre posé par les personnes qui pilotent la coopérative est un enjeu important, car si l’aspect informel de certaines pratiques est revendiqué, l’expérience à démontré qu’il était nécessaire d’introduire un regard extérieur notamment par la mobilisation d’un conseil scientifique pour assurer une neutralité et introduire une certaine rigueur dans les cadres relationnels au sein du collectif, et ainsi éviter les difficultés dans la coordination interne de la coopérative.

Un lien entre le dispositif d’accompagnement et le dispositif de suivi et d’évaluation peut permettre, de l’identification des porteurs de projets à la qualification du projet, d’analyser les impacts et de les démontrer avec plus de cohérence.  C’est pourquoi l’introduction de l’axe évaluatif dans le cycle d’accompagnement des porteurs de projets fait partie des réflexions.

Besoins pour cheminer vers un référentiel commun :

• Déterminer une ligne directrice avec les mêmes questionnaires pour avoir un outil commun afin de favoriser la cohésion entre les différentes CTE
• Elaborer un budget contributif pour les gens qui participent à la démarche d’évaluation, pour créer des interactions sans verticalité
• Proposer une vraie expertise sur l’animation de la démarche et l’analyse des données, avec indépendance et neutralité, pour optimiser la compréhension des réponses et leur mise en application
• Impulser ce travail dès que possible, en 2025 au plus tard
• Faire valider par Sophie Swaton une définition commune du RTE. Notamment en réfléchissant à la façon dont le RTE peut être adaptable à des structures qui ne sont pas des CTE
• Réfléchir à l’institutionnalisation du RTE, pour le faire entrer dans le domaine public. Avoir des ambassadeurs régionaux, un véhicule régional qui anime différentes CTE par exemple, c'est-à-dire penser au format essaimage. L’évaluation peut aussi servir à considérer l’approche globale.
• Créer de la proximité, être dans la co-construction, sans lourdeur ou bureaucratie.

- Tilt -

TILT est une Société Coopérative d’intérêt Collectif (SCIC) à vocation Coopérative d’Activité et d’Emploi (CAE). C’est la première CTE du réseau Zoein. Elle héberge et accompagne des porteurs de projets, et constitue une alternative à la création d’entreprise individuelle.

Tilt a été accompagnée dès sa création en 2019 dans le cadre d’une mission de définition d’un dispositif de suivi et d’évaluation de la Coopérative Tilt et de l’expérimentation du RTE. La démarche d’évaluation a ainsi été initiée dans le cadre de la dynamique de coconstruction de la coopérative. Aujourd’hui, le stade de développement de la Coopérative lui permet d’envisager à déployer sur une stratégie d’évaluation et une gouvernance associée.

Entretiens réalisés avec Jean-Christophe Lipovac, à la direction de la Coopérative durant ses quatre premières années d'existence, Camille Frazzetta entrepreneure salariée engagée dès le lancement de la Coopérative, Isabelle Robert, chercheure, sociétaire et membre fondateur de la Coopérative. Version actualisée du 31 mai 2024

VISION, OBJECTIFS DE L'EVALUATION

L’évaluation est entendue chez Tilt comme un outil de gouvernance au service d’une démarche de progrès, dont les enjeux sont doubles :

• Soutenir les entrepreneurs dans leur démarche de questionnements et d’amélioration de leur projet entrepreneurial et dans la consolidation de leur modèle économique,

• Leur permettre une réflexion sur leur positionnement dans le monde professionnel en lien avec leur place dans la société, le sens de cette trajectoire choisie avec la prise en compte de ce qu’elle apporte et ce qu’elle coûte, et de permettre de tirer des enseignements sur l’aspect expérimental du RTE pour construire un modèle en lien avec des valeurs et des ambitions spécifiques identifiées.

L’Impact renvoie à l’idée d’essayer de voir les externalités négatives ou positives, en partant du postulat qu'”on ne connaît pas le but à atteindre au début du processus”. La coopérative Tilt adopte une posture de prise de recul, favorisant  un cadre de questionnements et de progrès. Terme moins jargonneux qu’externalités, le terme d’effets est préféré, il renvoie à quelque chose de plus accessible et palpable, les effets pouvant être négatifs ou positifs, anticipés ou non.

L’évaluation d’impact est en résumé un outil d'amélioration continue des actions entreprises au sein de la coopérative et de celles relatives aux projets économiques des entrepreneurs.

“S’engager dans une démarche d’évaluation, c’est se placer dans une posture modeste de croisement des regards pour mettre en lumière ce que l’on a fait qui n’avait pas été projeté initialement”.

PRATIQUES, OUTILS, DISPOSITIFS D’ACTEURS

Démarche

L’année de sa création, Tilt a été accompagnée pour réaliser l’évaluation du dispositif RTE. La démarche d’évaluation s’est donc déroulée en même temps que la phase opérationnelle et elle s’est ancrée dans une dynamique de co-construction de la coopérative avec ses parties prenantes : sociétaires, premiers porteurs de projets, partenaires de la Coopérative (CUD, Conseil Régional, ADEME, etc.).

Références

L’objectif de transformation sociétale dans lequel s’inscrit le projet a amené à un parti pris méthodologique en faveur de l’analyse de contribution. Cette approche vise à appliquer à l'évaluation d’impact les principes de l’évaluation basée sur la théorie du changement. Elle s’appuie sur les étapes identifiées dans la théorie du changement formulée par les parties prenantes elles-mêmes.

L’analyse de contribution cherche à comprendre pourquoi et comment une intervention a atteint les objectifs attendus, sans pour autant attribuer un résultat à l’intervention déployée, mais en cherchant à renforcer la confiance en la contribution apportée, entre autres facteurs de réussite. Ce socle théorique paraît le plus adapté à des projets expérimentaux et novateurs comme le RTE.

Intervenants

C’est le cabinet d'expertise Quadrant Conseil qui a formalisé la méthodologie et les outils de suivi et d’évaluation de la Coopérative. Le dispositif de suivi et évaluation s’est construit au tout début de la Coopérative. La pratique de ce dernier n’était pas encore très intuitive. Mais la méthode a été conçue de manière très participative, “en marchant”, avec un objectif d’appropriation par le collectif de la méthode et des outils. Les outils proposés ont bénéficié d’une période de test pour permettre leur bonne utilisation.

Proposition

Le travail qui a été mené a orienté sur le suivi et l’accompagnement des trajectoires des entrepreneurs. Aujourd’hui, sans chercher à connaître le nombre de clients ou le montant du chiffre d’affaires, il est important de s’attacher à observer l’évolution de la personne dans son environnement. Ce recueil n’est pas forcément formalisé, il apparaît dans les comptes-rendus de réunions mais ne fait pas l’objet d’un recensement.

L’outil des “entretiens-récits” qui ont été testés, mais qui n’ont pas été systématisés, doit amener un plus grand formalisme.

“Les temps de feedback, dans l’idéal, s’instaurent de manière assez légère dans la culture de travail, comme le tour de météo”. Cette culture a besoin de s’établir dans un contexte où l’on prend soin d’être dans une réflexivité sur soi et sur les dynamiques à l'œuvre dans le groupe”. Ce point reflète une différence majeure entre l’esprit de la coopérative et le monde de l’entreprise classique, dont les ambitions sont de travailler autrement et de promouvoir d’autres modes de vie. Le travail d’évaluation a permis de réfléchir à la définition d’espaces de dialogue et d’action au sein de la CTE.

Zoom sur ces espaces

La réunion cercle accompagnement, mensuelle, très opérationnelle, permet une prise de hauteur sur les pratiques, mais n’est pas suffisante. La réunion vie coopérative, où l’entrepreneur est questionné sur ses besoins non couverts et ce qui pourrait être développé. C’est l’approche servicielle qui est mise à l’honneur dans ces réunions. Avec mise en place de retours d'expérience et création d’espaces d’évaluation des entrepreneurs où on va chercher à savoir si les offres proposées correspondent aux besoins formulés et identifiés. Le cercle soin qui sert directement l'accompagnement des entrepreneurs. Parmi les objectifs poursuivis, il s’agit de trouver un alignement entre ses valeurs, son activité et le projet politique de Tilt et de s’y engager.  Autres fonctions du cercle : Poser comme un sujet de travail la qualité des relations,  favoriser l’inclusion au sein de Tilt, et par ailleurs réceptionner les tensions et conflits au sein de la coopérative et proposer des solutions de régulation, et encore prévenir l’épuisement. Le cercle recherche-action & évaluation/capitalisation, pour mettre en place les “entretiens-récits”, s’assurer que les porteurs de projets sont formés, systématiser et organiser une sorte d’université éphémère comme celles qui se sont déroulées en mai 2022 et qui avaient permis une mise en récit du travail engagé avec Quadrant Conseil et permis de partager et de clôre le travail réalisé.

Nos réussites et points d'amélioration

Ce qu'on a réussi :

A construire un vrai alignement entre les valeurs individuelles et collectives, dans le groupe, pour co-construire et s’approprier les échecs et réussites ensemble.

A instaurer des réunions vie coopérative pour créer une relation de confiance dans un espace où la parole est libre, dans lequel les entrepreneurs ont pu s’engager.

A mettre en place un cercle accompagnement et un cercle soin, entendu comme un espace de travail fédérateur.

Ce qu'on doit améliorer :

Le travail autour des “entretiens-récits” n’a pas été finalisé bien qu’il soit un élément central pour faire la preuve des multiples effets des projets individuels et de la coopérative, en particulier à l’échelle territoriale.

L’équipe partage la difficulté d'être une structure sans lieu unique de travail en commun, sans un ancrage physique qui permette de faire de l’informel, nécessaire pour partager des retours en temps réel.

Les dynamiques partenariales à l'œuvre

Illustration des dynamiques partenariales à l’œuvre  dans la démarche

L’apport d’Isabelle Robert, chercheure, membre sociétaire fondatrice, et qui accompagne ponctuellement les entrepreneurs de Tilt

Entretien mis à jour le 23 mai 2024

L’évaluation : Valeurs et vision

Il existe des écueils importants dans les démarches d’évaluation qu’on tente de standardiser à tout prix. Ces outils omettent les sciences sociales, ils sont développés par des ingénieurs, dans une logique cartésienne. Mais lorsqu’on les emploie, on ne se pose pas les bonnes questions, on met de côté beaucoup d'éléments qualitatifs car on évalue juste ce qui peut être évalué. On a construit des outils qui font émerger des éléments mesurables, mais dès qu’on choisit des métriques on occulte autre chose. Et bien que ces outils omettent l’aspect fondamental de la dimension humaine, ils sont beaucoup utilisés et ne font l’objet que de peu de critiques.

L’enjeu réside dans le fait de s'accorder en collectif pour savoir pour quoi on évalue et ne pas tomber dans le risque de faire un travail “facile” où on se replie sur certains indicateurs parce qu’on a accès aux informations nous permettant de la faire.

Illustration sur la base de la démarche d’évaluation d’un projet entrepreneurial : “On peut se réfugier derrière des indicateurs sur les entrants, sortants, mais ce dont on a besoin c’est de qualifier les externalités positives, et ça c’est très compliqué, ça se fait de manière longitudinale avec plein d’acteurs. Et il faut accepter qu’il restera tout de même un biais méthodologique”. En l’occurrence, il faut se concentrer sur les barrières invisibles du projet entrepreneurial, réfléchir à comment on évite de tomber dans l’élitisme, comment on crée de la mixité sociale. Mais les codes sociaux, le capital social ne sont pas quantifiables, alors on se concentre sur d’autres données.

Exemple avec les vêtements en matière de fast fashion : La métrique de référence c’est le poids des matières, ce qui est léger est moins impactant sur l’environnement, donc on va fabriquer des vêtements de plus en plus légers sans tenir compte du fait que ces vêtements vont durer moins longtemps. C’est à ce genre d’hérésie qu’on est confrontés.

Retour sur une méthode : L’analyse du cycle de vie

Parmi les méthodes d’évaluations qui sont plébiscitées par les financeurs, on retrouve l’analyse du cycle de vie, “méthode simple et presque magique, où il suffit de rentrer des données pour obtenir des résultats précis” permettant de déterminer les impacts environnementaux d’un produit, de l’extraction des matières à sa fin de vie. Pourtant, puisque cette méthode se cantonne à des outils basés sur la productivité, on ne sort pas de la logique de volume. On observe ainsi des situations où des chercheurs ayant réalisé une analyse du cycle de vie sur le pain, en arrivent à la conclusion qu’avec une méthode agroécologique exigeante on arrive au même résultat en termes d’impact qu’en fonctionnant en conventionnel. Des éléments fondamentaux comme la revitalisation du village n’étant pas pris en compte.

Mais malgré cela, ces outils se veulent rassurants, ils permettent un résultat communicable, et  on s’oriente même de plus en plus vers les ACV sociales, alors même que de nombreux exemples démontrent à quel point cet outil est totalement insuffisant et doit être complété par des outils qualitatifs ad hoc liés à des filières ou des territoires.

L’ACV territoriale est, quant à elle, plus adaptée pour réfléchir en quoi on peut construire un système d’acteurs, identifier les points positifs chez certains, pénaliser certains autres. Ce qui est intéressant c’est de comprendre comment évaluer la qualité des écosystèmes, évaluer les transferts de connaissances, les relations affectives.

Aujourd’hui, l'évaluation est devenue nécessaire pour que l’ESS prouve sa légitimité. Elle doit apporter des preuves pour être crédible. Car le problème est que les critères des acteurs financiers sont des critères de croissance et que le paradigme sociétal auquel l’ESS tend n’a pas les mêmes valeurs et croyances que celui dans lequel l’évaluation se réalise. Même les entreprises classiques sont rentables au bout de vingt ans (Vinted commence juste à l’être, Uber l’est depuis deux ans), donc un secteur qui expérimente beaucoup doit forcément être soutenu au niveau institutionnel pour être pris en considération.

Recommandations pour s’engager dans une démarche évaluative au sein du Réseau Zoein France

Les dispositifs innovants tels que la CTE Tilt inventent un autre paradigme sociétal mais reste pour le moment obligés de se conformer à certaines exigences pour pouvoir expérimenter, et notamment à se confronter à ces évaluations non pertinentes. Il est donc préférable de se conformer à ces injonctions en apportant quelques indicateurs clés pour donner satisfaction aux financeurs, tout en s’intéressant à comprendre comment on peut évaluer qualitativement sans s’enfermer dans des méthodes qui dépendent d’un paradigme vieillissant.

Il faut jouer avec le système dans le cadre de cette obligation à rendre des comptes, en se mobilisant dans des collectifs, et en identifiant les facteurs clés de succès, les freins et les leviers. Il s’agira alors de construire des dynamiques à partir des sphères fonctionnelles, et d’observer comment les acteurs peuvent se renforcer l’un l’autre grâce à la coopération.

Pour cela, la théorie des pratiques en sociologie peut être inspirante : S’arrêter sur une pratique, l’analyser, réfléchir aux normes sociales et croyances qui sont allouées à cette pratique, donne une vision beaucoup plus holistique de ce qui va marcher. C’est au final se demander comment changent les normes, comment on alloue les compétences pour pouvoir se les approprier.

On est dans un jeu de pouvoir, il faut pouvoir jouer sur la durabilité émotionnelle, restreindre l’offre en arrêtant la nouveauté. Dans les circuits courts du secteur textile, beaucoup de petites entreprises bougent et sont écoutées. Pour soutenir le secteur de l’ESS il faudrait que les expérimentations puissent être exposées, visibilisées, pour insuffler des idées sur une façon d’agir différente.

CONCLUSION

Chez Tilt, “l’évaluation fait partie intégrante du dispositif, au même titre que les autres actions mises en œuvre, car elle permet aux différents acteurs d’apprendre au fur et à mesure de sa mise en œuvre, et de modifier la façon dont ils considèrent le problème à traiter et envisagent les solutions”.

En tant que CAE qui accompagne à l’entreprenariat écologique, elle a vocation à soutenir les projets dans leurs démarches entrepreneuriales soutenables, donc d’aider les entrepreneurs à analyser les effets de leur activité.

La dynamique créée par cette démarche d'évaluation-suivi a permis de mettre en place des instances et des espaces qui favorisent les échanges et retours d’expérience, ce qui influence positivement la dynamique collective.

Malgré l’engagement de l’équipe dans l'expérimentation proposée par quadrant Conseil, les entretiens-récits, élément essentiel de la démarche, n’ont pu être mis en œuvre, et aujourd’hui, avec le niveau de maturité du projet et la stabilité financière qui s’établit, la CTE  a structuré un cercle d'accompagnement et désire approfondir le développement et l’ancrage d’outils dans ses pratiques. L’équipe témoigne également de sa volonté de structurer un cercle recherche-action pour faire lien avec le travail sur l’évaluation des pratiques.

Besoins pour cheminer vers un référentiel commun :

• Prendre soin du vocabulaire, pour montrer notre approche et créer une communauté pour éviter la récupération et créer notre identité
• Être en prise avec la réalité des structures, en émergence notamment, et imaginer des choses à la hauteur des moyens en temps et compétences dont on dispose, de ne pas accoucher d’un résultat trop ambitieux qu’on ne sait pas mener
• Se poser la question de : Qu’est ce qu’on en fait ? Comment va nous nourrir ce travail dans nos pratiques ? Nourrir la relation avec les partenaires ? Comment il nous fédère ? Car le risque de produire un rapport qu’on n'utilise pas est réel
• Envisager de faire du processus d’évaluation un enjeu de montée en compétences de la dynamique collective

Outils et démarche de suivi et d'évaluation de la Coopérative TILT (Cabinet Quadrant Conseil)

- Appui à la conception d’un dispositif de suivi et d’évaluation ex ante de la Coopérative de Transition Écologique – TILT. -

Contexte

Les activités économiques en faveur de la transition écologique et du lien social sont aujourd’hui, et plus que jamais, des activités porteuses de sens à l’échelle individuelle, et constituent par la même des solutions pour construire une société plus soutenable. Créée en mai 2019 à l’initiative de la Ville de Grande-Synthe et de l'Association Zoein, TILT est la première Coopérative de Transition Écologique en France à expérimenter le Revenu de Transition Ecologique (www.tilt.coop). TILT a en effet été créée sur le principe de l’expérimentation du Revenu de Transition Écologique (RTE) conceptualisé par Sophie Swaton, enseignante chercheure à l'Université de Lausanne (https://zoein.org/). TILT est statutairement une Coopérative d'Activité et d'Emplois, multi activités et spécialisées sur les innovations écologiques et solidaires. Sa vocation est d'accueillir, d'accompagner, de soutenir financièrement les initiatives et projets entrepreneuriaux en faveur de la transition écologique. Ancrée depuis sa création dans le Dunkerquois, TILT a pour ambition d’intervenir progressivement à l’échelle des Hauts-de-France. La raison d’être et d’agir de la Coopérative est d’accélérer les initiatives citoyennes de transition écologique, sociale et économique, et de contribuer au développement d’écosystèmes économiques locaux soutenables dans une perspective de résilience locale. Dans l’optique de conduire cette expérimentation, la volonté des sociétaires de la Coopérative a été d’engager - dès le lancement opérationnel des activités de la Coopérative en 2020 - une étude-action pour coconstruire un dispositif de suivi et d’évaluation ad hoc

Présentation des résultats

Dans le cadre de l’étude-action réalisée par Quadrant Conseil, il s’est agi plus précisément de caractériser la « théorie du changement » de l’action menée par la Coopérative. En d’autres termes, la théorie du changement permet de rentre explicite la façon dont une intervention fonctionne en décrivant sa contribution à une série de résultats intermédiaires, et, in fine, à l’objectif final de l’intervention. Cela permet d’éviter la « boîte noire » entre l’intervention réalisée et ses objectifs finaux, et ainsi de faciliter la formulation d’un jugement nuancé sur son efficacité. En outre, l’étude-action a permis de produire un référentiel d’évaluation propre à la Coopérative, comprenant les questions évaluatives, les critères de succès, les indicateurs et les sources de données. Enfin, des outils de suivi et d’évaluation continue ont été définis et testés avec les parties prenantes de la Coopérative. En particulier, ceux sont des « entretiens récits » avec les entrepreneurs, des questionnaires spécifiques, mais aussi des espaces de réflexivité et d’échanges qui ont été coproduits et animés durant toute la mission d’accompagnement.

Focus

Dans le cadre de cette étude-action, notre approche évaluative basée sur la théorie du changement a été un parti pris fort. Dans un contexte d’expérimentation et de développement « en marchant » de la Coopérative, la méthodologie utilisée a permis de mobiliser et d’impliquer une diversité de partenaires de la Coopérative, dont les entrepreneurs eux-mêmes qui étaient tout juste entrés dans la Coopérative. L’animation du processus de co construction a permis de mieux clarifier ensemble les grandes finalités de la Coopérative, ainsi que ses objectifs opérationnels et les résultats recherchés. En outre, notre parti pris méthodologique a permis de dépasser une approche strictement centrée sur la « performance de l’entreprise ». Ce choix a permis de mieux prendre en compte la dimension territoriale recherchée dans le projet de la Coopérative. Trois échelles d’analyse sont ainsi prises en compte dans le dispositif de suivi et d’évaluation de la Coopérative : l’échelle individuelle (les entrepreneur.es), l’échelle du collectif d’entrepreneur.es (la coopérative en tant que telle), et l’échelle territoriale avec l'objectif d'analyser les effets de l'action de la Coopérative au niveau local.

Enseignements

L’étude action a eu double effet : Elle a permis de documenter le lancement de l’expérimentation de la Coopérative et construire un dispositif d’évaluation intégrant les « boucles d’apprentissage » de l’expérimentation en cours ; Autrement dit, de son évolution et son amélioration dans le temps. En outre, elle a permis d’enrichir le dispositif d’accompagnement de la Coopérative auprès de ses bénéficiaires, et en premier lieu des entrepreneurs. Les « entretiens récits » qui ont été formalisé permettent à la fois de rendre explicite les « effets réels » de l’accompagnement de la Coopérative auprès des entrepreneurs. La méthodologie sert également aux entrepreneurs dans leur activité. Transposable, elle permet aussi aux entrepreneurs de mieux révéler les effets de leur action auprès de leur client. Une culture commune de l’évaluation au sein du collectif d’entrepreneurs et des partenaires de la Coopérative reste à animer sur le temps long.

Facteurs de reproductibilité

La démarche d’évaluation se trouve pleinement intégrée à la méthode générale d’intervention de la Coopérative. La méthodologie développée vise à tirer les enseignements du dispositif de suivi-évaluation pour améliorer la démarche dans le temps, et mieux prendre en compte l’évolution de l'activité de la Coopérative.

Atelier réalisé dans le cadre de l'université éphémère de TILT en Novembre 2022.

- La démarche d'évaluation de TILT au prisme des méthodes d'accompagnement vers le changement -

Pourquoi une démarche d’évaluation ?

Tilt, comme les différentes initiatives de RTE, constituent des expérimentations construites chemin faisant dans une logique de recherche-action sur la base des éléments cadres définis dans sa conceptualisation par Sophie Swaton. Le premier objectif de la définition d’un système de suivi-évaluation était ainsi de contribuer à caractériser, tester et enrichir le RTE tel que déployé par Tilt et de l’intégrer dans sa démarche de progrès. Tout comme l’action de Tilt, la démarche d’évaluation n’est pas figé, et l’enjeu et davantage d’accompagner le déploiement du RTE et la réflexivité sur la démarche :  « que faisons-nous ? qu’est-ce qui est en train d’émerger ? que laisse-t-on de côté ? qu’est-ce qui marche, pour qui, comment, dans quelles conditions ? Quels choix faisons-nous pour la suite ? ».

Tilt étant la première Coopérative de Transition Écologique à expérimenter le Revenu de Transition Écologique, les enjeux de diffusion de ses apprentissages sont également importants. Elle constitue à ce titre un prototype du RTE, avec l’objectif de concevoir les méthodes, les leviers et de produire les ressources, destinés au partage et au transfert des apprentissages à d’autres expérimentations en France comme ailleurs ; chacune d’entre elles étant libres de dessiner sa propre trajectoire tout en bénéficiant de ces retours d’expérience et de les questionner au regard de leur propre contexte

Les grandes étapes de la démarche :

La définition du système de suivi-évaluation de TILT a mobilisé une série d’entretiens et d’ateliers afin de définir un premier référentiel d’évaluation, puis a permis de tester certains premiers outils de collecte d’information tels que les entretiens récits avec les entrepreneurs.

Définition d’un référentiel d’évaluation

Le référentiel d’évaluation est un élément clé d’une démarche d’évaluation, qui permet de se mettre d’accord sur les questions posées et ce que l’on devrait observer en cas de réussite : à l’aune de quels critères pourra-t-on juger que Tilt est une réussite ?

A l’issue de la démarche, 4 grandes questions d’évaluation ont été retenues, concernant l’accompagnement des entrepreneurs, l’émergence ou le renforcement d’espace de coopération, la contribution à la transition des territoires et l’adéquation des objectifs de Tilt avec ses ressources.  

Un des principaux changements initiés à ce stade a été de s’émanciper d’une évaluation uniquement centrée sur l’initiative entrepreneuriale, sur laquelle on peut apposer des critères d’utilité écologique et social, mais plutôt considérer un périmètre d’évaluation plus large, concernant l’initiative entrepreneuriale dans son écosystème à différentes échelles, qui s’entrecroisent et font ressources.

Ce référentiel intègre une théorie du changement de Tilt, permettant d’expliciter avec les parties prenantes les différents effets attendus.

Définir des outil intégrés aux activités de Tilt, exemple des entretiens récits auprès des entrepreneurs

Un des principaux enjeux du système de suivi-évaluation était de s’intégrer et contribuer aux activités déployées par Tilt, plutôt que d’en faire une activité à part. L’exemple de la mobilisation des entretiens récits auprès des entrepreneurs illustre plus particulièrement ce positionnement.

Dès les premiers temps de rencontres, la dimension sensible de l’entreprenariat écologique et sociale est apparue comme particulièrement importante pour les différentes parties prenantes et notamment les entrepreneurs.e.s afin d’appréhender les effets de Tilt. L’expérience quotidienne des activités économiques et de leurs parcours ainsi que celle de la coopérative étant alors une façon privilégier de révéler et mieux appréhender ces effets, et de s’écarter de l’usage unique d’indicateurs quantitatifs peu adapté au contexte (un nombre encore restreint d’entrepreneurs) et à la dimension expérimentale du déploiement du RTE.  La politique sociale que la coopérative a défini (et qui fait sa spécificité) implique en effet d’évaluer dans quelle mesure le projet réduit le sentiment de vulnérabilité des personnes, à les accompagner à gagner en autonomie et participe à la reconnaissance sociale des personnes en contexte d’urgence écologique, qui conduit bien souvent à un sentiment d’inutilité, de culpabilité ou d’invisibilité des personnes dans la société consumériste.

Le test de ce format d’entretien auprès des premiers entrepreneurs ayant intégré Tilt s’est révéler riches d’enseignement pour caractériser le processus d’accompagnement de Tilt et ses différents effets, tout en proposant un temps de réflexivité aux entrepreneurs sur leurs parcours.

- Quelques enseignements parmi d’autres ? -

Un accompagnement centré dans un premier temps sur le rôle de facilitateur de l’accompagnateur

Dans un contexte de crise sanitaire, l’accompagnement de Tilt s’est centré dans un premier sur le rôle de facilitateur de l’accompagnateur. Un accompagnement « sur-mesure » qui permet notamment à certains entrepreneurs :

• D’identifier, rencontrer et échanger avec d’autres acteurs, notamment via l’accès direct aux partenaires et réseaux de Tilt :  
• D’avoir accès à différents types de ressources, (investissement, atelier…) ou des prestations ;
• De disposer d’un appui stratégique au développement de leur projet ;  

A titre d’exemple, dans le cade du pôle de mobilités activités, l’accompagnateur-référent oriente cette démarche dans une logique d’Économie de la Fonctionnalité et de la Coopération (EFC), afin de structurer un réseau d’acteur autour des mobilités professionnelles (participation à des espaces de consultation et de gouvernance, intégration d’associations, collectifs, et création des Boîtes à vélo, structuration d’un  réseau d’acteur etc.) et d’ancrer les activités dans les besoins du territoire.

Les projets développés par les entrepreneur.e. s ont vocation à répondre à une diversité de finalités écologiques, sociales et territoriales

Les premiers entrepreneurs ayant intégré Tilt développent des projets ayant vocation à répondre à une diversité de finalités écologiques, sociales et territoriales notamment en raison du spectre très large des effets attendus de certaines activités comme la facilitation de la pratique du vélo auprès des particuliers et professionnels : santé, pollution de l’air et sonore, émissions de GES.

- Zoom sur l'expérimentation et l'évaluation dans le Canton de Vaud -

Le projet RTE dans le canton de Vaud (situé en Suisse romande, à proximité du canton de Genève) est né avec la mise en place de nouvelles mesures d’insertion socio-professionnelles à vocation écologique par la Direction Générale de la Cohésion Sociale dont un service est pilote du volet insertion. La fondation Zoein a été mandatée par le canton pour accompagner les organismes prestataires (associations et fondation qui font de la réinsertion) à introduire la dimension écologique dans les mesures d’insertion sociale. Après une année d’accompagnement, Zoein a été associée à un groupe de travail, pilotée par l’EPER (Entraide Protestante Suisse), en partenariat avec la DGCS, pour réaliser une étude de faisabilité du RTE au sein du canton de Vaud. Son objectif est d’associer les parcours de création d’activité et d’insertion sociale et de créer un projet RTE à la frontière entre des partenaires publics et privés.

Les étapes du projet ont consisté à :

• Dresser un bilan sur le plan de la situation environnementale,
• Identifier les acteurs, et en particulier les organismes spécialisés dans l’insertion
• Identifier des secteurs d’activités prioritaires pour la transition : économie circulaire, énergie et habitat, mobilité, alimentation durable, biodiversité.
• Imaginer plusieurs types de RTE par rapport aux publics cible de ces rte :
  • Un RTE insertion, pour les personnes ayant droit au revenu d’insertion afin de les soutenir dans un emploi au sein d’entreprises en lien avec la transition écologique
  • Un RTE nouveaux projets pour les entrepreneurs et porteurs de projet de la transition écologique destiné à soutenir la création d’activités et les porteurs de projets
  • Un RTE insertion nouveau projet : un revenu pour les personnes ayant droit au revenu d’insertion, porteuse d’une activité économique de transition

Le RTE est ainsi conçu dans le prolongement des revenus d’insertion. L’originalité de ces trois déclinaisons de RTE réside dans le fait que des passerelles pourraient s’instituer entre les dispositifs. Par exemple, le groupe de travail envisage qu’un porteur d’activités - qui bénéficie d’un RTE nouveaux projets - puisse après une année d’activités embaucher une personne ayant droit à un RTE insertion. A ce titre le RTE nouveau projet aurait pour fonction de soutenir et de développer le potentiel de transition de l’activité par l’emploi et la formation des personnes en insertion. Ce chantier « RTE nouveaux projets » est important, notamment en termes de financement, encore incertain aujourd’hui.

A ce stade du projet, une diversité de question se pose sur le rôle des partenaires, l’accompagnement des porteur.se.s de projet, le rôle de la future CTE dans le canton de Vaud.  Un travail important a été réalisé sur les critères d’éligibilité du RTE pour les parcours d’insertion et ceux destinés à sélectionner entreprises, qui se réclame de la transition. L’articulation entre RTE/CTE est enfin un des chantiers importants à venir.

Cette démarche se distingue des questionnements relatifs à la démarche d’évaluation mise en place par Tilt. Le regard croisé entre Tilt et le projet dans le canton de Vaud est intéressant - entre  d’un côté la démarche « institutionnelle » du canton de Vaud et la définition de critères d’éligibilité et d’un autre la démarche d’évaluation de Tilt qui se base sur un outil d’accompagnement en continue basé sur des critères qualitatifs en évolution permanente. Le projet du canton de Vaud évalue aussi la possibilité de s’inspirer du modèle TILT pour proposer un accompagnement personnalisé.

Tensions, questionnements et échanges collectifs autour de la démarche de suivi-évaluation de la CTE

Plusieurs tensions ou questions autour du dispositif d’évaluation ont été exprimées : A ce stade, la démarche de suivi et d’évaluation de Tilt est encore peu opérationnalisée depuis la fin de la phase 1 de l’évaluation (mi-2021) en raison de manque de temps disponible et d’organisation interne de l’équipe support pour intégrer cette démarche au processus d’accompagnement. Son opérationnalisation implique de constituer une équipe d’accompagnateur.rices et de les former au dispositif.  Cela dit, en 2022, les premiers espaces de vie collective commencent à apparaitre, que ce soit dans le cadre d’un groupe dédié à la gouvernance partagée, aux partages des outils de communication. La constitution d’une équipe d’accompagnateur.rices permettra de poursuivre des entretiens individualisés des entrepreneurs sur 2022-2023.

La stratégie d’évaluation définie pour accompagner la CTE au fil de l’eau repose sur l’engagement des personnes qui participent au pilotage de l’expérimentation et en particulier à l’association Zoein et des entrepreneurs-salariés, dédiés à l’accompagnement et au management de projet. L’opérationnalisation du référentiel sur le long terme réclame de bien définir les modalités de transmissions de la démarche pour dépasser la phase test et faire évoluer le référentiel. Dans le cas inverse, cette démarche peut rapidement s’essouffler par manque d’encadrement.

A l’heure actuelle, les porteur.euse.s de projets intègrent Tilt via des structure relais et adhèrent au projet parce que ces personnes partagent des valeurs communes de solidarité, de transition et des affinités. Les secteurs d’activités de la coopérative se structurent donc à partir de l’engagement des porteur.euse.s de projet. Elles pourraient aussi s’appuyer sur d’un diagnostic territorial, qui puisse permettre d’identifier les besoins, de prioriser les activités clés de la transition écologique pour ensuite prioriser les domaines d’activités, encourager l’entreprenariat dans ces secteurs et travailler en lien avec les acteurs économiques, associatifs et institutionnels pour développer des filières, secteurs d’activités ou participer aux mutations de l’emploi.*Thomas Polikar de Zoein explique qu’une étude menée par le canton de Vaud a identifié des secteurs d’activités prioritaires pour la transition (économie circulaire, énergie et habitat, mobilité, alimentation durable, biodiversité). Des critères d’éligibilité ont été définis pour déterminer quel type de structures et d’entreprises pourrait accueillir les personnes ayant droit à un « RTE insertion ». Le prolongement d’un revenu d’insertion (RSA en France, RI en Suisse) contient plusieurs risques importants et de construire des raccourcis entre transition et insertion :

• Réduire les enjeux de transition au seul domaine de l’insertion et inversement
• De ne pas rémunérer de manière juste ce type d’activité
• De dévaloriser l’emploi dans les domaines de transition.
• Par ailleurs, en procédant ainsi, il s’agirait de demander aux personnes en situation d’insertion de réaliser des efforts supplémentaires alors qu’elles sont le moins responsables des dérèglements environnementaux globaux – en termes d’empreinte écologique.

L’évaluation passe par deux formes d’évaluation : parfois l’évaluation porte sur l’accompagnement de la CTE Tilt, les porteurs de projets, d’autres sur l’évaluation du dispositif comme politique publique. Il y a une tension entre ces deux manières d’aborder le référentiel d’évaluation. Pourquoi ne pas porter la focale sur les critères d’utilité sociale et écologique du RTE ?

• Pour Laurent Chochoy de l’Institut Godin, la portée de la démarche d’évaluation est de sortir d’une évaluation par « critères » d’utilité sociale et écologique, qui dénature la portée politique du RTE. Le RTE ne peut pas être déconnecté du domaine du politique parce qu’il répond à un problème, désigne des priorités sociétales et se positionne comme un entrepreneur de cause (voir infra). Le RTE est une innovation sociale qui répond à un besoin de société et de politique publique. Sa réussite et plus largement celle de ZOEIN est d’agir pour accompagner le changement de paradigme des institutions à travers ce dispositif dans le domaine de l’emploi et de l’économie locale. Il s’agit donc pour Tilt de s’attaquer à la transition écologique comme problème public, en mobilisant les institutions, sans s’enfermer à créer des critères. C’est comme cela que le RTE peut être reconnu comme un outil et une des solutions pour amener la transition écologique. Un enjeu est d’inviter et d’associer les institutions à joindre la démarche sans que Tilt doive se plier aux injonctions institutionnelles et politiques en présence mais bien s’inscrire dans un projet de territoire sur le temps long.

Ressources pour aller plus loin :

Intervenants et auteurs : Caroline Lejeune (Zoein), Vincent Honoré (Quadrant Conseil), Laurent Chochoy (Institut Godin), Thomas Polikar (Fondation Zoein)

Au sujet de l’Intervention de Vincent Honoré et Caroline Lejeune :

Centre d’Études et de Ressources du Développement Durable, « Repères sur la mise en récits de vos projets de transition », avril 2021.

https://www.tilt.coop/

https://zoein.org/

https://quadrant-conseil.fr/

Pour en savoir plus sur l’évaluation de politiques publiques :

La page ressources de Quadrant Conseil : https://www.quadrant-conseil.fr/ressources.php

Au sujet de l’intervention de Laurent Chochoy :

https://institutgodin.com/qui-sommes-nous/

Au sujet de l’intervention de Thomas Polikar :

https://zoein.org/

- PTCE pays de France -

Le PTCE du Pays de France est une association née de la volonté de  faire émerger une coopération d'acteurs économiques du territoire du Pays de France sur les questions d'agriculture biologique pour faciliter l’accès à une alimentation saine et accessible et favoriser la démocratie alimentaire.

Le projet PTCE Pays de France est un des fruits de la dynamique CARMA initiée sur le triangle de Gonesse contre le projet EuropaPark.  L’association du PTCE s’inscrit ainsi dans la perspective d’une CTE en vue d’expérimenter des revenus associés. L’association qui porte le PTCE bénéficie d’un accompagnement dans le cadre du projet Coop’ter (Territoires de Services et de Coopérations). C’est dans ce contexte que l’association souhaite engager une réflexion sur l’évaluation du processus d’émergence et des premières actions menées.

Entretien réalisé avec Dominique Picard, présidente de l’association PTCE Pays de France et de l’association Carma. Version actualisée du 31 mai 2024

VISION, OBJECTIFS DE L'ÉVALUATION

Au sein de l’expérimentation PTCE Pays de France, l’évaluation est vue comme une façon de mesurer la vraie richesse, celle qui correspond aux “forces de vie nécessaires dans la création d’un projet collectif”.

L’impact correspond à ce qui marque, il représente un résultat et permet de cerner un taux d’estimation de ce qui est réalisé. Un de ses paramètres est particulièrement important : Il se recherche à plusieurs stades du projet sinon il ne peut pas être révélateur des actions et des effets.

“L’impact se caractérise forcément  grâce au témoignage, car personne n’est mieux placé que le bénéficiaire pour identifier l’apport du projet”

L’association PTCE Pays de France provenant d’une expérimentation issue d’une recherche-action menée sur le sujet de la lutte contre la précarité alimentaire, elle s’est construite sur la base d’un diagnostic de territoire. L’association s’est d’abord faite connaître avant de s’implanter au sein d’un tiers lieu nourricier, aboutissement de cette approche engagée sur le terrain. La démarche d’identification des besoins de la population locale sur laquelle s’est construit le projet a permis le soutien de la ville de Goussainville, depuis attentive à son développement.

L’association bénéficie d’un accompagnement dans le cadre du projet Coop’ter (Territoires de Services et de Coopérations), programme en faveur de la transition économique, sociale et soutenable des entreprises et des territoires, piloté par l’ADEME et conduit en partenariat avec le laboratoire ATEMIS. Dans le cadre de cet accompagnement, l’association projette de s’engager dans un travail qui vise à faire prévaloir auprès des partenaires, le fait de cofinancer un poste de chargé de développement. C’est dans ce contexte que l’association souhaite engager une réflexion sur l’évaluation et la communication autour de son projet. En parallèle à cette phase d’évaluation, elle s’engage dans l’étape de la capitalisation et de partage d’expérience qui participent également au processus d’évaluation du dispositif.

PRATIQUES, OUTILS, DISPOSITIFS D’ACTEURS

• Le financement de Coop’ter s’achèvera en fin d’année 2024 et la réflexion autour de l’enjeu de témoigner de la valeur créée pour qu'un poste soit financé est plus que jamais à l’ordre du jour. Dans l’idéal, pouvoir le financer sur les deux prochaines années pour avoir une certaine garantie de la pérennité de la démarche.

Retour sur les démarches engagées dans le cadre de l’accompagnement de Coop’ter :

Le PTCE finalise actuellement le rapport de la première phase et va s’engager dans une seconde période de deux ans qui devrait commencer à la rentrée 2024.

Des visites ont été organisées avec accueil d'un groupe de porteurs de projets intéressés par les activités du PTCE Pays de France. L'objectif est d'explorer le développement de projets en accord avec l'Économie de la Fonctionnalité et de la Coopération (EFC) sur la précarité alimentaire.

À Sevran, un intérêt a été exprimé pour adopter une approche similaire de lutte contre la précarité alimentaire, il est question d’expérimenter un chèque alimentaire que le conseil départemental veut tester sur quatre villes.

Actuellement deux étudiantes en stage et la salariée de l’association sont engagées dans un travail d’élaboration d’indicateurs pour justifier l’apport financier à pour ce projet.

• Plusieurs partenaires proposent des espaces de dialogue et de retour d’expériences : La Fondation Crédit Coopératif essaie d’organiser des temps de regroupement précieux qui témoignent de son engagement dans le projet, mais le manque de moyens empêche la chargée de développement de s’y engager.

Fondation Crédit Coopératif (credit-cooperatif.coop)

Enjeux spécifiques au projet PTCE Pays de France

• Pour obtenir le soutien de partenaires : Réaliser un “travail sur les termes de la coopération : Au service de tout le monde et surtout au bénéfice du territoire [...] C’est par la confiance qu’on peut construire, en ayant considéré les contraintes des uns et des autres”. Cela signifie aussi développer ensemble la mutualisation : Avec le Conseil scientifique, grâce à des moyens locaux, ou dans le cadre d’appels à communs.

• Pour valoriser les dynamiques relationnelles : La question de la monnaie-temps s’impose de plus en plus comme moyen de rétribuer les bénévoles habitants et de “valoriser la façon de prendre soin des autres, de reconnaître leur valeur pour essayer de faire ensemble”. Le dispositif n’étant pas créateur d'emplois rémunérés, l’enjeu est de “trouver un équilibre entre ce qui est produit par les forces citoyennes et la relation partenariale avec les financeurs publics”. Au-delà des questions de précarité alimentaire, le projet est un projet qui englobe une vocation sociale majeure qui peut être valorisée auprès de financeurs.

• Pour aller plus loin dans la formation du PTCE, en mobilisant dans la durée les capacités, il est important de travailler sur les termes de la coopération et travailler l’inscription dans le temps. Cela doit passer par une étape de communication autour des effets produits sur l’écosystème.

Illustration des principales dynamiques partenariales à l’œuvre  dans la démarche d'évaluation du dispositif PTCE pays de France

CONCLUSION

Dans le cadre de l’accompagnement proposé par Coop’ter, l'association PTCE Pays de France s’engage dans l’évaluation de son dispositif. Avec un public bénéficiaire combinant diverses difficultés, l’enjeu majeur est de parvenir à s’appuyer sur les retours d’expériences de ce public, considérés comme relevant de la seule approche pertinente, afin de valoriser le capital humain et social développé grâce au projet.

Besoins pour cheminer vers un référentiel commun :

• Valoriser le travail bénévole par la redéfinition du RTE sur la question de la création d’emplois rémunérés,
• Réfléchir à la meilleure façon de rendre compte du mieux-être, du mieux-vivre, et de l’implication des personnes,
• Questionner la façon de faire lien avec certains partenaires tels les clubs régionaux de l’EFC, le club des jeunes dirigeants, la CRESS, le Labo de l’ESS. Le lien entre l’Adème et le PTCE,
• Travailler à la recherche de compromis, et lever les représentations sur les désaccords en lien avec l’idée des “désaccords féconds” (Patrick Viveret),
• Prendre le temps de comprendre les mots qu’on emploie.

Pour aller plus loin :

Compte-rendu interne reprenant l’état d’avancement du projet : Actualités PTCE Pays de France.docx - Docs (infomaniak.com)

- bYfurk -

Dynamique située à Strasbourg, portée par la SCIC Cooproduction.

Co-fondateurs :  Philippe Kuhn, Somack Limphakdy, Stéphane Bossuet.

Raison d’être : “Chez Byfurk, nous imaginons, concevons et diffusons des modèles économiques pour celles et ceux qui veulent œuvrer pour les transitions écologiques, sociétales, et personnelles et ainsi construire un avenir durable, fraternel et joyeux !”

Inaugurée le 1er décembre 2023, la dynamique bYfurk, soutenue par l’Eurométropole de Strasbourg, propose aux bYfurkeurs dans le cadre de leur développement d’activités économiques un accompagnement et l’accès à un financement triple (Public, privé, citoyen) pour permettre la mise en œuvre de leur projet économique de transition. L’évaluation de l’impact des projets soutenus fait partie intégrante du dispositif. La démarche évaluative au sein de bYfurk a été engagée dès le lancement de la dynamique.

Entretiens réalisés avec Philippe Kuhn, directeur, Somhack Limphakdy, chercheure, et Océane Puech, directrice du cabinet Greenscale. Version actualisée du 31 mai 2024.

VISION, OBJECTIFS DE L'ÉVALUATION

Chez bYfurk, l’évaluation est considérée comme une phase de travail comprenant des objectifs ciblés, “une tentative de mesurer les effets des actions” et de pouvoir les quantifier, les qualifier, pour les comparer avec les prévisionnels financiers. Elle permet de “prendre une photo d’une trajectoire, et surtout de définir la qualité de la démarche”. Au sein de la structure est défendue l’idée que les projets de transition nécessitent de prendre le temps de questionner, de manière automatique, l’amélioration de l’impact de son activité, en se concentrant sur les impacts positifs, et de prendre en compte également les effets indésirables.

En termes d’impact ce qui est mis en avant par la CTE ce sont les effets sur trois champs : écologique, social et sociétal.

PRATIQUES, OUTILS, DISPOSITIFS D’ACTEURS

Outils

Chez bYfurk, l’évaluation est un élément majeur du dispositif. Elle s’enclenche dès le lancement du parcours d’accompagnement des bYfurkeurs. Des outils ont été créés et proposés pour attester, auprès des entrepreneurs, de l’intérêt d'avoir une réflexion sur la valeur que leur activité produit sur le territoire.

“C’est surtout la qualité réflexive autour de ces processus d'évaluation qui est fondamentale, au-delà des outils employés”

QUELS OUTILS ?	POUR QUI ?	PAR QUI ?	POUR QUOI ?	A QUELLE ÉTAPE ?
Questionnaire d’entrée	Porteurs de projets	bYfurk	- Promouvoir l’importance de l’évaluation d’impact dans le dispositif - Questionner l’implication de l’entrepreneur à la question de l’impact	Lorsque le bYfurkeur intègre le dispositif
Carnet d’impact	Porteurs de projets	Le cabinet Greenscale porté par l'association Indicateurs prédéfinis par Greenscale	Aider les bYfurkeurs à identifier et qualifier les impacts de leur projet	Lorsque le bYfurkeur intègre le dispositif
Carnet de bord	Dynamique bYfurk	Le cabinet Ellyx,  l’Eurométropole de Strasbourg (Dispositif 100% apprenant) Souhait de la collectivité de définir des critères communs à toutes les structures	Évaluer l’impact de l’accompagnement proposé aux bYfurkeurs	A destination des personnes qui pilotent la dynamique bYfurk

Instance dédiées

• Il n’existe pas, chez bYfurk, d’espaces dédiés aux pratiques d’évaluation, malgré un besoin de transparence partagé. Les réajustements sur les pratiques et réflexions autour des décisions prises se font de manière non formelle. Via notamment un groupe Whatsapp, les porteurs de projet sont invité.e.s à participer en commun à l’évaluation de la conduite de la coopérative, à échanger sur des questions et avancées sur la base des informations remontées par les un.e.s et les autres.

• Un comité “go no go” a débuté avec l’Eurométropole et les mentors d’entreprise, équivalent à un comité d'engagement : Instance de décision où les acteurs en présence interviennent pour donner leur aval ou non au financement d’un projet. Les décisions se prennent sur la base de critères propres à chacun.e. L’équipe de bYfurk souhaite que les bYfurkeur.euse.s puissent participer activement à cette réunion et soit force de propositions.

Illustration des dynamiques partenariales à l’œuvre  dans la démarche d'évaluation du dispositif bYfurk

L’avis d’Océane Puech, directrice de Greenscale

Entretien mis à jour le 21 juin 2024

L'évaluation d’impact : Approche de Greenscale

L’évaluation chez Greenscale renvoie à l’anticipation et la vérification d’impacts positifs et négatifs liés à un projet défini : Impacts sur l’environnement et la société, et également à destination du porteur de projet.

L’impact peut se définir par les aspects transformatifs recherchés, auxquels vont s’ajouter d’autres effets non anticipés, révélés pendant le déploiement du projet. Faire de l’évaluation d’impact signifie  s’engager dans une logique holistique.

“Des projets transformatifs sont des projets nécessaires à la société de demain, qui changent la société et l’évaluation doit permettre de vérifier que les fonds, l’aide, et l’attention apportent cette transformation”.

Méthodologie proposée à bYfurk

Le travail engagé avec bYfurk est une travail d’évaluation d’impact qui s’inscrit dans une logique d’amélioration continue avec une spécificité qui est une redevabilité forte à l’égard des financeurs, liée au système de financement triple, et, de manière globale, à une volonté marquée de communication sur le projet bYfurk dans un objectif de rayonnement.

L'évaluation d’impact telle qu’elle est proposée par Greenscale est donc tant dans une démarche progrès des projets que dans une dimension de rendre compte aux financeurs.

La plus value du modèle élaboré par Greenscale concerne le fait de croiser les aspects négatifs et les effets positifs du projet et de faire la différenciation entre ces deux aspects.

Le bYfurkeur est ainsi amené à rechercher les impacts négatifs de son projet, comprendre et mettre en place des actions réductrices / correctrices.

Il se concentre en parallèle sur les impacts transformateurs : À partir d’une démarche préalable de recherche du problème à résoudre, de la transformation à apporter et de l'offre proposée pour obtenir cette transformation, l'évaluation des impacts transformateurs permet de vérifier qu'ils produisent les effets escomptés sur leurs bénéficiaires, à identifier les leviers de transformation et les bénéfices sociaux, environnementaux et sociétaux, donc les effets à maximiser.

“Il a fallu proposer un outil d’évaluation échelonné, ce qu’on fait quand on ne peut pas récupérer des indicateurs identiques, et pour les outils utilisés, l’équipe de Greenscale s’est basée sur un fonctionnement type entreprise à mission”. Le carnet d’impact est équivalent à un business model étendu de l’activité. Cela se justifie par le besoin de démonstration aux financeurs : C’est un outil pour répondre à leurs attentes sans forcément tout prévoir avec certitude. Il s’agit plutôt de donner des hypothèses : “Il est important de considérer le fait qu’il ne peut pas y avoir d’estimations très fiables à ce stade du projet  et l’impact ne peut être que présupposé”, c’est pourquoi les indicateurs doivent suivre l’activité sur le long terme.

Ce modèle d’évaluation porté par Greenscale a un aspect structurant marqué par une construction autour de différents indicateurs définis, que les porteurs de projets sélectionnent en fonction de leur activité.

Les étapes de la démarche :

1. entretien entre les porteurs de projet et Greenscale -> Greenscale revoie les pages Diagnostic -> conseils sur les éléments à creuser ou développer
2. bYfurk envoie son carnet d'impact complet
3. Greenscale l'analyse sur la base du modèle d'évaluation -> bYfurk obtient une "fiche projet"
4. bYfurk obtient une "Fiche promotion", consolidation

Il est intéressant de questionner les limites de ce modèle pour en saisir toutes les composantes. Océane les a identifiées : “Dans la diversité des projets qui sont présentés chez bYfurk, il a fallu composer en déterminant un modèle qui fonctionne avec tous”. Il a donc fallu considérer le fait que cette pluralité de projets ne permettait pas de comparer les grilles d’évaluation des projets entre elles et on doit réaliser une grille par projet. Ainsi il ne sera pas possible d’élaborer des notations ou des classements, “mais cette diversité permettra toutefois une consolidation des projets par promotion de bYfurkeur.euse.s qui sera valorisable au niveau de bYfurk”.

Mise en application du modèle

La méthodologie en lien avec ce dispositif d’accompagnement, expliquée pendant une journée de formation proposée à tous les bYfurkeur.euse.s, a permis à chacun de prendre le temps de questionner les impacts des projets. Cette journée a été l’occasion de revenir sur certains concepts, de faire des exercices de mise en pratique en binôme, de mettre en commun pour s’inspirer mutuellement, dans l’idée de clôturer la formation avec une réussite, par exemple en réalisant une cartographie des parties prenantes.

Certains avaient une très bonne maturité et les porteurs de projets se saisissaient des outils facilement, pour certains autres, le projet était moins structuré et cette formation a plutôt été utile pour revenir sur les objectifs, voire même sur la définition même du projet. Par exemple, une réflexion autour de la raison d’être de l’activité a été utile à certains et ne leur a donc pas permis de se projeter plus loin, dans la sélection d’indicateurs par exemple.

Ce constat autour du caractère hétérogène des projets a nécessité des réajustements. Il a ainsi été proposé aux bYfurkeur.euse.s un soutien plus personnalisé, sur des plages horaires plus étendues, pour pouvoir s’ajuster au mieux aux besoins de chacun et être dans une réelle démarche d’accompagnement des porteurs de projets, dans l’objectif qu’ils puissent ensuite plus facilement entrer dans un processus d’autonomisation sur la conscientisation de l’impact de leur projet.

Trois phases de bilan étaient prévues, une à 6 mois, une à 9 et une à 12 mois. La seconde a ainsi été transformée en séance de coaching individuel.

Nous pouvons faire l’hypothèse que cette difficulté d’appropriation de l’outil en tant que tel soit liée à une problème d’acculturation autour des démarches d’évaluation. Il est intéressant de relever également qu’il peut être contre-intuitif pour les porteurs de projets, animés par une volonté de transformation sociale positive de la société, d’identifier et de considérer les impacts négatifs de leur projet. Ce constat peut s’étendre à tout projet à vocation sociale et ne concerne pas uniquement les bYfurkeur.euse.s.

CONCLUSION

La mesure d'impact des bYfurkeurs est le point central du dispositif de financement triple, liée à l’ingénierie financière du projet. Elle entraîne des engagements multiples à l’égard de ses parties prenantes, avec un risque d'uniformisation à terme, à laquelle bYfurk s’oppose, en gardant l’objectif de se concentrer sur le soutien d’une économie vertueuse basée sur les rapports humains. Car le collectif reste soucieux, avant même de s’engager dans des mesures d'impacts complexes, de donner la priorité à faire émerger le projet des bYfurkeur.euse.s, à le rendre opérationnel et à permettre au bYfurkeur.se de pouvoir, à terme, obtenir un salaire sur la base de son projet.

Besoins pour cheminer vers un référentiel commun d’évaluation RTE France :

• Construire une culture commune dans l’association Zoein, se rencontrer, partager des retours d’expériences sur les réussites de chaque collectif d’expérimentation RTE en France,
• Se référer aux travaux de Sophie Swaton sur l’approche critique du revenu de base : pour, à titre d’exemple, montrer que l’inconditionnalité n’est pas adaptée : Démontrer et argumenter cela et le mettre en avant est crucial,
• Réfléchir à un tronc commun pour alimenter le plaidoyer commun du RTE,
• Questionner l’absence de mention à la dimension sociale du RTE,
• Ne pas proposer d’outil unique aux différents territoires,
• Impulser le fait que chaque structure évalue ses trois impacts (Social, sociétal, environnemental)

- baObab -

Située à Saint-Nazaire, baObab est une association qui se veut un “Pôle de Coopération” en cours de structuration dans la lignée des Coopératives de Transition Écologique (CTE). L’ambition de baObab est d’accompagner le développement d’écosystèmes coopératifs territorialisés pour créer des emplois durables, non délocalisables, et répondant à des enjeux écologiques et sociaux à l’échelle du bassin de vie de Saint-Nazaire.

Créée en 2020, avec une intégration dès 2022 au sein du réseau Zoein, l’association n’est pas encore engagée dans des pratiques d’évaluation de son dispositif. Elle s’intéresse néanmoins aux enjeux qu’une démarche d’évaluation soulève. Elle impulse en particulier des réflexions et des échanges pour aider le collectif d’acteurs de baObab à se saisir de cette question.

Entretien réalisé avec Emmanuel Nicoleau, délégué général de l’association Version actualisée le 31 mai 2024

VISION ET OBJECTIFS DE L'EVALUATION

Dans l’approche de baObab, fortement empreinte des préceptes de l'Économie de la Fonctionnalité et de la Coopération (EFC), l’évaluation met avant tout en valeur l’immatériel : “Une confiance, une pertinence, une connaissance”. C’est aussi une manière de s’accorder sur la valeur des choses, ce qui signifie que la démarche évaluative doit être partagée collectivement.

L’impact renvoie au progrès technologique, à la logique comptable, il fait référence à quelque chose de rapide, donc d’incompatible avec la mission de baObab : “C’est un mot que nous n’utilisons pas, on parle plus aisément  d’effet utile

“Si on révèle des sources de revenus s'appuyant sur autre chose que des volumes, dans un cadre d’écosystème coopératif, c'est notre vitrine, et c’est indispensable pour notre pérennité”

L’objectif de l’évaluation est de parvenir à révéler des éléments qui permettront de créer des sources de revenu pertinentes, de renforcer et de diversifier les revenus, pour les différentes parties prenantes embarquées : “L’évaluation sert directement à consolider le modèle économique des activités que nous inventons”.

Importante stratégiquement, l’évaluation des actions doit être engagée car le risque d'être cantonné à des indicateurs classiques, qui ne vont pas révéler le sens du projet, est considéré comme important. “La démarche d’évaluation est devenue indispensable pour mettre en lumière les petits effets systémiques positifs produits sur le territoire”.

“La mesure d'impact telle qu'elle est répandue n’est pas suffisante, nous avons besoin d'aller en profondeur pour témoigner de l’immatériel”

PRATIQUES, OUTILS, DISPOSITIFS D'ACTEURS

Le référentiel de l’Économie de la Fonctionnalité et de la Coopération est, pour l’association, un document cadre, “plus opérationnel que le RTE donc plus simple à s’approprier”. La méthode proposée est de l’ordre du témoignage, du récit. Elle consiste à réaliser des entretiens individuels et des entretiens collectifs de réflexion avec comme objectif d’amener à “prendre conscience des choses positives que le collectif est en train de produire”.

“Il faut montrer une autre voie possible : Pas techno-solutionniste qui ne reposerait pas sur l’individu”

Mais, pour l’heure, baObab n’a pas encore appliqué cette démarche, et n’opère donc pas encore de changement de pratique. Dans la conduite du projet associatif, l’équipe va engager des réajustements, effectués de manière informelle, mais qui ne font pas toujours l’objet de partage ou d’échange en collectif.

Les évaluations réalisées sont uniquement à vocation de démonstration externe, il s’agit de renseigner des chiffres sur les personnes accompagnées, et ce, à la demande des financeurs et sur la base de leurs critères propres. Elles n'illustrent pas le travail réalisé.

Dans l’association, les enjeux liés aux démarches d’évaluation ne sont pas forcément saisis, notamment car ils ne sont pas, à ce stade du projet, suffisamment évoqués en collectif. En effet, même si l’équipe est globalement assez disposée à travailler cette question, l’évaluation du dispositif ne fait pas partie des priorités ni de la culture interne. Or, la démarche doit être partagée et conscientisée et une réflexion doit s’engager ; C’est d’ailleurs pourquoi une des prochaines réunions internes sera dédiée à l’évaluation, avec l’objectif de réfléchir à la question : “Comment on apporte des preuves ?” Également, avec la mise en place d’un premier atelier réflexif pour tenter d’évaluer la manière dont les personnes bénévoles sont positionnées dans l’association, leurs attentes et ambitions, baObab participe à cette idée d’engager l’évaluation de ses actions.

Récemment, une sollicitation de fonds a été faite pour réaliser des capsules motion design afin de mieux saisir ce qui est réalisé chez baObab, en utilisant un format court avec des illustrations, car “savoir comment on restitue notre évaluation est une donnée clé”. La mise en récit, via une capsule vidéo, peut plus facilement illustrer de manière dynamique l’effet systémique local, répondant à la fois aux enjeux territoriaux, économiques et écologiques.

Ce qu'on a réussi à démontrer jusqu'à aujourd'hui :

• Rendre visible le travail de coopération sur le territoire, concrétisé par l’inscription rapide dans l’écosystème local : baObab est aujourd’hui située à la Maison de l’entreprise de Saint Nazaire, grâce au rayonnement de Zoein et à l’organisation du Coopér’action.

• Réussir à représenter des profils variés, des parcours professionnels différents, qui permettent de se nourrir mutuellement pour intégrer une diversité de milieux et une bonne articulation entre l’institutionnel et le monde du travail.

• Parvenir à proposer un projet audible et original grâce à une formation aux concepts associés est également une des réussites de baObab.

Ce qu'on cherche à améliorer :

• Proposer des séances d’évaluation avec les collectifs d'acteurs avec lesquels l'association travaille, ce qui n’a pas encore pu être réalisé, ce qui  n’a donc “pas permis de mettre en valeur le sens de notre accompagnement”. Car participer à l’évaluation des collectifs dans des dynamiques de coopération et entrepreneuriales est indispensable “pour les amener à comprendre que la valeur créée ensemble n’est pas où on l’imagine”. Parmi ces acteurs, dans le rapport aux entreprises, un des enjeux est de trouver comment créer des liens pour coopérer ensemble.

• Démontrer en quoi baObab se distingue des autres acteurs du réseau. Saint-Nazaire étant un territoire fertile en termes d’aide au montage de projets, l’aspect coopératif n’est pas spécifique à baObab, et “nous avons le sentiment d’avoir manqué de faire valoir la raison d’être de l’association”. Il y a nécessité d’impulser une dynamique de coopération, point d’accroche fondamental du dispositif, l’objectif étant de cheminer par la suite vers une logique servicielle, puis un revenu de transition écologique et enfin, vers une monnaie locale. La difficulté majeure réside dans le fait que “la coopération, chacun estime savoir comment on en fait alors que dans les faits ça n’est pas si simple”.

• Parvenir à se positionner sur la question du plaidoyer, en lien avec les enjeux soulevés par l’association, distincts de ceux de Saint-Nazaire, ville en situation de plein-emploi.

Illustration des dynamiques partenariales à l’œuvre dans la démarche d'évaluation du dispositif baObab

CONCLUSION

La culture de l’évaluation, qui prend source dans le socle théorique de l’EFC, s’est avérée utile pour le montage du projet en lui apportant une certaine légitimité, mais elle ne s’est pas intégrée en tant que telle dans les pratiques. Aujourd’hui, baObab réfléchit à s’engager dans des démarches d’évaluation plus formalisées, en s’appuyant sur le retour d’expérience et sur les outils de conception graphique pour les rendre visibles.

L’objectif de baObab est de démontrer la systémie locale créée pour répondre aux enjeux écologiques et favoriser une appropriation globale. Soumise à un enjeu de se distinguer des acteurs du territoire œuvrant également dans la coopération, et de faire communauté avec le réseau Zoein malgré des besoins de territoire différents sur la question de l’insertion professionnelle, baObab cherche un marquage de son identité et de sa spécificité, ce que l’évaluation de son activité et de celle des entrepreneurs qu’elle accompagne pourrait leur permettre d’affiner.

Besoins pour cheminer vers un référentiel commun :

• S’appuyer sur les retours d’expérience des autres territoires en termes de pratiques d’évaluation pour s’engager dans une démarche de co-construction au sein de l’association

- Tiers-Lab des Transitions et le LICA

Le LICA, Laboratoire d'Intelligence Collective et Artificielle est une société coopérative, SCOP, qui a pour vocation de faciliter et piloter les transformations sociétales à travers trois grandes thématiques : Climat et écologie, gouvernance et démocratie, travail et numérique.

En 2022, le LICA propulse la SCIC du Tiers-Lab des Transitions pour animer et prendre soin d’un espace de caractère situé dans le 4ème arrondissement de Marseille, en tant que lieu d’expérimentation de la coopération, en accord avec le 17e objectif de développement durable.

Il a vocation à créer un ancrage sur son territoire tout en développant un fort potentiel de réplicabilité à l’échelle régionale.  Mixant des usages et des populations, ouvert à tous, le Tiers-Lab s’intègre dans la dynamique de la ville de Marseille de s'appuyer sur des tiers-lieux dans différents quartiers pour déployer des projets d'innovation sociale et traiter les enjeux de la transition écologique. 

Le LICA et la SCIC Tiers-Lab des Transitions ont intégré le réseau Zoein en 2024 en amont du lancement d’une étude de préfiguration du RTE sur le territoire de Marseille. Les démarches d’évaluation du dispositif n’ont pas encore pu être entreprises mais l’équipe anticipe cette question, en lien avec les enjeux identifiés sur le territoire.

Entretiens réalisés avec Charles Talbot, cofondateur du LICA et sociétaire du Tiers-Lab et Laurent Boy, en charge des projets de l’ESS à la mairie de Marseille. Version actualisée du 31 mai 2024.

VISION, OBJECTIFS DE L'EVALUATION

L’évaluation représente, au Tiers-Lab, la capacité à rendre compte, à avoir des traces de ce qu'il se passe. Il est admis qu’elle puisse permettre un suivi tant quantitatif que qualitatif.

L’impact est un terme qui évoque “quelque chose de presque militaire, de violent, comme un choc. Il ne révèle pas les actions réalisées mais il est utilisé car il illustre un recensement de données, qui est important pour justifier l’effort”. La mesure d’impact va nécessiter une ingénierie financière pour mettre en récit des transitions, “tenter de savoir si notre action en vaut la peine, si l’impact est réel, et aussi de tenter de le qualifier : Impact économique ? Sur la biodiversité ? En termes de bilan carbone ? Ces questions nécessitent de démontrer l’impact du dispositif, sans oublier de considérer qu’il peut aussi y avoir des impacts négatifs”.

L’ambition est d’arriver à qualifier la sensibilité sur les sujets d’écologie dans un rapport culturel spécifique : “C’est une partie de nos besoins, on veut être acteurs de transition pas uniquement par la technologie mais par le volet social et culturel”.

PRATIQUES, OUTILS, DISPOSITIFS D’ACTEURS

Une évaluation a été enclenchée sur la SCIC Tiers Lab des transitions. Elle porte sur la fréquentation du public avec des critères socio-économiques demandés par le financeur. L’évaluation devra montrer l’utilité sociale, et “plus elle sera quantitative et qualitative mesurable plus on sera finançables”.

Pour tout ce qui est en lien avec la fréquentation du lieu, l’enjeu financier est important et il faut pouvoir démontrer les interactions avec le quartier, la participation à la réhabilitation du patrimoine, l’attention portée à la fréquentation et la mixité. De plus en plus, le lien avec les entreprises est également une réalité incontournable.

Il est important de comprendre que les critères d’évaluation vont traduire un choix de rejoindre certaines filières. Et en fonction des typologies de projets, qui sont très protéiformes, le Tiers-Lab doit pouvoir s’aligner sur les besoins des collectivités en se positionnant sur ces filières.

Un Hackathon a été lancé en février 2024 pour co-construire les modalités d’implantation du RTE sur le territoire. L'ensemble des partenaires ont été mobilisés pour engager une action de modélisation du RTE en format bottom up. La démarche consiste à recenser les acteurs en se plaçant dans une posture d’animation de la coopération, et en laissant émerger toutes sortes de sujets.

“Nos valeurs engagent notre capacité à faire intervenir le réseau comme accélérateur de la transition”.

En termes d’impact écologique, “nous sommes encore dans une considération assez vaste de ce que pourrait être le RTE. Toutefois, on s’est sensibilisés aux problématiques des acteurs de la transition dans deux filières : économie circulaire et bâtiment durable”.

C’est 10% du bassin de l’emploi marseillais qui est “contraint de changer face à la transition écologique”, alors, pour être dans une portée politique et financière il faut cerner ces emplois impactés : “Nous manquerons de réalisme si nous ne sommes pas dans une approche avec une vraie démarche d’accompagnement de la transformation du territoire, avec notamment un dispositif de reconversion des métiers”. La question étant celle du rythme auquel cela s’opère pour équilibrer ce qui disparaît et ce qui va émerger.

Dans une vision holistique, il faut regarder le tableau global de ce que signifie transformer l’économie locale, car sans vision juste le risque de manquer de crédibilité est réel.

Source : Mairie de marseille, Feuille de route 2023/2030  rapport éco 2023-2030-DEF.indd (marseille.fr)

Un élément fondamental à prendre en considération c’est le fait que : “Les collectivités sont positionnées sur des sujets spécifiques et elles évoluent dans un contexte fluctuant”.

Il est donc important d’être force de proposition dans les montages juridiques et financiers avec ces partenaires, et spécifiquement pour le secteur public en lui montrant qu’on arrive à travailler avec le privé.

Illustration des dynamiques partenariales à l’œuvre  dans la démarche du Tiers-Lab des Transitions

“Il est nécessaire pour nous de prouver qu’on sait mobiliser d’autres acteurs, travailler avec de l’argent, qu’on peut apporter des éléments mesurables dans un contexte d’intérêt général : Nombre de personnes formées, d’entreprises créées, tout ce qui peut être mis en comptabilité de  bilan carbone, etc.” (C. Talbot)

L’apport de Laurent Boy chef de projets ESS à la mairie de Marseille

Entretien mis à jour le 23 mai 2024

Ancien responsable animation de la Cress Sud, Laurent Boy est en poste depuis l’année dernière à la Ville de Marseille en tant que chef de projets filières stratégiques, économie sociale et solidaire, transition écologique. Il est l’interlocuteur de la Ville concernant tous les sujets d’économie sociale et solidaire et il a été impliqué dans l’étude de préfiguration du RTE sur le territoire de Marseille.

L’évaluation d’impact : Quelle vision pour quelles valeurs ?

L’évaluation consiste à “faire une photographie sur l’instant d’une situation insatisfaisante, à engager la capacité d’un dispositif à modifier cette situation et à réaliser un reporting suite à ce constat”.

L’impact va englober les externalités générées par le projet, il peut être autant négatif que positif. C’est la “capacité à faire bifurquer des parcours de vie ou à permettre des reconversions ou des revenus d’aide à l’emploi versés au crédit d'une communauté ou de l'intérêt général”.

Il y a certes un tropisme dans le terme impact, porté par le mouvement de l'entrepreneuriat social,  mais il est “plus défini que celui d’intérêt général”. C’est aussi un terme plus général qu’utilité sociale qui a des bornes juridiques, mais sans doute une portée plus forte.

Même s’il ne devrait pas y avoir de différence entre les attendus des financeurs et les besoins des acteurs de terrain, car les acteurs de l’ESS et les collectivités publiques sont censés avoir identifié les mêmes besoins, ils ne se rencontrent pas toujours.

Sur la question de l’impact, on déplore une vision plus court-termiste de la collectivité alors qu’il est justement question du temps long. Et il faut considérer également que les collectivités ont besoin de démonstration, donc parfois, sans que cela ne soit forcément exprimé, elles vont s’engager dans des actions dans un objectif de mise en visibilité.

Il est particulièrement important de mettre en lumière les valeurs qui se traduisent en actes dans les projets issus de l’ESS, en se concentrant sur la notion de démocratie qui est un apport important des entreprises de ce secteur : “Ce sont elles qui ont introduit la démocratie dans l’entreprenariat, et si cette capacité à faire société n’est pas nouvelle, elle est néanmoins moderne”.

L’évaluation : Quelles pratiques entre les acteurs ?

“Il est indispensable de sortir de la sacro-sainte évaluation quantitative mais les rares indicateurs dont on dispose ne le permettent pas forcément”

Pour valoriser les richesses non monétaires, les méthodes d’évaluation les plus pertinentes sont les coûts évités et les actes de facilitation avec lesquels il est également possible de faire bouger les lignes. Il pourrait ainsi être possible de s’inspirer du Medef et des liens d’affaires qu’il développe qui ont la capacité de générer de la coopération, créer des synergies, pour embaucher par exemple.

Il faut pouvoir questionner dans le dialogue de gestion en quoi le partenaire s’est impliqué, en dehors d’avoir participé au financement pour que le projet marche. Il s’agit d’inverser la charge de la preuve. L’ambition est de faire que la réussite ne dépende pas uniquement du financement.

Les facteurs de réussite généraux d’une démarche évaluative :

• L’intégrer dès le début du projet, systématiser le fait qu’elle soit externalisée, donc financée ;

• Etre en capacité à s’appuyer sur l’expertise d’usage des bénéficiaires ;

• Avoir pour bénéfice d’apporter un cadre sécurisant et gratifiant aux équipes en donnant de la visibilité quant à l'atterrissage des actions qu’elles conduisent, un sentiment de devoir accompli ;
• Faire de cette évaluation une démarche continue sans que ce soit lourd à porter

Pour aller plus loin, on peut réfléchir à impliquer la collectivité en tant que bénéficiaire pour mobiliser le RTE. Exemple : Un agent d’une collectivité évolue dans un métier comme la mécanique et la collectivité s’engage dans le passage à l'électrique, donc des besoins de soutien à ces reconversions émergent. Et l’acteur public peut devenir bénéficiaire direct du RTE en fournissant les marchés si on est en format CAE ou en mettant en place une politique RH pour le mobiliser.

“Pour conclure, les sacro-saints indicateurs d’emploi et de chiffre d’affaires sont à bousculer. Il est indispensable de créer ses propres indicateurs avant de se les faire imposer car les freins dans la lecture sont issus d’un héritage long, il y a une déformation professionnelle chez les agents et les élus qui se focalisent sur ces indicateurs-là”

CONCLUSION

Le Tiers-Lab est en phase d’émergence et n’a pas encore de soutien institutionnel solide en raison des jeux politiques cristallisants. Son positionnement se crée en lien avec ces dynamiques et l’engage à rester prudent dans le lancement de l’activité et dans sa communication. L’évaluation est pour le Tiers-Lab une opportunité de démontrer qu’ils considèrent et valorisent les spécificités du territoire notamment en termes de changements dans les typologies d’emploi.

Besoins pour cheminer vers un référentiel commun, par Charles Talbot

• Etre informé de ce qui se passe sur les autres territoires d’expérimentation, avoir accès à l’information et partager nos méthodes
• Considérer que chaque communauté a des spécificités et qu’il peut être préjudiciable d’appliquer un filtre générique à des besoins propres au territoire
• Appuyer sur la méthode pour obtenir des critères sur chaque territoire plutôt que se concentrer sur le résultat d'un ensemble de critères qui donnerait un inventaire pléthorique.
• Favoriser l’approche intellectuelle collective bottom up, en faisant remonter les besoins par les personnes qui les observent sur le terrain

Recommandations exprimées par Laurent Boy

• Faire cause commune sans être sclérosant pour ne pas freiner les success story. L’enjeu est de trouver bonne distance entre un socle commun nécessaire, des balises, un cheminement et un point de vue territorial à inventer.
• Proposer des comités de pilotage, comités techniques, visites de terrain pour que les acteurs locaux se sentent investis au même titre que les autres parties prenantes. Et qu’ils soient impliqués dès le début.
• Créer un exosquelette, un outil numérique pour faire du reporting, pour relever tout ce qui est inscrit à l'agenda. Il permettrait de comptabiliser les heures bénévoles, et générer des rapports automatiques notamment.

- TERA -

Située dans le Lot-et-Garonne, en Zone de Revitalisation Rurale, TERA expérimente le RTE depuis 2019.

L’écosystème TERA s’appuie sur 6 structures juridiques portant des fonctions différentes (foncier, exploitation, monnaie locale, fonds de dotation, animation de la coopération).  Cet écosystème vise à terme la distribution d'un revenu d'autonomie à partir des richesses créées.

Durant 2 ans (2020-2022), TERA a été accompagnée par Atemis, laboratoire d'intervention et de recherche sur l'économie de la fonctionnalité et de la coopération, pour mettre en place un dispositif d’évaluation intégrant, entre autres, la création d’un conseil scientifique. L’expérimentation d’une première forme de revenu d'autonomie avait ainsi fait l'objet d'une évaluation et des pratiques formalisées ont été maintenues jusqu’en 2023. Depuis peu, un travail de refonte dans la gouvernance pourrait permettre de réactiver ce processus d'évaluation.

Entretien avec Marie-Hélène Muller, présidente de Tera Version actualisée le 31 mai 2024

VISION ET OBJECTIFS DE L'ÉVALUATION

L’évaluation est une manière de rendre compte de résultats en les comparant avec les prévisions établies. Elle nécessite de s’attacher à comprendre le cheminement et à  s'intéresser aux difficultés rencontrées au cours du processus “pour parvenir à identifier les externalités positives (et négatives) plutôt que les imaginer”.

L’impact est l’effet, visé ou involontaire, que l’action va avoir sur des personnes, des situations et des écosystèmes. Dans l’écosystème TERA, ce terme n’est pas beaucoup employé : “On utilise “effet utile” ou “externalité positive et négative”, termes plus précis qui représentent des sous-catégories de l’impact”.

L’évaluation d’impact renvoie à deux objectifs :

• Elle donne des pistes d'amélioration continue en interne sur l’organisation et l’articulation du dispositif, en questionnant par exemple l’accompagnement des personnes ou la gestion du budget.
• Elle permet également de montrer l’intérêt aux partenaires en nourrissant le plaidoyer, afin de montrer les effets utiles que peut avoir le fait de rémunérer les personnes pour des services d’utilité sociale. Dans les rapports avec les institutions, par exemple, l’évaluation du dispositif légitime le soutien financier.

Une attention particulière doit être portée à l’intérêt des acteurs de l’écosystème. Il faut que la démarche d’évaluation réponde à leurs besoins, c’est pourquoi il faut questionner et partager en collectif le sens et l’utilité de la démarche, et mettre en débat les questions d’impacts du mode de vie et du travail, car c’est aussi cela qui donne du sens à l’engagement : “Il faut que l’évaluation aide les bénéficiaires à mieux comprendre le sens de ce qu’ils font”.

PRATIQUES, OUTILS, DISPOSITIFS D’ACTEURS

Démarches

Chez TERA, par le biais de Marie-Hélène, la culture de l’EFC est très présente. Un financement au moment du démarrage des activités économiques et productives de l’écosystème Tera  avait permis d’entreprendre une évaluation du premier revenu d’autonomie sous le prisme de l’EFC.

La démarche, réalisée avec le laboratoire Atemis, et entamée même avant le travail sur les revenus d’autonomie, comprenait des entretiens individuels qui ont permis d’identifier les champs qu’il était nécessaire d’évaluer. Des pratiques formalisées dans ce cadre se sont poursuivies jusqu’à début 2023. Elles ont permis :

• D’élargir la vision de l’évaluation, envisagée jusqu’alors uniquement dédiée au fait de rendre des comptes aux financeurs. La notion de régulation interne a pu être intégrée.
• De questionner l’appropriation collective d’une culture de l’évaluation.

Instances

Annuellement	L’assemblée générale de l’association	Travail de recueil des ressentis des membres qui pilotent le projet pour “mettre en parole des récits subjectifs”.
Ponctuellement	Les conseils scientifiques	Produire des documents à partir de feedback, réactions, avis, de personnes extérieures pour favoriser les croisements de regards.
Ponctuellement	Les Réunions retours d’expériences (REX)	Mieux comprendre le travail d’une équipe ou d’une personne et participer à la reconnaissance de l'efficacité des actions menées.
Ponctuellement	Les réunions d’évaluation	Évaluer un dispositif/une action (week-end découverte sur une année, revenus d’autonomie…) en écoutant les effets utiles, externalités positives et négatives, difficultés perçues par les acteurs conviés à la réunion.

Zoom sur les REX :

Un groupe de deux ou trois facilitateurs en capacité d’animer des REX a été constitué pour animer cette instance qui fait évoluer le cadre de travail en permettant de reconnaître, d'améliorer et de favoriser la coopération. Toutefois, Marie-Hélène partage un “sentiment qu’on ne sait pas très bien faire, ça manque de suivi et d'éléments de compréhension et on bloque sur la méthodologie pendant la réunion”. Malgré un sentiment de satisfaction immédiate, les problèmes reviennent par la suite. “Est-ce lié à la culture ? L’organisation ? La méthodologie du REX ?”

Outils

• Le carnet d’Atemis : Dans le cadre de l’accompagnement d’Atemis, une proposition d’utiliser un livret d'évaluation a été faite. Cet outil consiste à partir de signaux faibles relevés dans les actions afin de faire des hypothèses en réunion pour parvenir à interpréter un signal, relevant notamment de ressources immatérielles et de la qualité de la coopération. Ce livret a été utilisé les deux premières années (2017-2018), mais n’a pas réussi à être maintenu par la suite (problème de temps, et aussi de méthodologie pas suffisamment maîtrisée)

• Un formulaire ainsi qu’un tour de clôture sont proposés lors des week-ends découvertes, pour recueillir les ressentis des personnes en s’appuyant sur les interactions dans les groupes et les feedback du public. Un questionnaire a été élaboré accompagné d’un graphe radar : “Mais dans la pratique on le regardait peu et on s’est dit qu’en réalité ce qui nous importait dans cet outil ça n’était pas la note mais les avis, donc on l’a supprimé”.

• Le rapport d’activité, lors des assemblées générales, est un autre outil qui permet de pratiquer l’évaluation de nos actions.

“De la même manière, les partenaires envoient des signaux, formulent des indicateurs, des informations potentiellement très riches qu’on pourrait imaginer valoriser”

Exemples de réussites de pratiques évaluatives

• La soirée de célébration et d’expression de l’équipe de l’épicerie qui s’est appuyée sur la mise en lumière des talents de chacun et le partage des actions entreprises en collectif :

• • Permet de la reconnaissance individuelle et une évaluation du fonctionnement de l’équipe.

• Les entretiens avec les producteurs partenaires de l’épicerie sont des occasions de questionner les pratiques appréciées par chacun : Permet la satisfaction liée à la reconnaissance du travail

Dispositifs d'acteurs

Illustration des principales dynamiques partenariales à l’œuvre  dans la démarche d'évaluation du dispositif Tera

CONCLUSION

TERA a un fonctionnement basé sur la participation du collectif, et les pratiques d’évaluation s’organisent dans un cadre axé sur le partage et le portage des réussites et des échecs plutôt que sur l’évaluation d’impact, plutôt assignée à une dimension de rendre compte aux financeurs. Ce qui est évalué relève des relations humaines et de l’aspect relationnel,  très importants dans l’écosystème Tera.

La multiplicité des lieux et dispositifs rend complexe l’appréhension du champ de l’évaluation, ainsi que le manque d’appropriation collective du socle de connaissance existant et de formation à l’EFC. Il s’agirait de créer une alliance dans les intérêts en associant les expériences individuelles et collectives pour bénéficier à la structure et aux porteurs de projet.

Également, l’enjeu en termes de reconnaissance et de valorisation des membres actifs de l’écosystème Tera, qu’ils perçoivent un revenu de transition ou non, peut nécessiter de réfléchir à cette dimension de démonstration aux partenaires qui les soutiennent sur le territoire.

Besoins pour cheminer vers un référentiel commun :

• En clarification sur ce qui est RTE et ce qui est revenu d’autonomie pour rendre visibles les revenus d’autonomie en les présentant comme des porteurs de projets plutôt que comme bénéficiaires de subventions,

• Obtenir des retours digestes et facilement appropriables pour conforter et donner sens à l’activité des personnes, nourrir leur engagement

• S’intéresser à la façon dont les parties prenantes vont s’approprier la démarche, trouver un moyen pour que le fait de faire de l'évaluation apporte en soi déjà aux personnes concernées
• Arriver à un référentiel commun en laissant place à des spécificités, une forme de diversité dans les expérimentations.