Monographies

- Audyssées -

Située en Haute Vallée de l’Aude, la CTE Audyssées est une SCIC conventionnée depuis 2020. Elle est un centre de réflexion et d’incubation de projets éthiques et écologiques.

Son objet et son modèle économique sont entièrement dévoués à l'expérimentation du RTE, et liés à la mise en place d'un Territoire zéro Chômeur de Longue Durée (TZCLD).

Le dispositif a pour spécificité de reposer sur une convention avec le département qui permet à la CTE de compléter la rémunération des bénéficiaires du RSA avec le RTE.

La coopérative propose des cycles d’ingénierie de projet, qui comprennent plusieurs étapes distinctes : des Audyssées thématiques, des ateliers d'émergence de projets, et la mise en place de comités de pilotage pour aboutir au déploiement de projets de RTE. Le cycle ne contient pas de phase d’évaluation formalisée, mais il est question d’introduire un cadre qui le permette.

Entretiens réalisés avec Joëlle Chalavoux, Co-présidente, et Raphaël Soulier, coordinateur d’Audyssées. Version actualisée le 31 mai 2024.

VISION ET OBJECTIFS DE L'EVALUATION

Chez Audyssées, l’évaluation englobe un domaine vaste qui sert à mieux appréhender et à mesurer les effets d’une action. Dans la pratique, elle prend la forme d’un ensemble de critères regroupés dans des tableaux d’indicateurs permettant d’atteindre des objectifs.

L’impact est un terme qui est utilisé au sein de la CTE. Il renvoie à ce qui est “source de changement”. L’impact doit être visible, donc chiffrable ou établi sur la base de critères d’évaluation et doit se questionner à plusieurs moments afin d’observer une évolution, par exemple dans les relations interpersonnelles.

“On a collectivement à répondre à des enjeux avant même de parler de transition, et pour qu'on puisse tous parler de la même chose,  il faut des évaluations crédibles et communicables”

La démarche d’évaluation est considérée comme importante, notamment au moment de la phase de développement, pour prendre du recul et montrer aux partenaires l’utilité du projet. Elle est également utile pour l’amélioration continue du dispositif, afin de rester dans une approche d'expérimentation scientifique s'appuyant sur des données mesurables et comparables adaptées aux objectifs. Cette phase reste compliquée à appréhender, car l’évaluation d’impact se base sur les enjeux qui touchent les financeurs qui établissent eux-mêmes leurs critères. Il est d’ailleurs important de préciser qu’à la différence des financeurs, chez Audyssées : “Nous revendiquons un droit à l'échec, inhérent aux projets de transition. C’est une caractéristique que l’on omet trop souvent”.

En termes d’indicateurs d’impact, ce qui importe chez Audyssées est de démontrer la dynamique écologique territoriale, notamment l’attractivité du territoire, sa “capacité d’hospitalité”. Selon eux, il est possible de l’estimer en s’attachant, par exemple, à analyser le nombre de jeunes qui trouvent un travail qui fait sens pour eux. “L’indicateur de plaisir, la notion de réseau, le sentiment d’appartenance, ce sont ces évolutions que l’on tente de qualifier” : Au-delà de l’impact économique, l’impact social est intéressant à observer, et cela à deux niveaux : D’une part pour les RTE, et d’autre part, pour les équipes permanentes .

Un autre indicateur important concerne le fait de parvenir à faciliter la coopération, à dynamiser la filière d'acteurs économiques autour de la transition écologique. C’est la notion d’animation territoriale qui est  importante ici, dans laquelle la CTE a un rôle à jouer.

“Pour l’instant les évaluations sont “subies”. Mais, en prenant nos critères d'évaluation de projet, nous pourrions être dans l’analyse de l'opérationnel plus que dans des résultats”.

L’enjeu de l’évaluation est de parvenir à toucher la commande publique avec des demandes de prestation justifiées par la valeur apportée au territoire : Inverser la tendance en formulant une demande plutôt que répondre à un appel à projets. Des échanges ont débuté avec la communauté de communes sur ce qu'ils peuvent aller chercher en financement pour qu’Audyssées intervienne en prestation. Le Directeur Général des Services semble dans une démarche de coconstruction et une vision à long terme. On observe ici qu’une autre façon de gérer peut être acceptée. La vision de “citoyens experts” est entendue, et représente une option pour les collectivités qui sont confrontées à des difficultés auxquelles elles ne savent pas répondre. Aujourd’hui, on observe qu’elles commencent à s’engager dans d’autres réflexions : “C’est exactement ce que nous recherchons et qui nous permet d'intégrer les sphères de l'impact territorial, qui est notre objectif de départ”.

Depuis peu, Audyssées se relie au dispositif TZCLD sur le volet d’insertion professionnelle : l’impact du territoire pourra être évalué conjointement ou en parallèle, en combinant les effets observés dans le déploiement conjoint des deux dispositifs et leur imbrication.

PRATIQUES, OUTILS, DISPOSITIFS D'ACTEURS

Outils :

• Lors du montage du projet : Des fiches métiers avaient été rédigées et il pourrait être intéressant de les comparer avec ce qui est observé aujourd’hui pour identifier les écarts dans les estimations et les définitions. Cela pourrait être un indicateur intéressant pour réaliser en quoi ce qui avait été projeté s’est concrétisé dans la pratique ou non, et pourquoi.

• Au quotidien : Pour la gestion de la coopérative, ce sont les retours d’expériences qui sont favorisés, sans qu’il n’y ait de réels indicateurs ou quelconque formalisation. Des outils d'évaluation sont établis avec différents critères sociaux, économiques et environnementaux. Il font l'objet d'un travail de recadrage du processus de RTE. Cela se fait toujours de manière informelle.

• Au cours des ateliers d’émergence de projets : Un diagramme de Kiviat a été élaboré pour sélectionner les projets de RTE, sur la base de huit critères, pour visualiser les aspects positifs des projets et écarter les domaines non concernés, et questionner l’apport à l’économie locale et à la personne. Dans les faits il n’est pas utilisé, c’est par l’intelligence collective, sans cadre méthodologique que les décisions se prennent “selon les appétences de chacun”. Avançant sans méthodologie partagée, l’équipe est néanmoins parvenue à identifier que son besoin s’oriente vers une évaluation de la démarche plutôt que du résultat, ce qui importe est de comprendre par quel processus le dispositif peut se déployer et les conséquences générées.

Ce qui fonctionne :

• Les Audyssées mensuelles, et de manière générale les rencontres, les participations aux foires, et l’axe communication autour ces évènements qui est à soigner pour les rendre visibles. L’embauche d’un chargé de communication s’est avérée concluante, voire indispensable.

Ce qui peut être amélioré :

• Les cycles d'ingénierie de projets  doivent être réorganisés, notamment le format d’ateliers d’émergence, indépendant des audyssées thématiques avec des embryons de projets et des candidats au RTE et à la participation aux comités de pilotage indépendants.

“On est en recherche d’évaluation plus cadrée, il faut doubler, garder ce format et ajouter quelque chose qui nous dépasse, même si c’est de l’autoévaluation, pour se décentrer, nous permettre de sortir de nos œillères. Et pour nous évaluer nous-mêmes”.

[[Fichier:Illustration des principales dynamiques partenariales à l'œuvre dans la démarche d'évaluation du dispositif

Audyssées.png|vignette|431x431px|Illustration des principales dynamiques partenariales à l’œuvre  dans la démarche|néant]]

CONCLUSION

Chez Audyssées, l’équipe a démontré une capacité à proposer un système d’ingénierie et une mobilisation du territoire adaptés pour démontrer la plus-value du projet. Les pratiques évaluatives existent pour réfléchir aux pratiques et se réajuster si besoin, mais elles sont en cours de formalisation. La question du cadre posé par les personnes qui pilotent la coopérative est un enjeu important, car si l’aspect informel de certaines pratiques est revendiqué, l’expérience à démontré qu’il était nécessaire d’introduire un regard extérieur notamment par la mobilisation d’un conseil scientifique pour assurer une neutralité et introduire une certaine rigueur dans les cadres relationnels au sein du collectif, et ainsi éviter les difficultés dans la coordination interne de la coopérative.

Un lien entre le dispositif d’accompagnement et le dispositif de suivi et d’évaluation peut permettre, de l’identification des porteurs de projets à la qualification du projet, d’analyser les impacts et de les démontrer avec plus de cohérence.  C’est pourquoi l’introduction de l’axe évaluatif dans le cycle d’accompagnement des porteurs de projets fait partie des réflexions.

Besoins pour cheminer vers un référentiel commun :

• Déterminer une ligne directrice avec les mêmes questionnaires pour avoir un outil commun afin de favoriser la cohésion entre les différentes CTE
• Elaborer un budget contributif pour les gens qui participent à la démarche d’évaluation, pour créer des interactions sans verticalité
• Proposer une vraie expertise sur l’animation de la démarche et l’analyse des données, avec indépendance et neutralité, pour optimiser la compréhension des réponses et leur mise en application
• Impulser ce travail dès que possible, en 2025 au plus tard
• Faire valider par Sophie Swaton une définition commune du RTE. Notamment en réfléchissant à la façon dont le RTE peut être adaptable à des structures qui ne sont pas des CTE
• Réfléchir à l’institutionnalisation du RTE, pour le faire entrer dans le domaine public. Avoir des ambassadeurs régionaux, un véhicule régional qui anime différentes CTE par exemple, c'est-à-dire penser au format essaimage. L’évaluation peut aussi servir à considérer l’approche globale.
• Créer de la proximité, être dans la co-construction, sans lourdeur ou bureaucratie.

- Tilt -

TILT est une Société Coopérative d’intérêt Collectif (SCIC) à vocation Coopérative d’Activité et d’Emploi (CAE). C’est la première CTE du réseau Zoein. Elle héberge et accompagne des porteurs de projets, et constitue une alternative à la création d’entreprise individuelle.

Tilt a été accompagnée dès sa création en 2019 dans le cadre d’une mission de définition d’un dispositif de suivi et d’évaluation de la Coopérative Tilt et de l’expérimentation du RTE. La démarche d’évaluation a ainsi été initiée dans le cadre de la dynamique de coconstruction de la coopérative. Aujourd’hui, le stade de développement de la Coopérative lui permet d’envisager à déployer sur une stratégie d’évaluation et une gouvernance associée.

Entretiens réalisés avec Jean-Christophe Lipovac, à la direction de la Coopérative durant ses quatre premières années d'existence, Camille Frazzetta entrepreneure salariée engagée dès le lancement de la Coopérative, Isabelle Robert, chercheure, sociétaire et membre fondateur de la Coopérative. Version actualisée du 31 mai 2024

VISION, OBJECTIFS DE L'EVALUATION

L’évaluation est entendue chez Tilt comme un outil de gouvernance au service d’une démarche de progrès, dont les enjeux sont doubles :

• Soutenir les entrepreneurs dans leur démarche de questionnements et d’amélioration de leur projet entrepreneurial et dans la consolidation de leur modèle économique,

• Leur permettre une réflexion sur leur positionnement dans le monde professionnel en lien avec leur place dans la société, le sens de cette trajectoire choisie avec la prise en compte de ce qu’elle apporte et ce qu’elle coûte, et de permettre de tirer des enseignements sur l’aspect expérimental du RTE pour construire un modèle en lien avec des valeurs et des ambitions spécifiques identifiées.

L’Impact renvoie à l’idée d’essayer de voir les externalités négatives ou positives, en partant du postulat qu'”on ne connaît pas le but à atteindre au début du processus”. La coopérative Tilt adopte une posture de prise de recul, favorisant  un cadre de questionnements et de progrès. Terme moins jargonneux qu’externalités, le terme d’effets est préféré, il renvoie à quelque chose de plus accessible et palpable, les effets pouvant être négatifs ou positifs, anticipés ou non.

L’évaluation d’impact est en résumé un outil d'amélioration continue des actions entreprises au sein de la coopérative et de celles relatives aux projets économiques des entrepreneurs.

“S’engager dans une démarche d’évaluation, c’est se placer dans une posture modeste de croisement des regards pour mettre en lumière ce que l’on a fait qui n’avait pas été projeté initialement”.

PRATIQUES, OUTILS, DISPOSITIFS D’ACTEURS

Démarche

L’année de sa création, Tilt a été accompagnée pour réaliser l’évaluation du dispositif RTE. La démarche d’évaluation s’est donc déroulée en même temps que la phase opérationnelle et elle s’est ancrée dans une dynamique de co-construction de la coopérative avec ses parties prenantes : sociétaires, premiers porteurs de projets, partenaires de la Coopérative (CUD, Conseil Régional, ADEME, etc.).

Références

L’objectif de transformation sociétale dans lequel s’inscrit le projet a amené à un parti pris méthodologique en faveur de l’analyse de contribution. Cette approche vise à appliquer à l'évaluation d’impact les principes de l’évaluation basée sur la théorie du changement. Elle s’appuie sur les étapes identifiées dans la théorie du changement formulée par les parties prenantes elles-mêmes.

L’analyse de contribution cherche à comprendre pourquoi et comment une intervention a atteint les objectifs attendus, sans pour autant attribuer un résultat à l’intervention déployée, mais en cherchant à renforcer la confiance en la contribution apportée, entre autres facteurs de réussite. Ce socle théorique paraît le plus adapté à des projets expérimentaux et novateurs comme le RTE.

Intervenants

C’est le cabinet d'expertise Quadrant Conseil qui a formalisé la méthodologie et les outils de suivi et d’évaluation de la Coopérative. Le dispositif de suivi et évaluation s’est construit au tout début de la Coopérative. La pratique de ce dernier n’était pas encore très intuitive. Mais la méthode a été conçue de manière très participative, “en marchant”, avec un objectif d’appropriation par le collectif de la méthode et des outils. Les outils proposés ont bénéficié d’une période de test pour permettre leur bonne utilisation.

Proposition

Le travail qui a été mené a orienté sur le suivi et l’accompagnement des trajectoires des entrepreneurs. Aujourd’hui, sans chercher à connaître le nombre de clients ou le montant du chiffre d’affaires, il est important de s’attacher à observer l’évolution de la personne dans son environnement. Ce recueil n’est pas forcément formalisé, il apparaît dans les comptes-rendus de réunions mais ne fait pas l’objet d’un recensement.

L’outil des “entretiens-récits” qui ont été testés, mais qui n’ont pas été systématisés, doit amener un plus grand formalisme.

“Les temps de feedback, dans l’idéal, s’instaurent de manière assez légère dans la culture de travail, comme le tour de météo”. Cette culture a besoin de s’établir dans un contexte où l’on prend soin d’être dans une réflexivité sur soi et sur les dynamiques à l'œuvre dans le groupe”. Ce point reflète une différence majeure entre l’esprit de la coopérative et le monde de l’entreprise classique, dont les ambitions sont de travailler autrement et de promouvoir d’autres modes de vie. Le travail d’évaluation a permis de réfléchir à la définition d’espaces de dialogue et d’action au sein de la CTE.

Zoom sur ces espaces

La réunion cercle accompagnement, mensuelle, très opérationnelle, permet une prise de hauteur sur les pratiques, mais n’est pas suffisante. La réunion vie coopérative, où l’entrepreneur est questionné sur ses besoins non couverts et ce qui pourrait être développé. C’est l’approche servicielle qui est mise à l’honneur dans ces réunions. Avec mise en place de retours d'expérience et création d’espaces d’évaluation des entrepreneurs où on va chercher à savoir si les offres proposées correspondent aux besoins formulés et identifiés. Le cercle soin qui sert directement l'accompagnement des entrepreneurs. Parmi les objectifs poursuivis, il s’agit de trouver un alignement entre ses valeurs, son activité et le projet politique de Tilt et de s’y engager.  Autres fonctions du cercle : Poser comme un sujet de travail la qualité des relations,  favoriser l’inclusion au sein de Tilt, et par ailleurs réceptionner les tensions et conflits au sein de la coopérative et proposer des solutions de régulation, et encore prévenir l’épuisement. Le cercle recherche-action & évaluation/capitalisation, pour mettre en place les “entretiens-récits”, s’assurer que les porteurs de projets sont formés, systématiser et organiser une sorte d’université éphémère comme celles qui se sont déroulées en mai 2022 et qui avaient permis une mise en récit du travail engagé avec Quadrant Conseil et permis de partager et de clôre le travail réalisé.

Nos réussites et points d'amélioration

Ce qu'on a réussi :

A construire un vrai alignement entre les valeurs individuelles et collectives, dans le groupe, pour co-construire et s’approprier les échecs et réussites ensemble.

A instaurer des réunions vie coopérative pour créer une relation de confiance dans un espace où la parole est libre, dans lequel les entrepreneurs ont pu s’engager.

A mettre en place un cercle accompagnement et un cercle soin, entendu comme un espace de travail fédérateur.

Ce qu'on doit améliorer :

Le travail autour des “entretiens-récits” n’a pas été finalisé bien qu’il soit un élément central pour faire la preuve des multiples effets des projets individuels et de la coopérative, en particulier à l’échelle territoriale.

L’équipe partage la difficulté d'être une structure sans lieu unique de travail en commun, sans un ancrage physique qui permette de faire de l’informel, nécessaire pour partager des retours en temps réel.

Les dynamiques partenariales à l'œuvre

Illustration des dynamiques partenariales à l’œuvre  dans la démarche

L’apport d’Isabelle Robert, chercheure, membre sociétaire fondatrice, et qui accompagne ponctuellement les entrepreneurs de Tilt

Entretien mis à jour le 23 mai 2024

L’évaluation : Valeurs et vision

Il existe des écueils importants dans les démarches d’évaluation qu’on tente de standardiser à tout prix. Ces outils omettent les sciences sociales, ils sont développés par des ingénieurs, dans une logique cartésienne. Mais lorsqu’on les emploie, on ne se pose pas les bonnes questions, on met de côté beaucoup d'éléments qualitatifs car on évalue juste ce qui peut être évalué. On a construit des outils qui font émerger des éléments mesurables, mais dès qu’on choisit des métriques on occulte autre chose. Et bien que ces outils omettent l’aspect fondamental de la dimension humaine, ils sont beaucoup utilisés et ne font l’objet que de peu de critiques.

L’enjeu réside dans le fait de s'accorder en collectif pour savoir pour quoi on évalue et ne pas tomber dans le risque de faire un travail “facile” où on se replie sur certains indicateurs parce qu’on a accès aux informations nous permettant de la faire.

Illustration sur la base de la démarche d’évaluation d’un projet entrepreneurial : “On peut se réfugier derrière des indicateurs sur les entrants, sortants, mais ce dont on a besoin c’est de qualifier les externalités positives, et ça c’est très compliqué, ça se fait de manière longitudinale avec plein d’acteurs. Et il faut accepter qu’il restera tout de même un biais méthodologique”. En l’occurrence, il faut se concentrer sur les barrières invisibles du projet entrepreneurial, réfléchir à comment on évite de tomber dans l’élitisme, comment on crée de la mixité sociale. Mais les codes sociaux, le capital social ne sont pas quantifiables, alors on se concentre sur d’autres données.

Exemple avec les vêtements en matière de fast fashion : La métrique de référence c’est le poids des matières, ce qui est léger est moins impactant sur l’environnement, donc on va fabriquer des vêtements de plus en plus légers sans tenir compte du fait que ces vêtements vont durer moins longtemps. C’est à ce genre d’hérésie qu’on est confrontés.

Retour sur une méthode : L’analyse du cycle de vie

Parmi les méthodes d’évaluations qui sont plébiscitées par les financeurs, on retrouve l’analyse du cycle de vie, “méthode simple et presque magique, où il suffit de rentrer des données pour obtenir des résultats précis” permettant de déterminer les impacts environnementaux d’un produit, de l’extraction des matières à sa fin de vie. Pourtant, puisque cette méthode se cantonne à des outils basés sur la productivité, on ne sort pas de la logique de volume. On observe ainsi des situations où des chercheurs ayant réalisé une analyse du cycle de vie sur le pain, en arrivent à la conclusion qu’avec une méthode agroécologique exigeante on arrive au même résultat en termes d’impact qu’en fonctionnant en conventionnel. Des éléments fondamentaux comme la revitalisation du village n’étant pas pris en compte.

Mais malgré cela, ces outils se veulent rassurants, ils permettent un résultat communicable, et  on s’oriente même de plus en plus vers les ACV sociales, alors même que de nombreux exemples démontrent à quel point cet outil est totalement insuffisant et doit être complété par des outils qualitatifs ad hoc liés à des filières ou des territoires.

L’ACV territoriale est, quant à elle, plus adaptée pour réfléchir en quoi on peut construire un système d’acteurs, identifier les points positifs chez certains, pénaliser certains autres. Ce qui est intéressant c’est de comprendre comment évaluer la qualité des écosystèmes, évaluer les transferts de connaissances, les relations affectives.

Aujourd’hui, l'évaluation est devenue nécessaire pour que l’ESS prouve sa légitimité. Elle doit apporter des preuves pour être crédible. Car le problème est que les critères des acteurs financiers sont des critères de croissance et que le paradigme sociétal auquel l’ESS tend n’a pas les mêmes valeurs et croyances que celui dans lequel l’évaluation se réalise. Même les entreprises classiques sont rentables au bout de vingt ans (Vinted commence juste à l’être, Uber l’est depuis deux ans), donc un secteur qui expérimente beaucoup doit forcément être soutenu au niveau institutionnel pour être pris en considération.

Recommandations pour s’engager dans une démarche évaluative au sein du Réseau Zoein France

Les dispositifs innovants tels que la CTE Tilt inventent un autre paradigme sociétal mais reste pour le moment obligés de se conformer à certaines exigences pour pouvoir expérimenter, et notamment à se confronter à ces évaluations non pertinentes. Il est donc préférable de se conformer à ces injonctions en apportant quelques indicateurs clés pour donner satisfaction aux financeurs, tout en s’intéressant à comprendre comment on peut évaluer qualitativement sans s’enfermer dans des méthodes qui dépendent d’un paradigme vieillissant.

Il faut jouer avec le système dans le cadre de cette obligation à rendre des comptes, en se mobilisant dans des collectifs, et en identifiant les facteurs clés de succès, les freins et les leviers. Il s’agira alors de construire des dynamiques à partir des sphères fonctionnelles, et d’observer comment les acteurs peuvent se renforcer l’un l’autre grâce à la coopération.

Pour cela, la théorie des pratiques en sociologie peut être inspirante : S’arrêter sur une pratique, l’analyser, réfléchir aux normes sociales et croyances qui sont allouées à cette pratique, donne une vision beaucoup plus holistique de ce qui va marcher. C’est au final se demander comment changent les normes, comment on alloue les compétences pour pouvoir se les approprier.

On est dans un jeu de pouvoir, il faut pouvoir jouer sur la durabilité émotionnelle, restreindre l’offre en arrêtant la nouveauté. Dans les circuits courts du secteur textile, beaucoup de petites entreprises bougent et sont écoutées. Pour soutenir le secteur de l’ESS il faudrait que les expérimentations puissent être exposées, visibilisées, pour insuffler des idées sur une façon d’agir différente.

CONCLUSION

Chez Tilt, “l’évaluation fait partie intégrante du dispositif, au même titre que les autres actions mises en œuvre, car elle permet aux différents acteurs d’apprendre au fur et à mesure de sa mise en œuvre, et de modifier la façon dont ils considèrent le problème à traiter et envisagent les solutions”.

En tant que CAE qui accompagne à l’entreprenariat écologique, elle a vocation à soutenir les projets dans leurs démarches entrepreneuriales soutenables, donc d’aider les entrepreneurs à analyser les effets de leur activité.

La dynamique créée par cette démarche d'évaluation-suivi a permis de mettre en place des instances et des espaces qui favorisent les échanges et retours d’expérience, ce qui influence positivement la dynamique collective.

Malgré l’engagement de l’équipe dans l'expérimentation proposée par quadrant Conseil, les entretiens-récits, élément essentiel de la démarche, n’ont pu être mis en œuvre, et aujourd’hui, avec le niveau de maturité du projet et la stabilité financière qui s’établit, la CTE  a structuré un cercle d'accompagnement et désire approfondir le développement et l’ancrage d’outils dans ses pratiques. L’équipe témoigne également de sa volonté de structurer un cercle recherche-action pour faire lien avec le travail sur l’évaluation des pratiques.

Besoins pour cheminer vers un référentiel commun :

• Prendre soin du vocabulaire, pour montrer notre approche et créer une communauté pour éviter la récupération et créer notre identité
• Être en prise avec la réalité des structures, en émergence notamment, et imaginer des choses à la hauteur des moyens en temps et compétences dont on dispose, de ne pas accoucher d’un résultat trop ambitieux qu’on ne sait pas mener
• Se poser la question de : Qu’est ce qu’on en fait ? Comment va nous nourrir ce travail dans nos pratiques ? Nourrir la relation avec les partenaires ? Comment il nous fédère ? Car le risque de produire un rapport qu’on n'utilise pas est réel
• Envisager de faire du processus d’évaluation un enjeu de montée en compétences de la dynamique collective

- PTCE pays de France -

Le PTCE du Pays de France est une association née de la volonté de  faire émerger une coopération d'acteurs économiques du territoire du Pays de France sur les questions d'agriculture biologique pour faciliter l’accès à une alimentation saine et accessible et favoriser la démocratie alimentaire.

Le projet PTCE Pays de France est un des fruits de la dynamique CARMA initiée sur le triangle de Gonesse contre le projet EuropaPark.  L’association du PTCE s’inscrit ainsi dans la perspective d’une CTE en vue d’expérimenter des revenus associés. L’association qui porte le PTCE bénéficie d’un accompagnement dans le cadre du projet Coop’ter (Territoires de Services et de Coopérations). C’est dans ce contexte que l’association souhaite engager une réflexion sur l’évaluation du processus d’émergence et des premières actions menées.

Entretien réalisé avec Dominique Picard, présidente de l’association PTCE Pays de France et de l’association Carma. Version actualisée du 31 mai 2024

VISION, OBJECTIFS DE L'ÉVALUATION

Au sein de l’expérimentation PTCE Pays de France, l’évaluation est vue comme une façon de mesurer la vraie richesse, celle qui correspond aux “forces de vie nécessaires dans la création d’un projet collectif”.

L’impact correspond à ce qui marque, il représente un résultat et permet de cerner un taux d’estimation de ce qui est réalisé. Un de ses paramètres est particulièrement important : Il se recherche à plusieurs stades du projet sinon il ne peut pas être révélateur des actions et des effets.

“L’impact se caractérise forcément  grâce au témoignage, car personne n’est mieux placé que le bénéficiaire pour identifier l’apport du projet”

L’association PTCE Pays de France provenant d’une expérimentation issue d’une recherche-action menée sur le sujet de la lutte contre la précarité alimentaire, elle s’est construite sur la base d’un diagnostic de territoire. L’association s’est d’abord faite connaître avant de s’implanter au sein d’un tiers lieu nourricier, aboutissement de cette approche engagée sur le terrain. La démarche d’identification des besoins de la population locale sur laquelle s’est construit le projet a permis le soutien de la ville de Goussainville, depuis attentive à son développement.

L’association bénéficie d’un accompagnement dans le cadre du projet Coop’ter (Territoires de Services et de Coopérations), programme en faveur de la transition économique, sociale et soutenable des entreprises et des territoires, piloté par l’ADEME et conduit en partenariat avec le laboratoire ATEMIS. Dans le cadre de cet accompagnement, l’association projette de s’engager dans un travail qui vise à faire prévaloir auprès des partenaires, le fait de cofinancer un poste de chargé de développement. C’est dans ce contexte que l’association souhaite engager une réflexion sur l’évaluation et la communication autour de son projet. En parallèle à cette phase d’évaluation, elle s’engage dans l’étape de la capitalisation et de partage d’expérience qui participent également au processus d’évaluation du dispositif.

PRATIQUES, OUTILS, DISPOSITIFS D’ACTEURS

• Le financement de Coop’ter s’achèvera en fin d’année 2024 et la réflexion autour de l’enjeu de témoigner de la valeur créée pour qu'un poste soit financé est plus que jamais à l’ordre du jour. Dans l’idéal, pouvoir le financer sur les deux prochaines années pour avoir une certaine garantie de la pérennité de la démarche.

Retour sur les démarches engagées dans le cadre de l’accompagnement de Coop’ter :

Le PTCE finalise actuellement le rapport de la première phase et va s’engager dans une seconde période de deux ans qui devrait commencer à la rentrée 2024.

Des visites ont été organisées avec accueil d'un groupe de porteurs de projets intéressés par les activités du PTCE Pays de France. L'objectif est d'explorer le développement de projets en accord avec l'Économie de la Fonctionnalité et de la Coopération (EFC) sur la précarité alimentaire.

À Sevran, un intérêt a été exprimé pour adopter une approche similaire de lutte contre la précarité alimentaire, il est question d’expérimenter un chèque alimentaire que le conseil départemental veut tester sur quatre villes.

Actuellement deux étudiantes en stage et la salariée de l’association sont engagées dans un travail d’élaboration d’indicateurs pour justifier l’apport financier à pour ce projet.

• Plusieurs partenaires proposent des espaces de dialogue et de retour d’expériences : La Fondation Crédit Coopératif essaie d’organiser des temps de regroupement précieux qui témoignent de son engagement dans le projet, mais le manque de moyens empêche la chargée de développement de s’y engager.

Fondation Crédit Coopératif (credit-cooperatif.coop)

Enjeux spécifiques au projet PTCE Pays de France

• Pour obtenir le soutien de partenaires : Réaliser un “travail sur les termes de la coopération : Au service de tout le monde et surtout au bénéfice du territoire [...] C’est par la confiance qu’on peut construire, en ayant considéré les contraintes des uns et des autres”. Cela signifie aussi développer ensemble la mutualisation : Avec le Conseil scientifique, grâce à des moyens locaux, ou dans le cadre d’appels à communs.

• Pour valoriser les dynamiques relationnelles : La question de la monnaie-temps s’impose de plus en plus comme moyen de rétribuer les bénévoles habitants et de “valoriser la façon de prendre soin des autres, de reconnaître leur valeur pour essayer de faire ensemble”. Le dispositif n’étant pas créateur d'emplois rémunérés, l’enjeu est de “trouver un équilibre entre ce qui est produit par les forces citoyennes et la relation partenariale avec les financeurs publics”. Au-delà des questions de précarité alimentaire, le projet est un projet qui englobe une vocation sociale majeure qui peut être valorisée auprès de financeurs.

• Pour aller plus loin dans la formation du PTCE, en mobilisant dans la durée les capacités, il est important de travailler sur les termes de la coopération et travailler l’inscription dans le temps. Cela doit passer par une étape de communication autour des effets produits sur l’écosystème.

Illustration des principales dynamiques partenariales à l’œuvre  dans la démarche d'évaluation du dispositif PTCE pays de France

CONCLUSION

Dans le cadre de l’accompagnement proposé par Coop’ter, l'association PTCE Pays de France s’engage dans l’évaluation de son dispositif. Avec un public bénéficiaire combinant diverses difficultés, l’enjeu majeur est de parvenir à s’appuyer sur les retours d’expériences de ce public, considérés comme relevant de la seule approche pertinente, afin de valoriser le capital humain et social développé grâce au projet.

Besoins pour cheminer vers un référentiel commun :

• Valoriser le travail bénévole par la redéfinition du RTE sur la question de la création d’emplois rémunérés,
• Réfléchir à la meilleure façon de rendre compte du mieux-être, du mieux-vivre, et de l’implication des personnes,
• Questionner la façon de faire lien avec certains partenaires tels les clubs régionaux de l’EFC, le club des jeunes dirigeants, la CRESS, le Labo de l’ESS. Le lien entre l’Adème et le PTCE,
• Travailler à la recherche de compromis, et lever les représentations sur les désaccords en lien avec l’idée des “désaccords féconds” (Patrick Viveret),
• Prendre le temps de comprendre les mots qu’on emploie.

Pour aller plus loin :

Compte-rendu interne reprenant l’état d’avancement du projet : Actualités PTCE Pays de France.docx - Docs (infomaniak.com)

- bYfurk -

Dynamique située à Strasbourg, portée par la SCIC Cooproduction.

Co-fondateurs :  Philippe Kuhn, Somack Limphakdy, Stéphane Bossuet.

Raison d’être : “Chez Byfurk, nous imaginons, concevons et diffusons des modèles économiques pour celles et ceux qui veulent œuvrer pour les transitions écologiques, sociétales, et personnelles et ainsi construire un avenir durable, fraternel et joyeux !”

Inaugurée le 1er décembre 2023, la dynamique bYfurk, soutenue par l’Eurométropole de Strasbourg, propose aux bYfurkeurs dans le cadre de leur développement d’activités économiques un accompagnement et l’accès à un financement triple (Public, privé, citoyen) pour permettre la mise en œuvre de leur projet économique de transition. L’évaluation de l’impact des projets soutenus fait partie intégrante du dispositif. La démarche évaluative au sein de bYfurk a été engagée dès le lancement de la dynamique.

Entretiens réalisés avec Philippe Kuhn, directeur, Somhack Limphakdy, chercheure, et Océane Puech, directrice du cabinet Greenscale. Version actualisée du 31 mai 2024.

VISION, OBJECTIFS DE L'ÉVALUATION

Chez bYfurk, l’évaluation est considérée comme une phase de travail comprenant des objectifs ciblés, “une tentative de mesurer les effets des actions” et de pouvoir les quantifier, les qualifier, pour les comparer avec les prévisionnels financiers. Elle permet de “prendre une photo d’une trajectoire, et surtout de définir la qualité de la démarche”. Au sein de la structure est défendue l’idée que les projets de transition nécessitent de prendre le temps de questionner, de manière automatique, l’amélioration de l’impact de son activité, en se concentrant sur les impacts positifs, et de prendre en compte également les effets indésirables.

En termes d’impact ce qui est mis en avant par la CTE ce sont les effets sur trois champs : écologique, social et sociétal.

PRATIQUES, OUTILS, DISPOSITIFS D’ACTEURS

Outils

Chez bYfurk, l’évaluation est un élément majeur du dispositif. Elle s’enclenche dès le lancement du parcours d’accompagnement des bYfurkeurs. Des outils ont été créés et proposés pour attester, auprès des entrepreneurs, de l’intérêt d'avoir une réflexion sur la valeur que leur activité produit sur le territoire.

“C’est surtout la qualité réflexive autour de ces processus d'évaluation qui est fondamentale, au-delà des outils employés”

QUELS OUTILS ?	POUR QUI ?	PAR QUI ?	POUR QUOI ?	A QUELLE ÉTAPE ?
Questionnaire d’entrée	Porteurs de projets	bYfurk	- Promouvoir l’importance de l’évaluation d’impact dans le dispositif - Questionner l’implication de l’entrepreneur à la question de l’impact	Lorsque le bYfurkeur intègre le dispositif
Carnet d’impact	Porteurs de projets	Le cabinet Greenscale porté par l'association Indicateurs prédéfinis par Greenscale	Aider les bYfurkeurs à identifier et qualifier les impacts de leur projet	Lorsque le bYfurkeur intègre le dispositif
Carnet de bord	Dynamique bYfurk	Le cabinet Ellyx,  l’Eurométropole de Strasbourg (Dispositif 100% apprenant) Souhait de la collectivité de définir des critères communs à toutes les structures	Évaluer l’impact de l’accompagnement proposé aux bYfurkeurs	A destination des personnes qui pilotent la dynamique bYfurk

Instance dédiées

• Il n’existe pas, chez bYfurk, d’espaces dédiés aux pratiques d’évaluation, malgré un besoin de transparence partagé. Les réajustements sur les pratiques et réflexions autour des décisions prises se font de manière non formelle. Via notamment un groupe Whatsapp, les porteurs de projet sont invité.e.s à participer en commun à l’évaluation de la conduite de la coopérative, à échanger sur des questions et avancées sur la base des informations remontées par les un.e.s et les autres.

• Un comité “go no go” a débuté avec l’Eurométropole et les mentors d’entreprise, équivalent à un comité d'engagement : Instance de décision où les acteurs en présence interviennent pour donner leur aval ou non au financement d’un projet. Les décisions se prennent sur la base de critères propres à chacun.e. L’équipe de bYfurk souhaite que les bYfurkeur.euse.s puissent participer activement à cette réunion et soit force de propositions.

Illustration des dynamiques partenariales à l’œuvre  dans la démarche d'évaluation du dispositif bYfurk

L’avis d’Océane Puech, directrice de Greenscale

Entretien mis à jour le 21 juin 2024

L'évaluation d’impact : Approche de Greenscale

L’évaluation chez Greenscale renvoie à l’anticipation et la vérification d’impacts positifs et négatifs liés à un projet défini : Impacts sur l’environnement et la société, et également à destination du porteur de projet.

L’impact peut se définir par les aspects transformatifs recherchés, auxquels vont s’ajouter d’autres effets non anticipés, révélés pendant le déploiement du projet. Faire de l’évaluation d’impact signifie  s’engager dans une logique holistique.

“Des projets transformatifs sont des projets nécessaires à la société de demain, qui changent la société et l’évaluation doit permettre de vérifier que les fonds, l’aide, et l’attention apportent cette transformation”.

Méthodologie proposée à bYfurk

Le travail engagé avec bYfurk est une travail d’évaluation d’impact qui s’inscrit dans une logique d’amélioration continue avec une spécificité qui est une redevabilité forte à l’égard des financeurs, liée au système de financement triple, et, de manière globale, à une volonté marquée de communication sur le projet bYfurk dans un objectif de rayonnement.

L'évaluation d’impact telle qu’elle est proposée par Greenscale est donc tant dans une démarche progrès des projets que dans une dimension de rendre compte aux financeurs.

La plus value du modèle élaboré par Greenscale concerne le fait de croiser les aspects négatifs et les effets positifs du projet et de faire la différenciation entre ces deux aspects.

Le bYfurkeur est ainsi amené à rechercher les impacts négatifs de son projet, comprendre et mettre en place des actions réductrices / correctrices.

Il se concentre en parallèle sur les impacts transformateurs : À partir d’une démarche préalable de recherche du problème à résoudre, de la transformation à apporter et de l'offre proposée pour obtenir cette transformation, l'évaluation des impacts transformateurs permet de vérifier qu'ils produisent les effets escomptés sur leurs bénéficiaires, à identifier les leviers de transformation et les bénéfices sociaux, environnementaux et sociétaux, donc les effets à maximiser.

“Il a fallu proposer un outil d’évaluation échelonné, ce qu’on fait quand on ne peut pas récupérer des indicateurs identiques, et pour les outils utilisés, l’équipe de Greenscale s’est basée sur un fonctionnement type entreprise à mission”. Le carnet d’impact est équivalent à un business model étendu de l’activité. Cela se justifie par le besoin de démonstration aux financeurs : C’est un outil pour répondre à leurs attentes sans forcément tout prévoir avec certitude. Il s’agit plutôt de donner des hypothèses : “Il est important de considérer le fait qu’il ne peut pas y avoir d’estimations très fiables à ce stade du projet  et l’impact ne peut être que présupposé”, c’est pourquoi les indicateurs doivent suivre l’activité sur le long terme.

Ce modèle d’évaluation porté par Greenscale a un aspect structurant marqué par une construction autour de différents indicateurs définis, que les porteurs de projets sélectionnent en fonction de leur activité.

Les étapes de la démarche :

1. entretien entre les porteurs de projet et Greenscale -> Greenscale revoie les pages Diagnostic -> conseils sur les éléments à creuser ou développer
2. bYfurk envoie son carnet d'impact complet
3. Greenscale l'analyse sur la base du modèle d'évaluation -> bYfurk obtient une "fiche projet"
4. bYfurk obtient une "Fiche promotion", consolidation

Il est intéressant de questionner les limites de ce modèle pour en saisir toutes les composantes. Océane les a identifiées : “Dans la diversité des projets qui sont présentés chez bYfurk, il a fallu composer en déterminant un modèle qui fonctionne avec tous”. Il a donc fallu considérer le fait que cette pluralité de projets ne permettait pas de comparer les grilles d’évaluation des projets entre elles et on doit réaliser une grille par projet. Ainsi il ne sera pas possible d’élaborer des notations ou des classements, “mais cette diversité permettra toutefois une consolidation des projets par promotion de bYfurkeur.euse.s qui sera valorisable au niveau de bYfurk”.

Mise en application du modèle

La méthodologie en lien avec ce dispositif d’accompagnement, expliquée pendant une journée de formation proposée à tous les bYfurkeur.euse.s, a permis à chacun de prendre le temps de questionner les impacts des projets. Cette journée a été l’occasion de revenir sur certains concepts, de faire des exercices de mise en pratique en binôme, de mettre en commun pour s’inspirer mutuellement, dans l’idée de clôturer la formation avec une réussite, par exemple en réalisant une cartographie des parties prenantes.

Certains avaient une très bonne maturité et les porteurs de projets se saisissaient des outils facilement, pour certains autres, le projet était moins structuré et cette formation a plutôt été utile pour revenir sur les objectifs, voire même sur la définition même du projet. Par exemple, une réflexion autour de la raison d’être de l’activité a été utile à certains et ne leur a donc pas permis de se projeter plus loin, dans la sélection d’indicateurs par exemple.

Ce constat autour du caractère hétérogène des projets a nécessité des réajustements. Il a ainsi été proposé aux bYfurkeur.euse.s un soutien plus personnalisé, sur des plages horaires plus étendues, pour pouvoir s’ajuster au mieux aux besoins de chacun et être dans une réelle démarche d’accompagnement des porteurs de projets, dans l’objectif qu’ils puissent ensuite plus facilement entrer dans un processus d’autonomisation sur la conscientisation de l’impact de leur projet.

Trois phases de bilan étaient prévues, une à 6 mois, une à 9 et une à 12 mois. La seconde a ainsi été transformée en séance de coaching individuel.

Nous pouvons faire l’hypothèse que cette difficulté d’appropriation de l’outil en tant que tel soit liée à une problème d’acculturation autour des démarches d’évaluation. Il est intéressant de relever également qu’il peut être contre-intuitif pour les porteurs de projets, animés par une volonté de transformation sociale positive de la société, d’identifier et de considérer les impacts négatifs de leur projet. Ce constat peut s’étendre à tout projet à vocation sociale et ne concerne pas uniquement les bYfurkeur.euse.s.

CONCLUSION

La mesure d'impact des bYfurkeurs est le point central du dispositif de financement triple, liée à l’ingénierie financière du projet. Elle entraîne des engagements multiples à l’égard de ses parties prenantes, avec un risque d'uniformisation à terme, à laquelle bYfurk s’oppose, en gardant l’objectif de se concentrer sur le soutien d’une économie vertueuse basée sur les rapports humains. Car le collectif reste soucieux, avant même de s’engager dans des mesures d'impacts complexes, de donner la priorité à faire émerger le projet des bYfurkeur.euse.s, à le rendre opérationnel et à permettre au bYfurkeur.se de pouvoir, à terme, obtenir un salaire sur la base de son projet.

Besoins pour cheminer vers un référentiel commun d’évaluation RTE France :

• Construire une culture commune dans l’association Zoein, se rencontrer, partager des retours d’expériences sur les réussites de chaque collectif d’expérimentation RTE en France,
• Se référer aux travaux de Sophie Swaton sur l’approche critique du revenu de base : pour, à titre d’exemple, montrer que l’inconditionnalité n’est pas adaptée : Démontrer et argumenter cela et le mettre en avant est crucial,
• Réfléchir à un tronc commun pour alimenter le plaidoyer commun du RTE,
• Questionner l’absence de mention à la dimension sociale du RTE,
• Ne pas proposer d’outil unique aux différents territoires,
• Impulser le fait que chaque structure évalue ses trois impacts (Social, sociétal, environnemental)

- baObab -

Située à Saint-Nazaire, baObab est une association qui se veut un “Pôle de Coopération” en cours de structuration dans la lignée des Coopératives de Transition Écologique (CTE). L’ambition de baObab est d’accompagner le développement d’écosystèmes coopératifs territorialisés pour créer des emplois durables, non délocalisables, et répondant à des enjeux écologiques et sociaux à l’échelle du bassin de vie de Saint-Nazaire.

Créée en 2020, avec une intégration dès 2022 au sein du réseau Zoein, l’association n’est pas encore engagée dans des pratiques d’évaluation de son dispositif. Elle s’intéresse néanmoins aux enjeux qu’une démarche d’évaluation soulève. Elle impulse en particulier des réflexions et des échanges pour aider le collectif d’acteurs de baObab à se saisir de cette question.

Entretien réalisé avec Emmanuel Nicoleau, délégué général de l’association Version actualisée le 31 mai 2024

VISION ET OBJECTIFS DE L'EVALUATION

Dans l’approche de baObab, fortement empreinte des préceptes de l'Économie de la Fonctionnalité et de la Coopération (EFC), l’évaluation met avant tout en valeur l’immatériel : “Une confiance, une pertinence, une connaissance”. C’est aussi une manière de s’accorder sur la valeur des choses, ce qui signifie que la démarche évaluative doit être partagée collectivement.

L’impact renvoie au progrès technologique, à la logique comptable, il fait référence à quelque chose de rapide, donc d’incompatible avec la mission de baObab : “C’est un mot que nous n’utilisons pas, on parle plus aisément  d’effet utile

“Si on révèle des sources de revenus s'appuyant sur autre chose que des volumes, dans un cadre d’écosystème coopératif, c'est notre vitrine, et c’est indispensable pour notre pérennité”

L’objectif de l’évaluation est de parvenir à révéler des éléments qui permettront de créer des sources de revenu pertinentes, de renforcer et de diversifier les revenus, pour les différentes parties prenantes embarquées : “L’évaluation sert directement à consolider le modèle économique des activités que nous inventons”.

Importante stratégiquement, l’évaluation des actions doit être engagée car le risque d'être cantonné à des indicateurs classiques, qui ne vont pas révéler le sens du projet, est considéré comme important. “La démarche d’évaluation est devenue indispensable pour mettre en lumière les petits effets systémiques positifs produits sur le territoire”.

“La mesure d'impact telle qu'elle est répandue n’est pas suffisante, nous avons besoin d'aller en profondeur pour témoigner de l’immatériel”

PRATIQUES, OUTILS, DISPOSITIFS D'ACTEURS

Le référentiel de l’Économie de la Fonctionnalité et de la Coopération est, pour l’association, un document cadre, “plus opérationnel que le RTE donc plus simple à s’approprier”. La méthode proposée est de l’ordre du témoignage, du récit. Elle consiste à réaliser des entretiens individuels et des entretiens collectifs de réflexion avec comme objectif d’amener à “prendre conscience des choses positives que le collectif est en train de produire”.

“Il faut montrer une autre voie possible : Pas techno-solutionniste qui ne reposerait pas sur l’individu”

Mais, pour l’heure, baObab n’a pas encore appliqué cette démarche, et n’opère donc pas encore de changement de pratique. Dans la conduite du projet associatif, l’équipe va engager des réajustements, effectués de manière informelle, mais qui ne font pas toujours l’objet de partage ou d’échange en collectif.

Les évaluations réalisées sont uniquement à vocation de démonstration externe, il s’agit de renseigner des chiffres sur les personnes accompagnées, et ce, à la demande des financeurs et sur la base de leurs critères propres. Elles n'illustrent pas le travail réalisé.

Dans l’association, les enjeux liés aux démarches d’évaluation ne sont pas forcément saisis, notamment car ils ne sont pas, à ce stade du projet, suffisamment évoqués en collectif. En effet, même si l’équipe est globalement assez disposée à travailler cette question, l’évaluation du dispositif ne fait pas partie des priorités ni de la culture interne. Or, la démarche doit être partagée et conscientisée et une réflexion doit s’engager ; C’est d’ailleurs pourquoi une des prochaines réunions internes sera dédiée à l’évaluation, avec l’objectif de réfléchir à la question : “Comment on apporte des preuves ?” Également, avec la mise en place d’un premier atelier réflexif pour tenter d’évaluer la manière dont les personnes bénévoles sont positionnées dans l’association, leurs attentes et ambitions, baObab participe à cette idée d’engager l’évaluation de ses actions.

Récemment, une sollicitation de fonds a été faite pour réaliser des capsules motion design afin de mieux saisir ce qui est réalisé chez baObab, en utilisant un format court avec des illustrations, car “savoir comment on restitue notre évaluation est une donnée clé”. La mise en récit, via une capsule vidéo, peut plus facilement illustrer de manière dynamique l’effet systémique local, répondant à la fois aux enjeux territoriaux, économiques et écologiques.

Ce qu'on a réussi à démontrer jusqu'à aujourd'hui :

• Rendre visible le travail de coopération sur le territoire, concrétisé par l’inscription rapide dans l’écosystème local : baObab est aujourd’hui située à la Maison de l’entreprise de Saint Nazaire, grâce au rayonnement de Zoein et à l’organisation du Coopér’action.

• Réussir à représenter des profils variés, des parcours professionnels différents, qui permettent de se nourrir mutuellement pour intégrer une diversité de milieux et une bonne articulation entre l’institutionnel et le monde du travail.

• Parvenir à proposer un projet audible et original grâce à une formation aux concepts associés est également une des réussites de baObab.

Ce qu'on cherche à améliorer :

• Proposer des séances d’évaluation avec les collectifs d'acteurs avec lesquels l'association travaille, ce qui n’a pas encore pu être réalisé, ce qui  n’a donc “pas permis de mettre en valeur le sens de notre accompagnement”. Car participer à l’évaluation des collectifs dans des dynamiques de coopération et entrepreneuriales est indispensable “pour les amener à comprendre que la valeur créée ensemble n’est pas où on l’imagine”. Parmi ces acteurs, dans le rapport aux entreprises, un des enjeux est de trouver comment créer des liens pour coopérer ensemble.

• Démontrer en quoi baObab se distingue des autres acteurs du réseau. Saint-Nazaire étant un territoire fertile en termes d’aide au montage de projets, l’aspect coopératif n’est pas spécifique à baObab, et “nous avons le sentiment d’avoir manqué de faire valoir la raison d’être de l’association”. Il y a nécessité d’impulser une dynamique de coopération, point d’accroche fondamental du dispositif, l’objectif étant de cheminer par la suite vers une logique servicielle, puis un revenu de transition écologique et enfin, vers une monnaie locale. La difficulté majeure réside dans le fait que “la coopération, chacun estime savoir comment on en fait alors que dans les faits ça n’est pas si simple”.

• Parvenir à se positionner sur la question du plaidoyer, en lien avec les enjeux soulevés par l’association, distincts de ceux de Saint-Nazaire, ville en situation de plein-emploi.

Illustration des dynamiques partenariales à l’œuvre dans la démarche d'évaluation du dispositif baObab

CONCLUSION

La culture de l’évaluation, qui prend source dans le socle théorique de l’EFC, s’est avérée utile pour le montage du projet en lui apportant une certaine légitimité, mais elle ne s’est pas intégrée en tant que telle dans les pratiques. Aujourd’hui, baObab réfléchit à s’engager dans des démarches d’évaluation plus formalisées, en s’appuyant sur le retour d’expérience et sur les outils de conception graphique pour les rendre visibles.

L’objectif de baObab est de démontrer la systémie locale créée pour répondre aux enjeux écologiques et favoriser une appropriation globale. Soumise à un enjeu de se distinguer des acteurs du territoire œuvrant également dans la coopération, et de faire communauté avec le réseau Zoein malgré des besoins de territoire différents sur la question de l’insertion professionnelle, baObab cherche un marquage de son identité et de sa spécificité, ce que l’évaluation de son activité et de celle des entrepreneurs qu’elle accompagne pourrait leur permettre d’affiner.

Besoins pour cheminer vers un référentiel commun :

• S’appuyer sur les retours d’expérience des autres territoires en termes de pratiques d’évaluation pour s’engager dans une démarche de co-construction au sein de l’association

- Tiers-Lab des Transitions et le LICA

Le LICA, Laboratoire d'Intelligence Collective et Artificielle est une société coopérative, SCOP, qui a pour vocation de faciliter et piloter les transformations sociétales à travers trois grandes thématiques : Climat et écologie, gouvernance et démocratie, travail et numérique.

En 2022, le LICA propulse la SCIC du Tiers-Lab des Transitions pour animer et prendre soin d’un espace de caractère situé dans le 4ème arrondissement de Marseille, en tant que lieu d’expérimentation de la coopération, en accord avec le 17e objectif de développement durable.

Il a vocation à créer un ancrage sur son territoire tout en développant un fort potentiel de réplicabilité à l’échelle régionale.  Mixant des usages et des populations, ouvert à tous, le Tiers-Lab s’intègre dans la dynamique de la ville de Marseille de s'appuyer sur des tiers-lieux dans différents quartiers pour déployer des projets d'innovation sociale et traiter les enjeux de la transition écologique. 

Le LICA et la SCIC Tiers-Lab des Transitions ont intégré le réseau Zoein en 2024 en amont du lancement d’une étude de préfiguration du RTE sur le territoire de Marseille. Les démarches d’évaluation du dispositif n’ont pas encore pu être entreprises mais l’équipe anticipe cette question, en lien avec les enjeux identifiés sur le territoire.

Entretiens réalisés avec Charles Talbot, cofondateur du LICA et sociétaire du Tiers-Lab et Laurent Boy, en charge des projets de l’ESS à la mairie de Marseille. Version actualisée du 31 mai 2024.

VISION, OBJECTIFS DE L'EVALUATION

L’évaluation représente, au Tiers-Lab, la capacité à rendre compte, à avoir des traces de ce qu'il se passe. Il est admis qu’elle puisse permettre un suivi tant quantitatif que qualitatif.

L’impact est un terme qui évoque “quelque chose de presque militaire, de violent, comme un choc. Il ne révèle pas les actions réalisées mais il est utilisé car il illustre un recensement de données, qui est important pour justifier l’effort”. La mesure d’impact va nécessiter une ingénierie financière pour mettre en récit des transitions, “tenter de savoir si notre action en vaut la peine, si l’impact est réel, et aussi de tenter de le qualifier : Impact économique ? Sur la biodiversité ? En termes de bilan carbone ? Ces questions nécessitent de démontrer l’impact du dispositif, sans oublier de considérer qu’il peut aussi y avoir des impacts négatifs”.

L’ambition est d’arriver à qualifier la sensibilité sur les sujets d’écologie dans un rapport culturel spécifique : “C’est une partie de nos besoins, on veut être acteurs de transition pas uniquement par la technologie mais par le volet social et culturel”.

PRATIQUES, OUTILS, DISPOSITIFS D’ACTEURS

Une évaluation a été enclenchée sur la SCIC Tiers Lab des transitions. Elle porte sur la fréquentation du public avec des critères socio-économiques demandés par le financeur. L’évaluation devra montrer l’utilité sociale, et “plus elle sera quantitative et qualitative mesurable plus on sera finançables”.

Pour tout ce qui est en lien avec la fréquentation du lieu, l’enjeu financier est important et il faut pouvoir démontrer les interactions avec le quartier, la participation à la réhabilitation du patrimoine, l’attention portée à la fréquentation et la mixité. De plus en plus, le lien avec les entreprises est également une réalité incontournable.

Il est important de comprendre que les critères d’évaluation vont traduire un choix de rejoindre certaines filières. Et en fonction des typologies de projets, qui sont très protéiformes, le Tiers-Lab doit pouvoir s’aligner sur les besoins des collectivités en se positionnant sur ces filières.

Un Hackathon a été lancé en février 2024 pour co-construire les modalités d’implantation du RTE sur le territoire. L'ensemble des partenaires ont été mobilisés pour engager une action de modélisation du RTE en format bottom up. La démarche consiste à recenser les acteurs en se plaçant dans une posture d’animation de la coopération, et en laissant émerger toutes sortes de sujets.

“Nos valeurs engagent notre capacité à faire intervenir le réseau comme accélérateur de la transition”.

En termes d’impact écologique, “nous sommes encore dans une considération assez vaste de ce que pourrait être le RTE. Toutefois, on s’est sensibilisés aux problématiques des acteurs de la transition dans deux filières : économie circulaire et bâtiment durable”.

C’est 10% du bassin de l’emploi marseillais qui est “contraint de changer face à la transition écologique”, alors, pour être dans une portée politique et financière il faut cerner ces emplois impactés : “Nous manquerons de réalisme si nous ne sommes pas dans une approche avec une vraie démarche d’accompagnement de la transformation du territoire, avec notamment un dispositif de reconversion des métiers”. La question étant celle du rythme auquel cela s’opère pour équilibrer ce qui disparaît et ce qui va émerger.

Dans une vision holistique, il faut regarder le tableau global de ce que signifie transformer l’économie locale, car sans vision juste le risque de manquer de crédibilité est réel.

Source : Mairie de marseille, Feuille de route 2023/2030  rapport éco 2023-2030-DEF.indd (marseille.fr)

Un élément fondamental à prendre en considération c’est le fait que : “Les collectivités sont positionnées sur des sujets spécifiques et elles évoluent dans un contexte fluctuant”.

Il est donc important d’être force de proposition dans les montages juridiques et financiers avec ces partenaires, et spécifiquement pour le secteur public en lui montrant qu’on arrive à travailler avec le privé.

Illustration des dynamiques partenariales à l’œuvre  dans la démarche du Tiers-Lab des Transitions

“Il est nécessaire pour nous de prouver qu’on sait mobiliser d’autres acteurs, travailler avec de l’argent, qu’on peut apporter des éléments mesurables dans un contexte d’intérêt général : Nombre de personnes formées, d’entreprises créées, tout ce qui peut être mis en comptabilité de  bilan carbone, etc.” (C. Talbot)

L’apport de Laurent Boy chef de projets ESS à la mairie de Marseille

Entretien mis à jour le 23 mai 2024

Ancien responsable animation de la Cress Sud, Laurent Boy est en poste depuis l’année dernière à la Ville de Marseille en tant que chef de projets filières stratégiques, économie sociale et solidaire, transition écologique. Il est l’interlocuteur de la Ville concernant tous les sujets d’économie sociale et solidaire et il a été impliqué dans l’étude de préfiguration du RTE sur le territoire de Marseille.

L’évaluation d’impact : Quelle vision pour quelles valeurs ?

L’évaluation consiste à “faire une photographie sur l’instant d’une situation insatisfaisante, à engager la capacité d’un dispositif à modifier cette situation et à réaliser un reporting suite à ce constat”.

L’impact va englober les externalités générées par le projet, il peut être autant négatif que positif. C’est la “capacité à faire bifurquer des parcours de vie ou à permettre des reconversions ou des revenus d’aide à l’emploi versés au crédit d'une communauté ou de l'intérêt général”.

Il y a certes un tropisme dans le terme impact, porté par le mouvement de l'entrepreneuriat social,  mais il est “plus défini que celui d’intérêt général”. C’est aussi un terme plus général qu’utilité sociale qui a des bornes juridiques, mais sans doute une portée plus forte.

Même s’il ne devrait pas y avoir de différence entre les attendus des financeurs et les besoins des acteurs de terrain, car les acteurs de l’ESS et les collectivités publiques sont censés avoir identifié les mêmes besoins, ils ne se rencontrent pas toujours.

Sur la question de l’impact, on déplore une vision plus court-termiste de la collectivité alors qu’il est justement question du temps long. Et il faut considérer également que les collectivités ont besoin de démonstration, donc parfois, sans que cela ne soit forcément exprimé, elles vont s’engager dans des actions dans un objectif de mise en visibilité.

Il est particulièrement important de mettre en lumière les valeurs qui se traduisent en actes dans les projets issus de l’ESS, en se concentrant sur la notion de démocratie qui est un apport important des entreprises de ce secteur : “Ce sont elles qui ont introduit la démocratie dans l’entreprenariat, et si cette capacité à faire société n’est pas nouvelle, elle est néanmoins moderne”.

L’évaluation : Quelles pratiques entre les acteurs ?

“Il est indispensable de sortir de la sacro-sainte évaluation quantitative mais les rares indicateurs dont on dispose ne le permettent pas forcément”

Pour valoriser les richesses non monétaires, les méthodes d’évaluation les plus pertinentes sont les coûts évités et les actes de facilitation avec lesquels il est également possible de faire bouger les lignes. Il pourrait ainsi être possible de s’inspirer du Medef et des liens d’affaires qu’il développe qui ont la capacité de générer de la coopération, créer des synergies, pour embaucher par exemple.

Il faut pouvoir questionner dans le dialogue de gestion en quoi le partenaire s’est impliqué, en dehors d’avoir participé au financement pour que le projet marche. Il s’agit d’inverser la charge de la preuve. L’ambition est de faire que la réussite ne dépende pas uniquement du financement.

Les facteurs de réussite généraux d’une démarche évaluative :

• L’intégrer dès le début du projet, systématiser le fait qu’elle soit externalisée, donc financée ;

• Etre en capacité à s’appuyer sur l’expertise d’usage des bénéficiaires ;

• Avoir pour bénéfice d’apporter un cadre sécurisant et gratifiant aux équipes en donnant de la visibilité quant à l'atterrissage des actions qu’elles conduisent, un sentiment de devoir accompli ;
• Faire de cette évaluation une démarche continue sans que ce soit lourd à porter

Pour aller plus loin, on peut réfléchir à impliquer la collectivité en tant que bénéficiaire pour mobiliser le RTE. Exemple : Un agent d’une collectivité évolue dans un métier comme la mécanique et la collectivité s’engage dans le passage à l'électrique, donc des besoins de soutien à ces reconversions émergent. Et l’acteur public peut devenir bénéficiaire direct du RTE en fournissant les marchés si on est en format CAE ou en mettant en place une politique RH pour le mobiliser.

“Pour conclure, les sacro-saints indicateurs d’emploi et de chiffre d’affaires sont à bousculer. Il est indispensable de créer ses propres indicateurs avant de se les faire imposer car les freins dans la lecture sont issus d’un héritage long, il y a une déformation professionnelle chez les agents et les élus qui se focalisent sur ces indicateurs-là”

CONCLUSION

Le Tiers-Lab est en phase d’émergence et n’a pas encore de soutien institutionnel solide en raison des jeux politiques cristallisants. Son positionnement se crée en lien avec ces dynamiques et l’engage à rester prudent dans le lancement de l’activité et dans sa communication. L’évaluation est pour le Tiers-Lab une opportunité de démontrer qu’ils considèrent et valorisent les spécificités du territoire notamment en termes de changements dans les typologies d’emploi.

Besoins pour cheminer vers un référentiel commun, par Charles Talbot

• Etre informé de ce qui se passe sur les autres territoires d’expérimentation, avoir accès à l’information et partager nos méthodes
• Considérer que chaque communauté a des spécificités et qu’il peut être préjudiciable d’appliquer un filtre générique à des besoins propres au territoire
• Appuyer sur la méthode pour obtenir des critères sur chaque territoire plutôt que se concentrer sur le résultat d'un ensemble de critères qui donnerait un inventaire pléthorique.
• Favoriser l’approche intellectuelle collective bottom up, en faisant remonter les besoins par les personnes qui les observent sur le terrain

Recommandations exprimées par Laurent Boy

• Faire cause commune sans être sclérosant pour ne pas freiner les success story. L’enjeu est de trouver bonne distance entre un socle commun nécessaire, des balises, un cheminement et un point de vue territorial à inventer.
• Proposer des comités de pilotage, comités techniques, visites de terrain pour que les acteurs locaux se sentent investis au même titre que les autres parties prenantes. Et qu’ils soient impliqués dès le début.
• Créer un exosquelette, un outil numérique pour faire du reporting, pour relever tout ce qui est inscrit à l'agenda. Il permettrait de comptabiliser les heures bénévoles, et générer des rapports automatiques notamment.

- TERA -

Située dans le Lot-et-Garonne, en Zone de Revitalisation Rurale, TERA expérimente le RTE depuis 2019.

L’écosystème TERA s’appuie sur 6 structures juridiques portant des fonctions différentes (foncier, exploitation, monnaie locale, fonds de dotation, animation de la coopération).  Cet écosystème vise à terme la distribution d'un revenu d'autonomie à partir des richesses créées.

Durant 2 ans (2020-2022), TERA a été accompagnée par Atemis, laboratoire d'intervention et de recherche sur l'économie de la fonctionnalité et de la coopération, pour mettre en place un dispositif d’évaluation intégrant, entre autres, la création d’un conseil scientifique. L’expérimentation d’une première forme de revenu d'autonomie avait ainsi fait l'objet d'une évaluation et des pratiques formalisées ont été maintenues jusqu’en 2023. Depuis peu, un travail de refonte dans la gouvernance pourrait permettre de réactiver ce processus d'évaluation.

Entretien avec Marie-Hélène Muller, présidente de Tera Version actualisée le 31 mai 2024

VISION ET OBJECTIFS DE L'ÉVALUATION

L’évaluation est une manière de rendre compte de résultats en les comparant avec les prévisions établies. Elle nécessite de s’attacher à comprendre le cheminement et à  s'intéresser aux difficultés rencontrées au cours du processus “pour parvenir à identifier les externalités positives (et négatives) plutôt que les imaginer”.

L’impact est l’effet, visé ou involontaire, que l’action va avoir sur des personnes, des situations et des écosystèmes. Dans l’écosystème TERA, ce terme n’est pas beaucoup employé : “On utilise “effet utile” ou “externalité positive et négative”, termes plus précis qui représentent des sous-catégories de l’impact”.

L’évaluation d’impact renvoie à deux objectifs :

• Elle donne des pistes d'amélioration continue en interne sur l’organisation et l’articulation du dispositif, en questionnant par exemple l’accompagnement des personnes ou la gestion du budget.
• Elle permet également de montrer l’intérêt aux partenaires en nourrissant le plaidoyer, afin de montrer les effets utiles que peut avoir le fait de rémunérer les personnes pour des services d’utilité sociale. Dans les rapports avec les institutions, par exemple, l’évaluation du dispositif légitime le soutien financier.

Une attention particulière doit être portée à l’intérêt des acteurs de l’écosystème. Il faut que la démarche d’évaluation réponde à leurs besoins, c’est pourquoi il faut questionner et partager en collectif le sens et l’utilité de la démarche, et mettre en débat les questions d’impacts du mode de vie et du travail, car c’est aussi cela qui donne du sens à l’engagement : “Il faut que l’évaluation aide les bénéficiaires à mieux comprendre le sens de ce qu’ils font”.

PRATIQUES, OUTILS, DISPOSITIFS D’ACTEURS

Démarches

Chez TERA, par le biais de Marie-Hélène, la culture de l’EFC est très présente. Un financement au moment du démarrage des activités économiques et productives de l’écosystème Tera  avait permis d’entreprendre une évaluation du premier revenu d’autonomie sous le prisme de l’EFC.

La démarche, réalisée avec le laboratoire Atemis, et entamée même avant le travail sur les revenus d’autonomie, comprenait des entretiens individuels qui ont permis d’identifier les champs qu’il était nécessaire d’évaluer. Des pratiques formalisées dans ce cadre se sont poursuivies jusqu’à début 2023. Elles ont permis :

• D’élargir la vision de l’évaluation, envisagée jusqu’alors uniquement dédiée au fait de rendre des comptes aux financeurs. La notion de régulation interne a pu être intégrée.
• De questionner l’appropriation collective d’une culture de l’évaluation.

Instances

Annuellement	L’assemblée générale de l’association	Travail de recueil des ressentis des membres qui pilotent le projet pour “mettre en parole des récits subjectifs”.
Ponctuellement	Les conseils scientifiques	Produire des documents à partir de feedback, réactions, avis, de personnes extérieures pour favoriser les croisements de regards.
Ponctuellement	Les Réunions retours d’expériences (REX)	Mieux comprendre le travail d’une équipe ou d’une personne et participer à la reconnaissance de l'efficacité des actions menées.
Ponctuellement	Les réunions d’évaluation	Évaluer un dispositif/une action (week-end découverte sur une année, revenus d’autonomie…) en écoutant les effets utiles, externalités positives et négatives, difficultés perçues par les acteurs conviés à la réunion.

Zoom sur les REX :

Un groupe de deux ou trois facilitateurs en capacité d’animer des REX a été constitué pour animer cette instance qui fait évoluer le cadre de travail en permettant de reconnaître, d'améliorer et de favoriser la coopération. Toutefois, Marie-Hélène partage un “sentiment qu’on ne sait pas très bien faire, ça manque de suivi et d'éléments de compréhension et on bloque sur la méthodologie pendant la réunion”. Malgré un sentiment de satisfaction immédiate, les problèmes reviennent par la suite. “Est-ce lié à la culture ? L’organisation ? La méthodologie du REX ?”

Outils

• Le carnet d’Atemis : Dans le cadre de l’accompagnement d’Atemis, une proposition d’utiliser un livret d'évaluation a été faite. Cet outil consiste à partir de signaux faibles relevés dans les actions afin de faire des hypothèses en réunion pour parvenir à interpréter un signal, relevant notamment de ressources immatérielles et de la qualité de la coopération. Ce livret a été utilisé les deux premières années (2017-2018), mais n’a pas réussi à être maintenu par la suite (problème de temps, et aussi de méthodologie pas suffisamment maîtrisée)

• Un formulaire ainsi qu’un tour de clôture sont proposés lors des week-ends découvertes, pour recueillir les ressentis des personnes en s’appuyant sur les interactions dans les groupes et les feedback du public. Un questionnaire a été élaboré accompagné d’un graphe radar : “Mais dans la pratique on le regardait peu et on s’est dit qu’en réalité ce qui nous importait dans cet outil ça n’était pas la note mais les avis, donc on l’a supprimé”.

• Le rapport d’activité, lors des assemblées générales, est un autre outil qui permet de pratiquer l’évaluation de nos actions.

“De la même manière, les partenaires envoient des signaux, formulent des indicateurs, des informations potentiellement très riches qu’on pourrait imaginer valoriser”

Exemples de réussites de pratiques évaluatives

• La soirée de célébration et d’expression de l’équipe de l’épicerie qui s’est appuyée sur la mise en lumière des talents de chacun et le partage des actions entreprises en collectif :

• • Permet de la reconnaissance individuelle et une évaluation du fonctionnement de l’équipe.

• Les entretiens avec les producteurs partenaires de l’épicerie sont des occasions de questionner les pratiques appréciées par chacun : Permet la satisfaction liée à la reconnaissance du travail

Dispositifs d'acteurs

Illustration des principales dynamiques partenariales à l’œuvre  dans la démarche d'évaluation du dispositif Tera

CONCLUSION

TERA a un fonctionnement basé sur la participation du collectif, et les pratiques d’évaluation s’organisent dans un cadre axé sur le partage et le portage des réussites et des échecs plutôt que sur l’évaluation d’impact, plutôt assignée à une dimension de rendre compte aux financeurs. Ce qui est évalué relève des relations humaines et de l’aspect relationnel,  très importants dans l’écosystème Tera.

La multiplicité des lieux et dispositifs rend complexe l’appréhension du champ de l’évaluation, ainsi que le manque d’appropriation collective du socle de connaissance existant et de formation à l’EFC. Il s’agirait de créer une alliance dans les intérêts en associant les expériences individuelles et collectives pour bénéficier à la structure et aux porteurs de projet.

Également, l’enjeu en termes de reconnaissance et de valorisation des membres actifs de l’écosystème Tera, qu’ils perçoivent un revenu de transition ou non, peut nécessiter de réfléchir à cette dimension de démonstration aux partenaires qui les soutiennent sur le territoire.

Besoins pour cheminer vers un référentiel commun :

• En clarification sur ce qui est RTE et ce qui est revenu d’autonomie pour rendre visibles les revenus d’autonomie en les présentant comme des porteurs de projets plutôt que comme bénéficiaires de subventions,

• Obtenir des retours digestes et facilement appropriables pour conforter et donner sens à l’activité des personnes, nourrir leur engagement

• S’intéresser à la façon dont les parties prenantes vont s’approprier la démarche, trouver un moyen pour que le fait de faire de l'évaluation apporte en soi déjà aux personnes concernées
• Arriver à un référentiel commun en laissant place à des spécificités, une forme de diversité dans les expérimentations.