Monographies

Audyssées

Située en Haute Vallée de l’Aude, la CTE Audyssées est une SCIC conventionnée depuis 2020. Elle est un centre de réflexion et d’incubation de projets éthiques et écologiques.

Son objet et son modèle économique sont entièrement dévoués à l'expérimentation du RTE, et liés à la mise en place d'un Territoire zéro Chômeur de Longue Durée (TZCLD).

Le dispositif a pour spécificité de reposer sur une convention avec le département qui permet à la CTE de compléter la rémunération des bénéficiaires du RSA avec le RTE.

La coopérative propose des cycles d’ingénierie de projet, qui comprennent plusieurs étapes distinctes : des Audyssées thématiques, des ateliers d'émergence de projets, et la mise en place de comités de pilotage pour aboutir au déploiement de projets de RTE. Le cycle ne contient pas de phase d’évaluation formalisée, mais il est question d’introduire un cadre qui le permette.

Entretiens réalisés avec Joëlle Chalavoux, Co-présidente, et Raphaël Soulier, coordinateur d’Audyssées.

Version actualisée le 31 mai 2024

VISION ET OBJECTIFS DE L'EVALUATION

Chez Audyssées, l’évaluation englobe un domaine vaste qui sert à mieux appréhender et à mesurer les effets d’une action. Dans la pratique, elle prend la forme d’un ensemble de critères regroupés dans des tableaux d’indicateurs permettant d’atteindre des objectifs.

L’impact est un terme qui est utilisé au sein de la CTE. Il renvoie à ce qui est “source de changement”. L’impact doit être visible, donc chiffrable ou établi sur la base de critères d’évaluation et doit se questionner à plusieurs moments afin d’observer une évolution, par exemple dans les relations interpersonnelles.

“On a collectivement à répondre à des enjeux avant même de parler de transition, et pour qu'on puisse tous parler de la même chose,  il faut des évaluations crédibles et communicables”

La démarche d’évaluation est considérée comme importante, notamment au moment de la phase de développement, pour prendre du recul et montrer aux partenaires l’utilité du projet. Elle est également utile pour l’amélioration continue du dispositif, afin de rester dans une approche d'expérimentation scientifique s'appuyant sur des données mesurables et comparables adaptées aux objectifs. Cette phase reste compliquée à appréhender, car l’évaluation d’impact se base sur les enjeux qui touchent les financeurs qui établissent eux-mêmes leurs critères. Il est d’ailleurs important de préciser qu’à la différence des financeurs, chez Audyssées : “Nous revendiquons un droit à l'échec, inhérent aux projets de transition. C’est une caractéristique que l’on omet trop souvent”.

En termes d’indicateurs d’impact, ce qui importe chez Audyssées est de démontrer la dynamique écologique territoriale, notamment l’attractivité du territoire, sa “capacité d’hospitalité”. Selon eux, il est possible de l’estimer en s’attachant, par exemple, à analyser le nombre de jeunes qui trouvent un travail qui fait sens pour eux. “L’indicateur de plaisir, la notion de réseau, le sentiment d’appartenance, ce sont ces évolutions que l’on tente de qualifier” : Au-delà de l’impact économique, l’impact social est intéressant à observer, et cela à deux niveaux : D’une part pour les RTE, et d’autre part, pour les équipes permanentes .

Un autre indicateur important concerne le fait de parvenir à faciliter la coopération, à dynamiser la filière d'acteurs économiques autour de la transition écologique. C’est la notion d’animation territoriale qui est  importante ici, dans laquelle la CTE a un rôle à jouer.

“Pour l’instant les évaluations sont “subies”. Mais, en prenant nos critères d'évaluation de projet, nous pourrions être dans l’analyse de l'opérationnel plus que dans des résultats”.

L’enjeu de l’évaluation est de parvenir à toucher la commande publique avec des demandes de prestation justifiées par la valeur apportée au territoire : Inverser la tendance en formulant une demande plutôt que répondre à un appel à projets. Des échanges ont débuté avec la communauté de communes sur ce qu'ils peuvent aller chercher en financement pour qu’Audyssées intervienne en prestation. Le Directeur Général des Services semble dans une démarche de coconstruction et une vision à long terme. On observe ici qu’une autre façon de gérer peut être acceptée. La vision de “citoyens experts” est entendue, et représente une option pour les collectivités qui sont confrontées à des difficultés auxquelles elles ne savent pas répondre. Aujourd’hui, on observe qu’elles commencent à s’engager dans d’autres réflexions : “C’est exactement ce que nous recherchons et qui nous permet d'intégrer les sphères de l'impact territorial, qui est notre objectif de départ”.

Depuis peu, Audyssées se relie au dispositif TZCLD sur le volet d’insertion professionnelle : l’impact du territoire pourra être évalué conjointement ou en parallèle, en combinant les effets observés dans le déploiement conjoint des deux dispositifs et leur imbrication.

PRATIQUES, OUTILS, DISPOSITIFS D'ACTEURS

Outils :

• Lors du montage du projet : Des fiches métiers avaient été rédigées et il pourrait être intéressant de les comparer avec ce qui est observé aujourd’hui pour identifier les écarts dans les estimations et les définitions. Cela pourrait être un indicateur intéressant pour réaliser en quoi ce qui avait été projeté s’est concrétisé dans la pratique ou non, et pourquoi.

• Au quotidien : Pour la gestion de la coopérative, ce sont les retours d’expériences qui sont favorisés, sans qu’il n’y ait de réels indicateurs ou quelconque formalisation. Des outils d'évaluation sont établis avec différents critères sociaux, économiques et environnementaux. Il font l'objet d'un travail de recadrage du processus de RTE. Cela se fait toujours de manière informelle.

• Au cours des ateliers d’émergence de projets : Un diagramme de Kiviat a été élaboré pour sélectionner les projets de RTE, sur la base de huit critères, pour visualiser les aspects positifs des projets et écarter les domaines non concernés, et questionner l’apport à l’économie locale et à la personne. Dans les faits il n’est pas utilisé, c’est par l’intelligence collective, sans cadre méthodologique que les décisions se prennent “selon les appétences de chacun”. Avançant sans méthodologie partagée, l’équipe est néanmoins parvenue à identifier que son besoin s’oriente vers une évaluation de la démarche plutôt que du résultat, ce qui importe est de comprendre par quel processus le dispositif peut se déployer et les conséquences générées.

Ce qui fonctionne :

• Les Audyssées mensuelles, et de manière générale les rencontres, les participations aux foires, et l’axe communication autour ces évènements qui est à soigner pour les rendre visibles. L’embauche d’un chargé de communication s’est avérée concluante, voire indispensable.

Ce qui peut être amélioré :

• Les cycles d'ingénierie de projets  doivent être réorganisés, notamment le format d’ateliers d’émergence, indépendant des audyssées thématiques avec des embryons de projets et des candidats au RTE et à la participation aux comités de pilotage indépendants.

“On est en recherche d’évaluation plus cadrée, il faut doubler, garder ce format et ajouter quelque chose qui nous dépasse, même si c’est de l’autoévaluation, pour se décentrer, nous permettre de sortir de nos œillères. Et pour nous évaluer nous-mêmes”.

Illustration des principales dynamiques partenariales à l’œuvre  dans la démarche

CONCLUSION

Chez Audyssées, l’équipe a démontré une capacité à proposer un système d’ingénierie et une mobilisation du territoire adaptés pour démontrer la plus-value du projet. Les pratiques évaluatives existent pour réfléchir aux pratiques et se réajuster si besoin, mais elles sont en cours de formalisation. La question du cadre posé par les personnes qui pilotent la coopérative est un enjeu important, car si l’aspect informel de certaines pratiques est revendiqué, l’expérience à démontré qu’il était nécessaire d’introduire un regard extérieur notamment par la mobilisation d’un conseil scientifique pour assurer une neutralité et introduire une certaine rigueur dans les cadres relationnels au sein du collectif, et ainsi éviter les difficultés dans la coordination interne de la coopérative.

Un lien entre le dispositif d’accompagnement et le dispositif de suivi et d’évaluation peut permettre, de l’identification des porteurs de projets à la qualification du projet, d’analyser les impacts et de les démontrer avec plus de cohérence.  C’est pourquoi l’introduction de l’axe évaluatif dans le cycle d’accompagnement des porteurs de projets fait partie des réflexions.

Besoins pour cheminer vers un référentiel commun :

• Déterminer une ligne directrice avec les mêmes questionnaires pour avoir un outil commun afin de favoriser la cohésion entre les différentes CTE
• Elaborer un budget contributif pour les gens qui participent à la démarche d’évaluation, pour créer des interactions sans verticalité

• Proposer une vraie expertise sur l’animation de la démarche et l’analyse des données, avec indépendance et neutralité, pour optimiser la compréhension des réponses et leur mise en application

• Impulser ce travail dès que possible, en 2025 au plus tard
• Faire valider par Sophie Swaton une définition commune du RTE. Notamment en réfléchissant à la façon dont le RTE peut être adaptable à des structures qui ne sont pas des CTE
• Réfléchir à l’institutionnalisation du RTE, pour le faire entrer dans le domaine public. Avoir des ambassadeurs régionaux, un véhicule régional qui anime différentes CTE par exemple, c'est-à-dire penser au format essaimage. L’évaluation peut aussi servir à considérer l’approche globale.
• Créer de la proximité, être dans la co-construction, sans lourdeur ou bureaucratie.

Tilt

TILT est une Société Coopérative d’intérêt Collectif (SCIC) à vocation Coopérative d’Activité et d’Emploi (CAE). C’est la première CTE du réseau Zoein.

Elle héberge et accompagne des porteurs de projets, et constitue une alternative à la création d’entreprise individuelle.

Tilt a été accompagnée dès sa création en 2019 dans le cadre d’une mission de définition d’un dispositif de suivi et d’évaluation de la Coopérative Tilt et de l’expérimentation du RTE. La démarche d’évaluation a ainsi été initiée dans le cadre de la dynamique de coconstruction de la coopérative. Aujourd’hui, le stade de développement de la Coopérative lui permet d’envisager à déployer sur une stratégie d’évaluation et une gouvernance associée.

Entretiens réalisés avec Jean-Christophe Lipovac, à la direction de la Coopérative durant ses quatre premières années d'existence, Camille Frazzetta entrepreneure salariée engagée dès le lancement de la Coopérative, Isabelle Robert, chercheure, sociétaire et membre fondateur de la Coopérative.

Version actualisée du 31 mai 2024

VISION, OBJECTIFS DE L'EVALUATION

L’évaluation est entendue chez Tilt comme un outil de gouvernance au service d’une démarche de progrès, dont les enjeux sont doubles :

• Soutenir les entrepreneurs dans leur démarche de questionnements et d’amélioration de leur projet entrepreneurial et dans la consolidation de leur modèle économique,

• Leur permettre une réflexion sur leur positionnement dans le monde professionnel en lien avec leur place dans la société, le sens de cette trajectoire choisie avec la prise en compte de ce qu’elle apporte et ce qu’elle coûte, et de permettre de tirer des enseignements sur l’aspect expérimental du RTE pour construire un modèle en lien avec des valeurs et des ambitions spécifiques identifiées.

L’Impact renvoie à l’idée d’essayer de voir les externalités négatives ou positives, en partant du postulat qu'”on ne connaît pas le but à atteindre au début du processus”. La coopérative Tilt adopte une posture de prise de recul, favorisant  un cadre de questionnements et de progrès. Terme moins jargonneux qu’externalités, le terme d’effets est préféré, il renvoie à quelque chose de plus accessible et palpable, les effets pouvant être négatifs ou positifs, anticipés ou non.

L’évaluation d’impact est en résumé un outil d'amélioration continue des actions entreprises au sein de la coopérative et de celles relatives aux projets économiques des entrepreneurs.

“S’engager dans une démarche d’évaluation, c’est se placer dans une posture modeste de croisement des regards pour mettre en lumière ce que l’on a fait qui n’avait pas été projeté initialement”.

PRATIQUES, OUTILS, DISPOSITIFS D’ACTEURS

Démarche

L’année de sa création, Tilt a été accompagnée pour réaliser l’évaluation du dispositif RTE. La démarche d’évaluation s’est donc déroulée en même temps que la phase opérationnelle et elle s’est ancrée dans une dynamique de co-construction de la coopérative avec ses parties prenantes : sociétaires, premiers porteurs de projets, partenaires de la Coopérative (CUD, Conseil Régional, ADEME, etc.).

Références

L’objectif de transformation sociétale dans lequel s’inscrit le projet a amené à un parti pris méthodologique en faveur de l’analyse de contribution. Cette approche vise à appliquer à l'évaluation d’impact les principes de l’évaluation basée sur la théorie du changement. Elle s’appuie sur les étapes identifiées dans la théorie du changement formulée par les parties prenantes elles-mêmes.

L’analyse de contribution cherche à comprendre pourquoi et comment une intervention a atteint les objectifs attendus, sans pour autant attribuer un résultat à l’intervention déployée, mais en cherchant à renforcer la confiance en la contribution apportée, entre autres facteurs de réussite. Ce socle théorique paraît le plus adapté à des projets expérimentaux et novateurs comme le RTE.

Intervenants

C’est le cabinet d'expertise Quadrant Conseil qui a formalisé la méthodologie et les outils de suivi et d’évaluation de la Coopérative. Le dispositif de suivi et évaluation s’est construit au tout début de la Coopérative. La pratique de ce dernier n’était pas encore très intuitive. Mais la méthode a été conçue de manière très participative, “en marchant”, avec un objectif d’appropriation par le collectif de la méthode et des outils. Les outils proposés ont bénéficié d’une période de test pour permettre leur bonne utilisation.

Proposition

Le travail qui a été mené a orienté sur le suivi et l’accompagnement des trajectoires des entrepreneurs. Aujourd’hui, sans chercher à connaître le nombre de clients ou le montant du chiffre d’affaires, il est important de s’attacher à observer l’évolution de la personne dans son environnement. Ce recueil n’est pas forcément formalisé, il apparaît dans les comptes-rendus de réunions mais ne fait pas l’objet d’un recensement.

L’outil des “entretiens-récits” qui ont été testés, mais qui n’ont pas été systématisés, doit amener un plus grand formalisme.

AJOUTER IMAGE

“Les temps de feedback, dans l’idéal, s’instaurent de manière assez légère dans la culture de travail, comme le tour de météo”. Cette culture a besoin de s’établir dans un contexte où l’on prend soin d’être dans une réflexivité sur soi et sur les dynamiques à l'œuvre dans le groupe”. Ce point reflète une différence majeure entre l’esprit de la coopérative et le monde de l’entreprise classique, dont les ambitions sont de travailler autrement et de promouvoir d’autres modes de vie. Le travail d’évaluation a permis de réfléchir à la définition d’espaces de dialogue et d’action au sein de la CTE.

Zoom sur ces espaces

La réunion cercle accompagnement, mensuelle, très opérationnelle, permet une prise de hauteur sur les pratiques, mais n’est pas suffisante.

La réunion vie coopérative, où l’entrepreneur est questionné sur ses besoins non couverts et ce qui pourrait être développé. C’est l’approche servicielle qui est mise à l’honneur dans ces réunions. Avec mise en place de retours d'expérience et création d’espaces d’évaluation des entrepreneurs où on va chercher à savoir si les offres proposées correspondent aux besoins formulés et identifiés.

Le cercle soin qui sert directement l'accompagnement des entrepreneurs. Parmi les objectifs poursuivis, il s’agit de trouver un alignement entre ses valeurs, son activité et le projet politique de Tilt et de s’y engager.  Autres fonctions du cercle : Poser comme un sujet de travail la qualité des relations,  favoriser l’inclusion au sein de Tilt, et par ailleurs réceptionner les tensions et conflits au sein de la coopérative et proposer des solutions de régulation, et encore prévenir l’épuisement.

Le cercle recherche-action & évaluation/capitalisation, pour mettre en place les “entretiens-récits”, s’assurer que les porteurs de projets sont formés, systématiser et organiser une sorte d’université éphémère comme celles qui se sont déroulées en mai 2022 et qui avaient permis une mise en récit du travail engagé avec Quadrant Conseil et permis de partager et de clôre le travail réalisé.

Nos réussites et points d'amélioration

Ce qu'on a réussi :

A construire un vrai alignement entre les valeurs individuelles et collectives, dans le groupe, pour co-construire et s’approprier les échecs et réussites ensemble.

A instaurer des réunions vie coopérative pour créer une relation de confiance dans un espace où la parole est libre, dans lequel les entrepreneurs ont pu s’engager.

A mettre en place un cercle accompagnement et un cercle soin, entendu comme un espace de travail fédérateur.

Ce qu'on doit améliorer :

Le travail autour des “entretiens-récits” n’a pas été finalisé bien qu’il soit un élément central pour faire la preuve des multiples effets des projets individuels et de la coopérative, en particulier à l’échelle territoriale.

L’équipe partage la difficulté d'être une structure sans lieu unique de travail en commun, sans un ancrage physique qui permette de faire de l’informel, nécessaire pour partager des retours en temps réel.

Les dynamiques partenariales à l'œuvre

Illustration des dynamiques partenariales à l’œuvre  dans la démarche

L’apport d’Isabelle Robert, chercheure, membre sociétaire fondatrice, et qui accompagne ponctuellement les entrepreneurs de Tilt

Entretien mis à jour le 23 mai 2024

L’évaluation : Valeurs et vision

Il existe des écueils importants dans les démarches d’évaluation qu’on tente de standardiser à tout prix. Ces outils omettent les sciences sociales, ils sont développés par des ingénieurs, dans une logique cartésienne. Mais lorsqu’on les emploie, on ne se pose pas les bonnes questions, on met de côté beaucoup d'éléments qualitatifs car on évalue juste ce qui peut être évalué. On a construit des outils qui font émerger des éléments mesurables, mais dès qu’on choisit des métriques on occulte autre chose. Et bien que ces outils omettent l’aspect fondamental de la dimension humaine, ils sont beaucoup utilisés et ne font l’objet que de peu de critiques.

L’enjeu réside dans le fait de s'accorder en collectif pour savoir pour quoi on évalue et ne pas tomber dans le risque de faire un travail “facile” où on se replie sur certains indicateurs parce qu’on a accès aux informations nous permettant de la faire.

Illustration sur la base de la démarche d’évaluation d’un projet entrepreneurial : “On peut se réfugier derrière des indicateurs sur les entrants, sortants, mais ce dont on a besoin c’est de qualifier les externalités positives, et ça c’est très compliqué, ça se fait de manière longitudinale avec plein d’acteurs. Et il faut accepter qu’il restera tout de même un biais méthodologique”. En l’occurrence, il faut se concentrer sur les barrières invisibles du projet entrepreneurial, réfléchir à comment on évite de tomber dans l’élitisme, comment on crée de la mixité sociale. Mais les codes sociaux, le capital social ne sont pas quantifiables, alors on se concentre sur d’autres données.

Exemple avec les vêtements en matière de fast fashion : La métrique de référence c’est le poids des matières, ce qui est léger est moins impactant sur l’environnement, donc on va fabriquer des vêtements de plus en plus légers sans tenir compte du fait que ces vêtements vont durer moins longtemps. C’est à ce genre d’hérésie qu’on est confrontés.

Retour sur une méthode : L’analyse du cycle de vie

Parmi les méthodes d’évaluations qui sont plébiscitées par les financeurs, on retrouve l’analyse du cycle de vie, “méthode simple et presque magique, où il suffit de rentrer des données pour obtenir des résultats précis” permettant de déterminer les impacts environnementaux d’un produit, de l’extraction des matières à sa fin de vie. Pourtant, puisque cette méthode se cantonne à des outils basés sur la productivité, on ne sort pas de la logique de volume. On observe ainsi des situations où des chercheurs ayant réalisé une analyse du cycle de vie sur le pain, en arrivent à la conclusion qu’avec une méthode agroécologique exigeante on arrive au même résultat en termes d’impact qu’en fonctionnant en conventionnel. Des éléments fondamentaux comme la revitalisation du village n’étant pas pris en compte.

Mais malgré cela, ces outils se veulent rassurants, ils permettent un résultat communicable, et  on s’oriente même de plus en plus vers les ACV sociales, alors même que de nombreux exemples démontrent à quel point cet outil est totalement insuffisant et doit être complété par des outils qualitatifs ad hoc liés à des filières ou des territoires.

L’ACV territoriale est, quant à elle, plus adaptée pour réfléchir en quoi on peut construire un système d’acteurs, identifier les points positifs chez certains, pénaliser certains autres. Ce qui est intéressant c’est de comprendre comment évaluer la qualité des écosystèmes, évaluer les transferts de connaissances, les relations affectives.

Aujourd’hui, l'évaluation est devenue nécessaire pour que l’ESS prouve sa légitimité. Elle doit apporter des preuves pour être crédible. Car le problème est que les critères des acteurs financiers sont des critères de croissance et que le paradigme sociétal auquel l’ESS tend n’a pas les mêmes valeurs et croyances que celui dans lequel l’évaluation se réalise. Même les entreprises classiques sont rentables au bout de vingt ans (Vinted commence juste à l’être, Uber l’est depuis deux ans), donc un secteur qui expérimente beaucoup doit forcément être soutenu au niveau institutionnel pour être pris en considération.

Recommandations pour s’engager dans une démarche évaluative au sein du Réseau Zoein France

Les dispositifs innovants tels que la CTE Tilt inventent un autre paradigme sociétal mais reste pour le moment obligés de se conformer à certaines exigences pour pouvoir expérimenter, et notamment à se confronter à ces évaluations non pertinentes. Il est donc préférable de se conformer à ces injonctions en apportant quelques indicateurs clés pour donner satisfaction aux financeurs, tout en s’intéressant à comprendre comment on peut évaluer qualitativement sans s’enfermer dans des méthodes qui dépendent d’un paradigme vieillissant.

Il faut jouer avec le système dans le cadre de cette obligation à rendre des comptes, en se mobilisant dans des collectifs, et en identifiant les facteurs clés de succès, les freins et les leviers. Il s’agira alors de construire des dynamiques à partir des sphères fonctionnelles, et d’observer comment les acteurs peuvent se renforcer l’un l’autre grâce à la coopération.

Pour cela, la théorie des pratiques en sociologie peut être inspirante : S’arrêter sur une pratique, l’analyser, réfléchir aux normes sociales et croyances qui sont allouées à cette pratique, donne une vision beaucoup plus holistique de ce qui va marcher. C’est au final se demander comment changent les normes, comment on alloue les compétences pour pouvoir se les approprier.

On est dans un jeu de pouvoir, il faut pouvoir jouer sur la durabilité émotionnelle, restreindre l’offre en arrêtant la nouveauté. Dans les circuits courts du secteur textile, beaucoup de petites entreprises bougent et sont écoutées. Pour soutenir le secteur de l’ESS il faudrait que les expérimentations puissent être exposées, visibilisées, pour insuffler des idées sur une façon d’agir différente.

CONCLUSION

Chez Tilt, “l’évaluation fait partie intégrante du dispositif, au même titre que les autres actions mises en œuvre, car elle permet aux différents acteurs d’apprendre au fur et à mesure de

sa mise en œuvre, et de modifier la façon dont ils considèrent le problème à traiter et envisagent les solutions”.

En tant que CAE qui accompagne à l’entreprenariat écologique, elle a vocation à soutenir les projets dans leurs démarches entrepreneuriales soutenables, donc d’aider les entrepreneurs à analyser les effets de leur activité.

La dynamique créée par cette démarche d'évaluation-suivi a permis de mettre en place des instances et des espaces qui favorisent les échanges et retours d’expérience, ce qui influence positivement la dynamique collective.

Malgré l’engagement de l’équipe dans l'expérimentation proposée par quadrant Conseil, les entretiens-récits, élément essentiel de la démarche, n’ont pu être mis en œuvre, et aujourd’hui, avec le niveau de maturité du projet et la stabilité financière qui s’établit, la CTE  a structuré un cercle d'accompagnement et désire approfondir le développement et l’ancrage d’outils dans ses pratiques. L’équipe témoigne également de sa volonté de structurer un cercle recherche-action pour faire lien avec le travail sur l’évaluation des pratiques.

Besoins pour cheminer vers un référentiel commun :

• Prendre soin du vocabulaire, pour montrer notre approche et créer une communauté pour éviter la récupération et créer notre identité
• Être en prise avec la réalité des structures, en émergence notamment, et imaginer des choses à la hauteur des moyens en temps et compétences dont on dispose, de ne pas accoucher d’un résultat trop ambitieux qu’on ne sait pas mener
• Se poser la question de : Qu’est ce qu’on en fait ? Comment va nous nourrir ce travail dans nos pratiques ? Nourrir la relation avec les partenaires ? Comment il nous fédère ? Car le risque de produire un rapport qu’on n'utilise pas est réel
• Envisager de faire du processus d’évaluation un enjeu de montée en compétences de la dynamique collective

PTCE pays de France

Le PTCE du Pays de France est une association née de la volonté de  faire émerger une coopération d'acteurs économiques du territoire du Pays de France sur les questions d'agriculture biologique pour faciliter l’accès à une alimentation saine et accessible et favoriser la démocratie alimentaire.

Le projet PTCE Pays de France est un des fruits de la dynamique CARMA initiée sur le triangle de Gonesse contre le projet EuropaPark.  L’association du PTCE s’inscrit ainsi dans la perspective d’une CTE en vue d’expérimenter des revenus associés. L’association qui porte le PTCE bénéficie d’un accompagnement dans le cadre du projet Coop’ter (Territoires de Services et de Coopérations). C’est dans ce contexte que l’association souhaite engager une réflexion sur l’évaluation du processus d’émergence et des premières actions menées.

Entretien réalisé avec Dominique Picard, présidente de l’association PTCE Pays de France et de l’association Carma.

Version actualisée du 31 mai 2024

VISION, OBJECTIFS DE L'ÉVALUATION

Au sein de l’expérimentation PTCE Pays de France, l’évaluation est vue comme une façon de mesurer la vraie richesse, celle qui correspond aux “forces de vie nécessaires dans la création d’un projet collectif”.

L’impact correspond à ce qui marque, il représente un résultat et permet de cerner un taux d’estimation de ce qui est réalisé. Un de ses paramètres est particulièrement important : Il se recherche à plusieurs stades du projet sinon il ne peut pas être révélateur des actions et des effets.

“L’impact se caractérise forcément  grâce au témoignage, car personne n’est mieux placé que le bénéficiaire pour identifier l’apport du projet”

L’association PTCE Pays de France provenant d’une expérimentation issue d’une recherche-action menée sur le sujet de la lutte contre la précarité alimentaire, elle s’est construite sur la base d’un diagnostic de territoire. L’association s’est d’abord faite connaître avant de s’implanter au sein d’un tiers lieu nourricier, aboutissement de cette approche engagée sur le terrain. La démarche d’identification des besoins de la population locale sur laquelle s’est construit le projet a permis le soutien de la ville de Goussainville, depuis attentive à son développement.

L’association bénéficie d’un accompagnement dans le cadre du projet Coop’ter (Territoires de Services et de Coopérations), programme en faveur de la transition économique, sociale et soutenable des entreprises et des territoires, piloté par l’ADEME et conduit en partenariat avec le laboratoire ATEMIS. Dans le cadre de cet accompagnement, l’association projette de s’engager dans un travail qui vise à faire prévaloir auprès des partenaires, le fait de cofinancer un poste de chargé de développement. C’est dans ce contexte que l’association souhaite engager une réflexion sur l’évaluation et la communication autour de son projet. En parallèle à cette phase d’évaluation, elle s’engage dans l’étape de la capitalisation et de partage d’expérience qui participent également au processus d’évaluation du dispositif.

PRATIQUES, OUTILS, DISPOSITIFS D’ACTEURS

• Le financement de Coop’ter s’achèvera en fin d’année 2024 et la réflexion autour de l’enjeu de témoigner de la valeur créée pour qu'un poste soit financé est plus que jamais à l’ordre du jour. Dans l’idéal, pouvoir le financer sur les deux prochaines années pour avoir une certaine garantie de la pérennité de la démarche.

Retour sur les démarches engagées dans le cadre de l’accompagnement de Coop’ter :

Le PTCE finalise actuellement le rapport de la première phase et va s’engager dans une seconde période de deux ans qui devrait commencer à la rentrée 2024.

Des visites ont été organisées avec accueil d'un groupe de porteurs de projets intéressés par les activités du PTCE Pays de France. L'objectif est d'explorer le développement de projets en accord avec l'Économie de la Fonctionnalité et de la Coopération (EFC) sur la précarité alimentaire.

À Sevran, un intérêt a été exprimé pour adopter une approche similaire de lutte contre la précarité alimentaire, il est question d’expérimenter un chèque alimentaire que le conseil départemental veut tester sur quatre villes.

Actuellement deux étudiantes en stage et la salariée de l’association sont engagées dans un travail d’élaboration d’indicateurs pour justifier l’apport financier à pour ce projet.

• Plusieurs partenaires proposent des espaces de dialogue et de retour d’expériences : La Fondation Crédit Coopératif essaie d’organiser des temps de regroupement précieux qui témoignent de son engagement dans le projet, mais le manque de moyens empêche la chargée de développement de s’y engager.

Fondation Crédit Coopératif (credit-cooperatif.coop)

Enjeux spécifiques au projet PTCE Pays de France

• Pour obtenir le soutien de partenaires : Réaliser un “travail sur les termes de la coopération : Au service de tout le monde et surtout au bénéfice du territoire [...] C’est par la confiance qu’on peut construire, en ayant considéré les contraintes des uns et des autres”. Cela signifie aussi développer ensemble la mutualisation : Avec le Conseil scientifique, grâce à des moyens locaux, ou dans le cadre d’appels à communs.

• Pour valoriser les dynamiques relationnelles : La question de la monnaie-temps s’impose de plus en plus comme moyen de rétribuer les bénévoles habitants et de “valoriser la façon de prendre soin des autres, de reconnaître leur valeur pour essayer de faire ensemble”. Le dispositif n’étant pas créateur d'emplois rémunérés, l’enjeu est de “trouver un équilibre entre ce qui est produit par les forces citoyennes et la relation partenariale avec les financeurs publics”. Au-delà des questions de précarité alimentaire, le projet est un projet qui englobe une vocation sociale majeure qui peut être valorisée auprès de financeurs.

• Pour aller plus loin dans la formation du PTCE, en mobilisant dans la durée les capacités, il est important de travailler sur les termes de la coopération et travailler l’inscription dans le temps. Cela doit passer par une étape de communication autour des effets produits sur l’écosystème.

Illustration des principales dynamiques partenariales à l’œuvre  dans la démarche

CONCLUSION

Dans le cadre de l’accompagnement proposé par Coop’ter, l'association PTCE Pays de France s’engage dans l’évaluation de son dispositif. Avec un public bénéficiaire combinant diverses difficultés, l’enjeu majeur est de parvenir à s’appuyer sur les retours d’expériences de ce public, considérés comme relevant de la seule approche pertinente, afin de valoriser le capital humain et social développé grâce au projet.

Besoins pour cheminer vers un référentiel commun :

• Valoriser le travail bénévole par la redéfinition du RTE sur la question de la création d’emplois rémunérés,

• Réfléchir à la meilleure façon de rendre compte du mieux-être, du mieux-vivre, et de l’implication des personnes,
• Questionner la façon de faire lien avec certains partenaires tels les clubs régionaux de l’EFC, le club des jeunes dirigeants, la CRESS, le Labo de l’ESS. Le lien entre l’Adème et le PTCE,
• Travailler à la recherche de compromis, et lever les représentations sur les désaccords en lien avec l’idée des “désaccords féconds” (Patrick Viveret),
• Prendre le temps de comprendre les mots qu’on emploie.

Pour aller plus loin :

Compte-rendu interne reprenant l’état d’avancement du projet :

Actualités PTCE Pays de France.docx - Docs (infomaniak.com)

bYfurk

Dynamique située à Strasbourg, portée par la SCIC Cooproduction.

Co-fondateurs :  Philippe Kuhn, Somack Limphakdy, Stéphane Bossuet.

Raison d’être : “Chez Byfurk, nous imaginons, concevons et diffusons des modèles économiques pour celles et ceux qui veulent œuvrer pour les transitions écologiques, sociétales, et personnelles et ainsi construire un avenir durable, fraternel et joyeux !”

Inaugurée le 1er décembre 2023, la dynamique bYfurk, soutenue par l’Eurométropole de Strasbourg, propose aux bYfurkeurs dans le cadre de leur développement d’activités économiques un accompagnement et l’accès à un financement triple (Public, privé, citoyen) pour permettre la mise en œuvre de leur projet économique de transition. L’évaluation de l’impact des projets soutenus fait partie intégrante du dispositif. La démarche évaluative au sein de bYfurk a été engagée dès le lancement de la dynamique.

Entretiens réalisés avec Philippe Kuhn, directeur, Somhack Limphakdy, chercheure, et Océane Puech, directrice du cabinet Greenscale.

Version actualisée du 31 mai 2024.

VISION, OBJECTIFS DE L'ÉVALUATION

Chez bYfurk, l’évaluation est considérée comme une phase de travail comprenant des objectifs ciblés, “une tentative de mesurer les effets des actions” et de pouvoir les quantifier, les qualifier, pour les comparer avec les prévisionnels financiers. Elle permet de “prendre une photo d’une trajectoire, et surtout de définir la qualité de la démarche”. Au sein de la structure est défendue l’idée que les projets de transition nécessitent de prendre le temps de questionner, de manière automatique, l’amélioration de l’impact de son activité, en se concentrant sur les impacts positifs, et de prendre en compte également les effets indésirables.

En termes d’impact ce qui est mis en avant par la CTE ce sont les effets sur trois champs : écologique, social et sociétal.

PRATIQUES, OUTILS, DISPOSITIFS D’ACTEURS

Outils

Chez bYfurk, l’évaluation est un élément majeur du dispositif. Elle s’enclenche dès le lancement du parcours d’accompagnement des bYfurkeurs. Des outils ont été créés et proposés pour attester, auprès des entrepreneurs, de l’intérêt d'avoir une réflexion sur la valeur que leur activité produit sur le territoire.

“C’est surtout la qualité réflexive autour de ces processus d'évaluation qui est fondamentale, au-delà des outils employés”

QUELS OUTILS ?	POUR QUI ?	PAR QUI ?	POUR QUOI ?	A QUELLE ÉTAPE ?
Questionnaire d’entrée	Porteurs de projets	bYfurk	- Promouvoir l’importance de l’évaluation d’impact dans le dispositif - Questionner l’implication de l’entrepreneur à la question de l’impact	Lorsque le bYfurkeur intègre le dispositif
Carnet d’impact	Porteurs de projets	Le cabinet Greenscale porté par l'association Indicateurs prédéfinis par Greenscale	Aider les bYfurkeurs à identifier et qualifier les impacts de leur projet	Lorsque le bYfurkeur intègre le dispositif
Carnet de bord	Dynamique bYfurk	Le cabinet Ellyx,  l’Eurométropole de Strasbourg (Dispositif 100% apprenant) Souhait de la collectivité de définir des critères communs à toutes les structures	Évaluer l’impact de l’accompagnement proposé aux bYfurkeurs	A destination des personnes qui pilotent la dynamique bYfurk

Instance dédiées

• Il n’existe pas, chez bYfurk, d’espaces dédiés aux pratiques d’évaluation, malgré un besoin de transparence partagé. Les réajustements sur les pratiques et réflexions autour des décisions prises se font de manière non formelle. Via notamment un groupe Whatsapp, les porteurs de projet sont invités à participer en commun à l’évaluation de la conduite de la coopérative, à échanger sur des questions et avancées sur la base des informations remontées par les uns et les autres.

• Un comité “go no go” a débuté avec l’Eurométropole et les mentors d’entreprise, équivalent à un comité d'engagement : Instance de décision où les acteurs en présence interviennent pour donner leur aval ou non au financement d’un projet. Les décisions se prennent sur la base de critères propres à chacun. L’équipe de bYfurk souhaite que les bYfurkeurs puissent participer activement à cette réunion et soit force de propositions.

Illustration des dynamiques partenariales à l’oeuvre  dans la démarche

L’avis d’Océane Puech, directrice de Greenscale

Entretien mis à jour le 28 mai 2024

L'évaluation d’impact : Approche de Greenscale

L’évaluation chez Greenscale renvoie à l’anticipation et la vérification d’impacts positifs et négatifs liés à un projet défini : Impacts sur l’environnement et la société, et également à destination du porteur de projet.

L’impact peut se définir par les aspects transformatifs recherchés, auxquels vont s’ajouter d’autres effets non anticipés, révélés pendant le déploiement du projet. Faire de l’évaluation d’impact signifie  s’engager dans une logique holistique.

“Des projets transformatifs sont des projets nécessaires à la société de demain, qui changent la société et l’évaluation doit permettre de vérifier que les fonds, l’aide, et l’attention apportent cette transformation”.

Méthodologie proposée à bYfurk

Le travail engagé avec bYfurk est une travail d’évaluation d’impact qui s’inscrit dans une logique d’amélioration continue avec une spécificité qui est une redevabilité forte à l’égard des financeurs, liée au système de financement triple, et, de manière globale, à une volonté marquée de communication sur le projet bYfurk dans un objectif de rayonnement.

L'évaluation d’impact telle qu’elle est proposée par Greenscale est donc tant dans une démarche progrès des projets que dans une dimension de rendre compte aux financeurs.

La plus value du modèle élaboré par Greenscale concerne le fait de croiser les aspects négatifs et les effets positifs du projet et de faire la différenciation entre ces deux aspects.

Le bYfurkeur est ainsi amené à rechercher les impacts négatifs de son projet, comprendre et mettre en place des actions réductrices / correctrices, et les impacts transformateurs : Les leviers de transformation et les bénéfices sociaux, environnementaux et sociétaux, donc les effets à maximiser.

“Il a fallu proposer un outil d’évaluation échelonné, ce qu’on fait quand on ne peut pas récupérer des indicateurs identiques, et pour les outils utilisés, l’équipe de Greenscale s’est basée sur un fonctionnement type entreprise à mission”. Le carnet d’impact est équivalent à un business model étendu de l’activité. Cela se justifie par le besoin de démonstration aux financeurs : C’est un outil pour répondre à leurs attentes sans forcément tout prévoir avec certitude. Il s’agit plutôt de donner des hypothèses : “Il est important de considérer le fait qu’il ne peut pas y avoir d’estimations très fiables et l’impact ne peut être présupposé”.

Ce modèle d’’évaluation porté par Greenscale a un aspect structurant marqué par une construction autour de différents indicateurs définis, que les porteurs de projets sélectionnent en fonction de leur activité.

Les étapes de la démarche :

1. entretien entre les porteurs de projet et Greenscale -> Greenscale revoie les pages Diagnostic -> conseils sur les éléments à creuser ou développer
2. bYfurk envoie son carnet d'impact complet
3. Greenscale l'analyse sur la base du modèle d'évaluation -> bYfurk obtient une "fiche projet"
4. bYfurk obtient une "Fiche promotion", consolidation

Il est intéressant de questionner les limites de ce modèle pour en saisir toutes les composantes. Océane les a identifiées : “Dans la diversité des projets qui sont présentés chez bYfurk, il a fallu composer en déterminant un modèle qui fonctionne avec tous”. Il a donc fallu considérer le fait que cette pluralité de projets ne permettait pas de comparer les grilles d’évaluation des projets entre elles et on doit réaliser une grille par projet. Ainsi il ne sera pas possible d’élaborer des notations ou des classements, “mais cette diversité permettra toutefois une consolidation des projets par promotion de bYfurkeurs qui sera valorisable au niveau de byfurk”.

Mise en application du modèle

La méthodologie en lien avec ce dispositif d’accompagnement, expliquée pendant une journée de formation proposée à tous les bYfurkeurs, a permis à chacun de prendre le temps de questionner les impacts des projets. Cette journée a été l’occasion de revenir sur certains concepts, de faire des exercices de mise en pratique en binôme, de mettre en commun pour s’inspirer mutuellement, dans l’idée de clôturer la formation avec une réussite, par exemple en réalisant une cartographie des parties prenantes.

Certains avaient une très bonne maturité et les porteurs de projets se saisissaient des outils facilement, pour certains autres, le projet était moins structuré et cette formation a plutôt été utile pour revenir sur les objectifs, voire même sur la définition même du projet. Par exemple, une réflexion autour de la raison d’être de l’activité a été utile à certains et ne leur a donc pas permis de se projeter plus loin, dans la sélection d’indicateurs par exemple.

Ce constat autour du caractère hétérogène des projets a nécessité des réajustements. Il a ainsi été proposé aux bYfurkeurs un soutien plus personnalisé, sur des plages horaires plus étendues, pour pouvoir s’ajuster au mieux aux besoins de chacun et être dans une réelle démarche d’accompagnement des porteurs de projets, dans l’objectif qu’ils puissent ensuite plus facilement entrer dans un processus d’autonomisation sur la conscientisation de l’impact de leur projet.

Deux phases de bilan étaient prévues, une à trois mois, et une à six mois. La seconde a ainsi été transformée en séance de coaching individuel.

Nous pouvons faire l’hypothèse que cette difficulté d’appropriation de l’outil en tant que tel soit liée à une problème d’acculturation autour des démarches d’évaluation. Il est intéressant de relever également qu’il peut être contre-intuitif pour les porteurs de projets, animés par une volonté de transformation sociale positive de la société, d’identifier et de considérer les impacts négatifs de leur projet. Ce constat peut s’étendre à tout projet à vocation sociale et ne concerne pas uniquement les bYfurkeurs.

CONCLUSION

La mesure d'impact des bYfurkeurs est le point central du dispositif de financement triple, liée à l’ingénierie financière du projet. Elle entraîne des engagements multiples à l’égard de ses parties prenantes. Se pose la question de l'uniformisation, et du besoin de répondre à ces engagements liés à la structure du projet. Ces démarches étant amorcées depuis peu, il s’agit aujourd’hui d’observer l’évolution dans les rapports avec ce point d’attention et d’observer les dynamiques qui s’enclenchent.

Besoins pour cheminer vers un référentiel commun d’évaluation RTE France :

• Construire une culture commune dans l’association Zoein, se rencontrer, partager des retours d’expériences sur les réussites de chaque collectif d’expérimentation RTE en France,
• Se référer aux travaux de Sophie Swaton sur l’approche critique du revenu de base : pour, à titre d’exemple, montrer que l’inconditionnalité n’est pas adaptée : Démontrer et argumenter cela et le mettre en avant est crucial,
• Réfléchir à un tronc commun pour alimenter le plaidoyer commun du RTE,
• Questionner l’absence de mention à la dimension sociale du RTE,
• Ne pas proposer d’outil unique aux différents territoires,
• Impulser le fait que chaque structure évalue ses trois impacts (Social, sociétal, environnemental