Monographies

Audyssées

Située en Haute Vallée de l’Aude, la CTE Audyssées est une SCIC conventionnée depuis 2020. Elle est un centre de réflexion et d’incubation de projets éthiques et écologiques.

Son objet et son modèle économique sont entièrement dévoués à l'expérimentation du RTE, et liés à la mise en place d'un Territoire zéro Chômeur de Longue Durée (TZCLD).

Le dispositif a pour spécificité de reposer sur une convention avec le département qui permet à la CTE de compléter la rémunération des bénéficiaires du RSA avec le RTE.

La coopérative propose des cycles d’ingénierie de projet, qui comprennent plusieurs étapes distinctes : des Audyssées thématiques, des ateliers d'émergence de projets, et la mise en place de comités de pilotage pour aboutir au déploiement de projets de RTE. Le cycle ne contient pas de phase d’évaluation formalisée, mais il est question d’introduire un cadre qui le permette.

Entretiens réalisés avec Joëlle Chalavoux, Co-présidente, et Raphaël Soulier, coordinateur d’Audyssées.

Version actualisée le 31 mai 2024

VISION ET OBJECTIFS DE L'EVALUATION

Chez Audyssées, l’évaluation englobe un domaine vaste qui sert à mieux appréhender et à mesurer les effets d’une action. Dans la pratique, elle prend la forme d’un ensemble de critères regroupés dans des tableaux d’indicateurs permettant d’atteindre des objectifs.

L’impact est un terme qui est utilisé au sein de la CTE. Il renvoie à ce qui est “source de changement”. L’impact doit être visible, donc chiffrable ou établi sur la base de critères d’évaluation et doit se questionner à plusieurs moments afin d’observer une évolution, par exemple dans les relations interpersonnelles.

“On a collectivement à répondre à des enjeux avant même de parler de transition, et pour qu'on puisse tous parler de la même chose,  il faut des évaluations crédibles et communicables”

La démarche d’évaluation est considérée comme importante, notamment au moment de la phase de développement, pour prendre du recul et montrer aux partenaires l’utilité du projet. Elle est également utile pour l’amélioration continue du dispositif, afin de rester dans une approche d'expérimentation scientifique s'appuyant sur des données mesurables et comparables adaptées aux objectifs. Cette phase reste compliquée à appréhender, car l’évaluation d’impact se base sur les enjeux qui touchent les financeurs qui établissent eux-mêmes leurs critères. Il est d’ailleurs important de préciser qu’à la différence des financeurs, chez Audyssées : “Nous revendiquons un droit à l'échec, inhérent aux projets de transition. C’est une caractéristique que l’on omet trop souvent”.

En termes d’indicateurs d’impact, ce qui importe chez Audyssées est de démontrer la dynamique écologique territoriale, notamment l’attractivité du territoire, sa “capacité d’hospitalité”. Selon eux, il est possible de l’estimer en s’attachant, par exemple, à analyser le nombre de jeunes qui trouvent un travail qui fait sens pour eux. “L’indicateur de plaisir, la notion de réseau, le sentiment d’appartenance, ce sont ces évolutions que l’on tente de qualifier” : Au-delà de l’impact économique, l’impact social est intéressant à observer, et cela à deux niveaux : D’une part pour les RTE, et d’autre part, pour les équipes permanentes .

Un autre indicateur important concerne le fait de parvenir à faciliter la coopération, à dynamiser la filière d'acteurs économiques autour de la transition écologique. C’est la notion d’animation territoriale qui est  importante ici, dans laquelle la CTE a un rôle à jouer.

“Pour l’instant les évaluations sont “subies”. Mais, en prenant nos critères d'évaluation de projet, nous pourrions être dans l’analyse de l'opérationnel plus que dans des résultats”.

L’enjeu de l’évaluation est de parvenir à toucher la commande publique avec des demandes de prestation justifiées par la valeur apportée au territoire : Inverser la tendance en formulant une demande plutôt que répondre à un appel à projets. Des échanges ont débuté avec la communauté de communes sur ce qu'ils peuvent aller chercher en financement pour qu’Audyssées intervienne en prestation. Le Directeur Général des Services semble dans une démarche de coconstruction et une vision à long terme. On observe ici qu’une autre façon de gérer peut être acceptée. La vision de “citoyens experts” est entendue, et représente une option pour les collectivités qui sont confrontées à des difficultés auxquelles elles ne savent pas répondre. Aujourd’hui, on observe qu’elles commencent à s’engager dans d’autres réflexions : “C’est exactement ce que nous recherchons et qui nous permet d'intégrer les sphères de l'impact territorial, qui est notre objectif de départ”.

Depuis peu, Audyssées se relie au dispositif TZCLD sur le volet d’insertion professionnelle : l’impact du territoire pourra être évalué conjointement ou en parallèle, en combinant les effets observés dans le déploiement conjoint des deux dispositifs et leur imbrication.

PRATIQUES, OUTILS, DISPOSITIFS D'ACTEURS

Outils :

• Lors du montage du projet : Des fiches métiers avaient été rédigées et il pourrait être intéressant de les comparer avec ce qui est observé aujourd’hui pour identifier les écarts dans les estimations et les définitions. Cela pourrait être un indicateur intéressant pour réaliser en quoi ce qui avait été projeté s’est concrétisé dans la pratique ou non, et pourquoi.

• Au quotidien : Pour la gestion de la coopérative, ce sont les retours d’expériences qui sont favorisés, sans qu’il n’y ait de réels indicateurs ou quelconque formalisation. Des outils d'évaluation sont établis avec différents critères sociaux, économiques et environnementaux. Il font l'objet d'un travail de recadrage du processus de RTE. Cela se fait toujours de manière informelle.

• Au cours des ateliers d’émergence de projets : Un diagramme de Kiviat a été élaboré pour sélectionner les projets de RTE, sur la base de huit critères, pour visualiser les aspects positifs des projets et écarter les domaines non concernés, et questionner l’apport à l’économie locale et à la personne. Dans les faits il n’est pas utilisé, c’est par l’intelligence collective, sans cadre méthodologique que les décisions se prennent “selon les appétences de chacun”. Avançant sans méthodologie partagée, l’équipe est néanmoins parvenue à identifier que son besoin s’oriente vers une évaluation de la démarche plutôt que du résultat, ce qui importe est de comprendre par quel processus le dispositif peut se déployer et les conséquences générées.

Ce qui fonctionne :

• Les Audyssées mensuelles, et de manière générale les rencontres, les participations aux foires, et l’axe communication autour ces évènements qui est à soigner pour les rendre visibles. L’embauche d’un chargé de communication s’est avérée concluante, voire indispensable.

Ce qui peut être amélioré :

• Les cycles d'ingénierie de projets  doivent être réorganisés, notamment le format d’ateliers d’émergence, indépendant des audyssées thématiques avec des embryons de projets et des candidats au RTE et à la participation aux comités de pilotage indépendants.

“On est en recherche d’évaluation plus cadrée, il faut doubler, garder ce format et ajouter quelque chose qui nous dépasse, même si c’est de l’autoévaluation, pour se décentrer, nous permettre de sortir de nos œillères. Et pour nous évaluer nous-mêmes”.

Illustration des principales dynamiques partenariales à l’œuvre  dans la démarche

CONCLUSION

Chez Audyssées, l’équipe a démontré une capacité à proposer un système d’ingénierie et une mobilisation du territoire adaptés pour démontrer la plus-value du projet. Les pratiques évaluatives existent pour réfléchir aux pratiques et se réajuster si besoin, mais elles sont en cours de formalisation. La question du cadre posé par les personnes qui pilotent la coopérative est un enjeu important, car si l’aspect informel de certaines pratiques est revendiqué, l’expérience à démontré qu’il était nécessaire d’introduire un regard extérieur notamment par la mobilisation d’un conseil scientifique pour assurer une neutralité et introduire une certaine rigueur dans les cadres relationnels au sein du collectif, et ainsi éviter les difficultés dans la coordination interne de la coopérative.

Un lien entre le dispositif d’accompagnement et le dispositif de suivi et d’évaluation peut permettre, de l’identification des porteurs de projets à la qualification du projet, d’analyser les impacts et de les démontrer avec plus de cohérence.  C’est pourquoi l’introduction de l’axe évaluatif dans le cycle d’accompagnement des porteurs de projets fait partie des réflexions.

Besoins pour cheminer vers un référentiel commun :

• Déterminer une ligne directrice avec les mêmes questionnaires pour avoir un outil commun afin de favoriser la cohésion entre les différentes CTE
• Elaborer un budget contributif pour les gens qui participent à la démarche d’évaluation, pour créer des interactions sans verticalité

• Proposer une vraie expertise sur l’animation de la démarche et l’analyse des données, avec indépendance et neutralité, pour optimiser la compréhension des réponses et leur mise en application

• Impulser ce travail dès que possible, en 2025 au plus tard
• Faire valider par Sophie Swaton une définition commune du RTE. Notamment en réfléchissant à la façon dont le RTE peut être adaptable à des structures qui ne sont pas des CTE
• Réfléchir à l’institutionnalisation du RTE, pour le faire entrer dans le domaine public. Avoir des ambassadeurs régionaux, un véhicule régional qui anime différentes CTE par exemple, c'est-à-dire penser au format essaimage. L’évaluation peut aussi servir à considérer l’approche globale.
• Créer de la proximité, être dans la co-construction, sans lourdeur ou bureaucratie.

Tilt

TILT est une Société Coopérative d’intérêt Collectif (SCIC) à vocation Coopérative d’Activité et d’Emploi (CAE). C’est la première CTE du réseau Zoein.

Elle héberge et accompagne des porteurs de projets, et constitue une alternative à la création d’entreprise individuelle.

Tilt a été accompagnée dès sa création en 2019 dans le cadre d’une mission de définition d’un dispositif de suivi et d’évaluation de la Coopérative Tilt et de l’expérimentation du RTE. La démarche d’évaluation a ainsi été initiée dans le cadre de la dynamique de coconstruction de la coopérative. Aujourd’hui, le stade de développement de la Coopérative lui permet d’envisager à déployer sur une stratégie d’évaluation et une gouvernance associée.

Entretiens réalisés avec Jean-Christophe Lipovac, à la direction de la Coopérative durant ses quatre premières années d'existence, Camille Frazzetta entrepreneure salariée engagée dès le lancement de la Coopérative, Isabelle Robert, chercheure, sociétaire et membre fondateur de la Coopérative.

Version actualisée du 31 mai 2024

VISION, OBJECTIFS DE L'EVALUATION

L’évaluation est entendue chez Tilt comme un outil de gouvernance au service d’une démarche de progrès, dont les enjeux sont doubles :

• Soutenir les entrepreneurs dans leur démarche de questionnements et d’amélioration de leur projet entrepreneurial et dans la consolidation de leur modèle économique,

• Leur permettre une réflexion sur leur positionnement dans le monde professionnel en lien avec leur place dans la société, le sens de cette trajectoire choisie avec la prise en compte de ce qu’elle apporte et ce qu’elle coûte, et de permettre de tirer des enseignements sur l’aspect expérimental du RTE pour construire un modèle en lien avec des valeurs et des ambitions spécifiques identifiées.

L’Impact renvoie à l’idée d’essayer de voir les externalités négatives ou positives, en partant du postulat qu'”on ne connaît pas le but à atteindre au début du processus”. La coopérative Tilt adopte une posture de prise de recul, favorisant  un cadre de questionnements et de progrès. Terme moins jargonneux qu’externalités, le terme d’effets est préféré, il renvoie à quelque chose de plus accessible et palpable, les effets pouvant être négatifs ou positifs, anticipés ou non.

L’évaluation d’impact est en résumé un outil d'amélioration continue des actions entreprises au sein de la coopérative et de celles relatives aux projets économiques des entrepreneurs.

“S’engager dans une démarche d’évaluation, c’est se placer dans une posture modeste de croisement des regards pour mettre en lumière ce que l’on a fait qui n’avait pas été projeté initialement”.

PRATIQUES, OUTILS, DISPOSITIFS D’ACTEURS

Démarche

L’année de sa création, Tilt a été accompagnée pour réaliser l’évaluation du dispositif RTE. La démarche d’évaluation s’est donc déroulée en même temps que la phase opérationnelle et elle s’est ancrée dans une dynamique de co-construction de la coopérative avec ses parties prenantes : sociétaires, premiers porteurs de projets, partenaires de la Coopérative (CUD, Conseil Régional, ADEME, etc.).

Références

L’objectif de transformation sociétale dans lequel s’inscrit le projet a amené à un parti pris méthodologique en faveur de l’analyse de contribution. Cette approche vise à appliquer à l'évaluation d’impact les principes de l’évaluation basée sur la théorie du changement. Elle s’appuie sur les étapes identifiées dans la théorie du changement formulée par les parties prenantes elles-mêmes.

L’analyse de contribution cherche à comprendre pourquoi et comment une intervention a atteint les objectifs attendus, sans pour autant attribuer un résultat à l’intervention déployée, mais en cherchant à renforcer la confiance en la contribution apportée, entre autres facteurs de réussite. Ce socle théorique paraît le plus adapté à des projets expérimentaux et novateurs comme le RTE.

Intervenants

C’est le cabinet d'expertise Quadrant Conseil qui a formalisé la méthodologie et les outils de suivi et d’évaluation de la Coopérative. Le dispositif de suivi et évaluation s’est construit au tout début de la Coopérative. La pratique de ce dernier n’était pas encore très intuitive. Mais la méthode a été conçue de manière très participative, “en marchant”, avec un objectif d’appropriation par le collectif de la méthode et des outils. Les outils proposés ont bénéficié d’une période de test pour permettre leur bonne utilisation.

Proposition

Le travail qui a été mené a orienté sur le suivi et l’accompagnement des trajectoires des entrepreneurs. Aujourd’hui, sans chercher à connaître le nombre de clients ou le montant du chiffre d’affaires, il est important de s’attacher à observer l’évolution de la personne dans son environnement. Ce recueil n’est pas forcément formalisé, il apparaît dans les comptes-rendus de réunions mais ne fait pas l’objet d’un recensement.

L’outil des “entretiens-récits” qui ont été testés, mais qui n’ont pas été systématisés, doit amener un plus grand formalisme.

AJOUTER IMAGE

“Les temps de feedback, dans l’idéal, s’instaurent de manière assez légère dans la culture de travail, comme le tour de météo”. Cette culture a besoin de s’établir dans un contexte où l’on prend soin d’être dans une réflexivité sur soi et sur les dynamiques à l'œuvre dans le groupe”. Ce point reflète une différence majeure entre l’esprit de la coopérative et le monde de l’entreprise classique, dont les ambitions sont de travailler autrement et de promouvoir d’autres modes de vie. Le travail d’évaluation a permis de réfléchir à la définition d’espaces de dialogue et d’action au sein de la CTE.

Zoom sur ces espaces

La réunion cercle accompagnement, mensuelle, très opérationnelle, permet une prise de hauteur sur les pratiques, mais n’est pas suffisante.

La réunion vie coopérative, où l’entrepreneur est questionné sur ses besoins non couverts et ce qui pourrait être développé. C’est l’approche servicielle qui est mise à l’honneur dans ces réunions. Avec mise en place de retours d'expérience et création d’espaces d’évaluation des entrepreneurs où on va chercher à savoir si les offres proposées correspondent aux besoins formulés et identifiés.

Le cercle soin qui sert directement l'accompagnement des entrepreneurs. Parmi les objectifs poursuivis, il s’agit de trouver un alignement entre ses valeurs, son activité et le projet politique de Tilt et de s’y engager.  Autres fonctions du cercle : Poser comme un sujet de travail la qualité des relations,  favoriser l’inclusion au sein de Tilt, et par ailleurs réceptionner les tensions et conflits au sein de la coopérative et proposer des solutions de régulation, et encore prévenir l’épuisement.

Le cercle recherche-action & évaluation/capitalisation, pour mettre en place les “entretiens-récits”, s’assurer que les porteurs de projets sont formés, systématiser et organiser une sorte d’université éphémère comme celles qui se sont déroulées en mai 2022 et qui avaient permis une mise en récit du travail engagé avec Quadrant Conseil et permis de partager et de clôre le travail réalisé.

Nos réussites et points d'amélioration

Ce qu'on a réussi :

A construire un vrai alignement entre les valeurs individuelles et collectives, dans le groupe, pour co-construire et s’approprier les échecs et réussites ensemble.

A instaurer des réunions vie coopérative pour créer une relation de confiance dans un espace où la parole est libre, dans lequel les entrepreneurs ont pu s’engager.

A mettre en place un cercle accompagnement et un cercle soin, entendu comme un espace de travail fédérateur.

Ce qu'on doit améliorer :

Le travail autour des “entretiens-récits” n’a pas été finalisé bien qu’il soit un élément central pour faire la preuve des multiples effets des projets individuels et de la coopérative, en particulier à l’échelle territoriale.

L’équipe partage la difficulté d'être une structure sans lieu unique de travail en commun, sans un ancrage physique qui permette de faire de l’informel, nécessaire pour partager des retours en temps réel.

Les dynamiques partenariales à l'œuvre

Illustration des dynamiques partenariales à l’œuvre  dans la démarche

L’apport d’Isabelle Robert, chercheure, membre sociétaire fondatrice, et qui accompagne ponctuellement les entrepreneurs de Tilt

Entretien mis à jour le 23 mai 2024

L’évaluation : Valeurs et vision

Il existe des écueils importants dans les démarches d’évaluation qu’on tente de standardiser à tout prix. Ces outils omettent les sciences sociales, ils sont développés par des ingénieurs, dans une logique cartésienne. Mais lorsqu’on les emploie, on ne se pose pas les bonnes questions, on met de côté beaucoup d'éléments qualitatifs car on évalue juste ce qui peut être évalué. On a construit des outils qui font émerger des éléments mesurables, mais dès qu’on choisit des métriques on occulte autre chose. Et bien que ces outils omettent l’aspect fondamental de la dimension humaine, ils sont beaucoup utilisés et ne font l’objet que de peu de critiques.

L’enjeu réside dans le fait de s'accorder en collectif pour savoir pour quoi on évalue et ne pas tomber dans le risque de faire un travail “facile” où on se replie sur certains indicateurs parce qu’on a accès aux informations nous permettant de la faire.

Illustration sur la base de la démarche d’évaluation d’un projet entrepreneurial : “On peut se réfugier derrière des indicateurs sur les entrants, sortants, mais ce dont on a besoin c’est de qualifier les externalités positives, et ça c’est très compliqué, ça se fait de manière longitudinale avec plein d’acteurs. Et il faut accepter qu’il restera tout de même un biais méthodologique”. En l’occurrence, il faut se concentrer sur les barrières invisibles du projet entrepreneurial, réfléchir à comment on évite de tomber dans l’élitisme, comment on crée de la mixité sociale. Mais les codes sociaux, le capital social ne sont pas quantifiables, alors on se concentre sur d’autres données.

Exemple avec les vêtements en matière de fast fashion : La métrique de référence c’est le poids des matières, ce qui est léger est moins impactant sur l’environnement, donc on va fabriquer des vêtements de plus en plus légers sans tenir compte du fait que ces vêtements vont durer moins longtemps. C’est à ce genre d’hérésie qu’on est confrontés.

Retour sur une méthode : L’analyse du cycle de vie

Parmi les méthodes d’évaluations qui sont plébiscitées par les financeurs, on retrouve l’analyse du cycle de vie, “méthode simple et presque magique, où il suffit de rentrer des données pour obtenir des résultats précis” permettant de déterminer les impacts environnementaux d’un produit, de l’extraction des matières à sa fin de vie. Pourtant, puisque cette méthode se cantonne à des outils basés sur la productivité, on ne sort pas de la logique de volume. On observe ainsi des situations où des chercheurs ayant réalisé une analyse du cycle de vie sur le pain, en arrivent à la conclusion qu’avec une méthode agroécologique exigeante on arrive au même résultat en termes d’impact qu’en fonctionnant en conventionnel. Des éléments fondamentaux comme la revitalisation du village n’étant pas pris en compte.

Mais malgré cela, ces outils se veulent rassurants, ils permettent un résultat communicable, et  on s’oriente même de plus en plus vers les ACV sociales, alors même que de nombreux exemples démontrent à quel point cet outil est totalement insuffisant et doit être complété par des outils qualitatifs ad hoc liés à des filières ou des territoires.

L’ACV territoriale est, quant à elle, plus adaptée pour réfléchir en quoi on peut construire un système d’acteurs, identifier les points positifs chez certains, pénaliser certains autres. Ce qui est intéressant c’est de comprendre comment évaluer la qualité des écosystèmes, évaluer les transferts de connaissances, les relations affectives.

Aujourd’hui, l'évaluation est devenue nécessaire pour que l’ESS prouve sa légitimité. Elle doit apporter des preuves pour être crédible. Car le problème est que les critères des acteurs financiers sont des critères de croissance et que le paradigme sociétal auquel l’ESS tend n’a pas les mêmes valeurs et croyances que celui dans lequel l’évaluation se réalise. Même les entreprises classiques sont rentables au bout de vingt ans (Vinted commence juste à l’être, Uber l’est depuis deux ans), donc un secteur qui expérimente beaucoup doit forcément être soutenu au niveau institutionnel pour être pris en considération.

Recommandations pour s’engager dans une démarche évaluative au sein du Réseau Zoein France

Les dispositifs innovants tels que la CTE Tilt inventent un autre paradigme sociétal mais reste pour le moment obligés de se conformer à certaines exigences pour pouvoir expérimenter, et notamment à se confronter à ces évaluations non pertinentes. Il est donc préférable de se conformer à ces injonctions en apportant quelques indicateurs clés pour donner satisfaction aux financeurs, tout en s’intéressant à comprendre comment on peut évaluer qualitativement sans s’enfermer dans des méthodes qui dépendent d’un paradigme vieillissant.

Il faut jouer avec le système dans le cadre de cette obligation à rendre des comptes, en se mobilisant dans des collectifs, et en identifiant les facteurs clés de succès, les freins et les leviers. Il s’agira alors de construire des dynamiques à partir des sphères fonctionnelles, et d’observer comment les acteurs peuvent se renforcer l’un l’autre grâce à la coopération.

Pour cela, la théorie des pratiques en sociologie peut être inspirante : S’arrêter sur une pratique, l’analyser, réfléchir aux normes sociales et croyances qui sont allouées à cette pratique, donne une vision beaucoup plus holistique de ce qui va marcher. C’est au final se demander comment changent les normes, comment on alloue les compétences pour pouvoir se les approprier.

On est dans un jeu de pouvoir, il faut pouvoir jouer sur la durabilité émotionnelle, restreindre l’offre en arrêtant la nouveauté. Dans les circuits courts du secteur textile, beaucoup de petites entreprises bougent et sont écoutées. Pour soutenir le secteur de l’ESS il faudrait que les expérimentations puissent être exposées, visibilisées, pour insuffler des idées sur une façon d’agir différente.

CONCLUSION

Chez Tilt, “l’évaluation fait partie intégrante du dispositif, au même titre que les autres actions mises en œuvre, car elle permet aux différents acteurs d’apprendre au fur et à mesure de

sa mise en œuvre, et de modifier la façon dont ils considèrent le problème à traiter et envisagent les solutions”.

En tant que CAE qui accompagne à l’entreprenariat écologique, elle a vocation à soutenir les projets dans leurs démarches entrepreneuriales soutenables, donc d’aider les entrepreneurs à analyser les effets de leur activité.

La dynamique créée par cette démarche d'évaluation-suivi a permis de mettre en place des instances et des espaces qui favorisent les échanges et retours d’expérience, ce qui influence positivement la dynamique collective.

Malgré l’engagement de l’équipe dans l'expérimentation proposée par quadrant Conseil, les entretiens-récits, élément essentiel de la démarche, n’ont pu être mis en oeuvre, et aujourd’hui, avec le niveau de maturité du projet et la stabilité financière qui s’établit, la CTE  a structuré un cercle d'accompagnement et désire approfondir le développement et l’ancrage d’outils dans ses pratiques. L’équipe témoigne également de sa volonté de structurer un cercle recherche-action pour faire lien avec le travail sur l’évaluation des pratiques.

Besoins pour cheminer vers un référentiel commun :

• Prendre soin du vocabulaire, pour montrer notre approche et créer une communauté pour éviter la récupération et créer notre identité
• Être en prise avec la réalité des structures, en émergence notamment, et imaginer des choses à la hauteur des moyens en temps et compétences dont on dispose, de ne pas accoucher d’un résultat trop ambitieux qu’on ne sait pas mener
• Se poser la question de : Qu’est ce qu’on en fait ? Comment va nous nourrir ce travail dans nos pratiques ? Nourrir la relation avec les partenaires ? Comment il nous fédère ? Car le risque de produire un rapport qu’on n'utilise pas est réel
• Envisager de faire du processus d’évaluation un enjeu de montée en compétences de la dynamique collective