Comment évaluer un dispositif de mobilité ?

Vous avez mené une évaluation d’un dispositif d’une plate forme de mobilité du Grand Nancy, il s’agissait en l’occurrence d’un dispositif d’accompagnement du parcours permis de conduire, pouvez-nous nous expliquer la méthode ?

Cette évaluation a été menée avec Pierre Higelé et Nicole Sieffer dans le cadre des activités du Laboratoire Interrégional des Sciences de l’Education et de la Communication de Nancy.
Avant de pouvoir répondre à la question légitime « comment allez-vous évaluer » qui nous était posée, nous devions impérativement recueillir l’ensemble des éléments nous permettant de savoir « pourquoi il nous était demandé d’évaluer ». L’élément premier de la méthode que nous avons adoptée a donc été de constituer un comité de pilotage et d’inviter les participants à approfondir les motivations qui sous-tendaient la demande d’évaluation.
Au-delà du besoin de légitimer l’action et l’évaluation, d’où le recours à une équipe de recherche en Sciences de l’Education, externe au dispositif, nous avons pu faire émerger trois motivations principales :

• Rendre compte de l’action aux financeurs mais aussi en interne à la hiérarchie et aux autres composantes de la plateforme,
• En apprendre de l’action et sur l’action pour la renforcer et/ou la faire évoluer,
• En apprendre sur les effets de l’action sur les personnes qui l’avaient suivie.

Nous avons alors pu travailler sur les indicateurs, à l’intérieur des trois catégories suivantes :

• Les résultats avec comme indicateurs : les réussites, les échecs, les parcours en cours, les abandons…
• La cohérence formelle du dispositif avec comme indicateurs : son calibrage, son inscription dans la plateforme, les moyens humains et les compétences mobilisées au regard des objectifs…
• Les conséquences sur les personnes avec comme indicateurs : le ressenti des bénéficiaires, leur regard sur parcours vers le permis de conduire et vers mobilité, leur situation en sortie de dispositif…

Nous avons alors seulement pu déterminer avec précision le « comment évaluer », en référence aux raisons d’évaluer et en relation avec les indicateurs choisis. Nous avons tout d’abord proposé la mise en œuvre d’une évaluation quantitative pour mesurer et analyser les résultats observables de l’action. Nous avons ensuite suggéré de compléter cette évaluation quantitative par deux évaluations qualitatives. La première pour déterminer la cohérence du dispositif, avec des observations en situation, des entretiens avec les acteurs de la plateforme et une analyse formelle de la pertinence potentielle des actions proposées. La seconde pour mesurer les effets des actions sur les bénéficiaires, à partir d’entretiens semi-directifs pour une analyse thématique des réponses obtenues.

A quels résultats êtes-vous parvenu et pour quelles préconisations ?

Nous rappelons que les objectifs du dispositif étaient d’accompagner des bénéficiaires par la formation vers la réussite à l’examen théorique, de les inciter à s’inscrire dans des écoles de conduite pour poursuivre leurs parcours vers le permis de conduire et, le cas échéant, de leur proposer des cours complémentaires sur simulateurs de conduite.

L’évaluation quantitative nous a permis tout d’abord de constater que ce dispositif avait un vrai pouvoir d’attraction et répondait à un besoin réel. Bien au-delà des prévisions, plus de 900 personnes sont venues au moins une fois sur le dispositif en 3ans et plus de 200 personnes sur la période de référence de 6 mois choisie pour l’évaluation.
Nous avons également pu constater que la proportion de femme venues sur le dispositif était plus importante que celle des hommes (près de 60%). L’âge moyen d’arrivée sur le dispositif était par ailleurs sensiblement plus élevé que l’âge moyen d’obtention du permis de conduire (plus de 30 ans sur le dispositif contre environ 21 ans pour le permis de conduire). Nous avons observé que près de 10% des bénéficiaires avaient même plus de 50 ans. Plus de la moitié des bénéficiaires n’avaient par ailleurs aucun diplôme (niveau VI). A contrario seuls 12% avaient un diplôme de niveau IV. Près de 70% des bénéficiaires venaient par ailleurs des ZUS.
Le dispositif recevait également, sans distinction, des personnes déjà inscrites en école de conduite (40% des bénéficiaires) et des personnes non-inscrites, avec toutefois l’objectif de les voir s’inscrire pour suivre un parcours de formation complet. En termes d’assiduité, un tiers des bénéficiaires ne sont venus qu’à une reprise tandis qu’un tiers seulement ont été assidus, avec plus de 9 présences aux cours dispensés. Le taux de réussite au code s’est révélé intéressant chez les personnes venues régulièrement, deux personnes sur trois avaient ainsi réussi l’examen au bout de douze mois, validant ainsi les objectifs initiaux de l’accompagnement.

L’évaluation de la cohérence du dispositif nous a permis de constater que celui-ci avait visiblement été sous-dimensionné ou tout au moins que rien n’avait été prévu pour anticiper des demandes aussi importantes. L’entrée sur le dispositif était avant tout administrative, sans évaluation de niveau ou de compétence, sans fléchage possible vers d’autres dispositifs de la plateforme. Aucun profit n’était ainsi tiré de la complémentarité possible des offres de la plateforme. Ce déficit d’articulation était d’autant plus préjudiciable que les parcours vers le permis de conduire sont souvent longs, avec des pauses mais aussi des bifurcations.
Le choix et l’utilisation des supports étaient par ailleurs parfaitement adaptés aux publics en difficulté, pour la partie code tout au moins. Le niveau de compétence des accompagnateurs était également adapté aux objectifs précis d’accompagnement vers le code.

L’évaluation des effets de l’action sur les bénéficiaires nous a permis de constater que les abandons précoces, pour nombreux qu’ils étaient, n’étaient pas forcément des échecs. Ils pouvaient même relever d’une la prise de prise de conscience : « je peux réussir le code sans l’aide du dispositif » ; « le dispositif n’est pas adapté à mes besoins » ; « je ne réussirai pas non plus avec cette aide, mais je vais envisager d’autres solutions ». Le dispositif avait par ailleurs été globalement apprécié, tout comme l’implication des acteurs de la plateforme, même par ceux qui n’étaient pas venus régulièrement. Les réussites au code avaient paradoxalement pu devenir de véritables pièges, avec des situations de détresse extrêmes pour plusieurs bénéficiaires un an plus tard, sans permis de conduire, endettés par des parcours de formation conduite longs et couteux, en perte totale de confiance en eux-mêmes. En interrogeant les bénéficiaires, nous avons relevé que seules 20% des personnes ayant obtenu leur code étaient, un an après, en possession de leur titre de conduite. Si nous élargissions à l’ensemble de l’échantillon, nous avions à peine 3% de réussite au permis de conduire.

En termes de préconisations, nous avons pu demander aux acteurs du dispositif de clarifier les critères de choix des personnes pouvant entrer sur le dispositif. L’idée n’était pas de limiter artificiellement les entrées mais d’accueillir en priorité les personnes pour lesquelles l’offre était adaptée et d’orienter les autres vers des offres correspondant à leurs besoins mais aussi à leurs compétences pour ne pas les laisser sans solution. Cette clarification des critères d’entrée devait être accompagnée d’une évolution des objectifs de l’action afin qu’ils ne se limitent pas à la seule obtention du code.

Nous avons également suggéré de faire évoluer le dispositif d’accompagnement pour qu’il soit efficient lors de la phase pratique, notamment en développant une offre de conduite supervisée, ce qui impliquait de suivre les personnes au-delà de l’objectif immédiat de réussite au code. Ce suivi était à nos yeux d’autant plus essentiel que les véritables difficultés et enjeux financier se jouent lors de la phase pratique du permis de conduire. L’idée d’un partenariat avec des écoles de conduite traditionnelle a également été avancée à ce sujet.
Il nous a également semblé important de mieux articuler le dispositif d’accompagnement avec les autres dispositifs de la plateforme pour favoriser les parcours transversaux, substituer aux abandons des passages de relai.

Pour mieux répondre aux situations problématiques nous avons mis en exergue le besoin d’accompagner certaines personnes dans la prise de conscience de leur incapacité à obtenir le permis de conduire pour les orienter vers d’autres solutions. Ces préconisations ont été intégrées au rapport d’évaluation, présentées lors d’un comité de pilotage de la plateforme, validées et prises en compte dans la perspective d’une évolution en cours d’action des dispositifs.

Quels sont selon vous les principaux éléments à prendre en compte lorsque l’on souhaite évaluer un dispositif de mobilité ?

Il nous faut rappeler qu’un dispositif mobilité est un dispositif qui cherche à accompagner des personnes vers la mobilité. L’adjonction directe des termes « dispositif » et « mobilité » est un raccourci qui peut masquer non seulement le changement concret de pratiques mais aussi et surtout l’évolution des représentations de la personne qui constituent les objectifs des actions mises en œuvre. La mobilité est avant tout le résultat d’un processus éducatif et formatif, avec l’accompagnement comme outil privilégié de construction des compétences attendues.
L’évaluation d’un dispositif d’accompagnement vers la mobilité est donc une évaluation concernant un projet pédagogique dont elle devient un élément essentiel. Elle doit être centrée sur le parcours du bénéficiaire vers la mobilité, sur la dynamique d’action et de réaction qui a été instillée, au-delà du résultat observable directement.

La modélisation de l’accompagnement vers la mobilité en termes d’acquisition des éléments de compétences définie ci-dessous, nous permet de caractériser l’évaluation comme le moment où l’on cherchera à vérifier :

1. Ce que le bénéficiaire a acquis en termes de techniques et d’habiletés
2. Ce que le bénéficiaire a construit en termes de compréhension de l’environnement dans lequel il mettra ces techniques en œuvre
3. Ce que le bénéficiaire est capable de mobiliser en termes de ressources internes et externes pour s’adapter, à chaque instant, aux contextes dans lesquels va s’inscrire sa mobilité
4. Ce que le bénéficiaire a appris de lui-même et sur lui-même pour trouver le désir, l’énergie et la volonté de construire sa mobilité

En parallèle, cette vérification exigera d’évaluer, sur le dispositif, les moyens disponibles à chaque niveau pour accompagner le bénéficiaire, leur utilisation, leur accessibilité, leur pertinence théorique et pratique.

La principale caractéristique de ce modèle utile à l’évaluation réside dans le fait qu’une partie seulement des éléments de compétence permettant une mobilité durable sont directement observables chez les bénéficiaires. De surcroit, la part non-observable est celle qui conditionne le plus l’échec ou la réussite personnelle du bénéficiaire sur la durée et, par extension et cumul des parcours, celle du dispositif mobilité tout entier. L’évaluation doit donc être construite pour prendre en compte ces éléments non-observables tout comme le dispositif doit être calibré pour les solliciter. Elle doit recueillir la parole des bénéficiaires et de fait comporter un volet qualitatif, avec des observations en situation, des entretiens avec les bénéficiaires, de l’autoévaluation et des analyses croisées des données recueillies. Elle doit également déboucher sur des préconisations utiles au prolongement des actions et à l’amélioration du dispositif.

L’évaluation gagne à ne pas être détachée de l’action et d’un processus d’autonomisation en cours. Il n’est que rarement possible de considérer qu’à la sortie d’un dispositif d’accompagnement, la compétence mobilité est acquise de manière durable. La pertinence des actions ne se juge donc pas de manière binaire selon les catégories « réussite » ou « échec ». Il est ainsi nécessaire d’imaginer l’évaluation comme faisant partie intégrante du dispositif d’accompagnement vers la mobilité, de la construire pour qu’elle s’inscrive dans l’action et en cours d’action, avec l’objectif d’en apprendre de l’action et sur l’action et même de permettre aux bénéficiaires de s’engager dans un processus réflexif.

Si nous prenons les trois principales catégories d’évaluation des dispositifs de formation, l’évaluation d’un dispositif consacré à la mobilité devrait systématiquement articuler un volet sommatif pour mesurer ce qu’il advient en fin de processus et rendre compte de l’action, un volet diagnostic pour analyser les besoins et identifier les acquis et enfin un volet formatif pour renforcer la construction des compétences en cours d’action.