Comparatif concret : performance & risques. Ce que l'IA fait bien et ce qu'elle rate encore…

Contexte

Le terrain de jeu de cette confrontation était l'analyse de 6 tests utilisateurs pour concevoir un outil numérique métier à destination d'un public d'expert. Le niveau de maturité en termes de conception était intermédiaire pour cet outil complexe, avec la convergence sur un prototype exploratoire cliquable.

Les tests étaient au format d'1 heure en distanciel par utilisateur (enregistrement vidéo), langage français ou anglais. L'utilisateur était autonome sur le prototype numérique (partage d'écran), on lui demandait de réaliser différentes tâches selon un scénario d'usage prédéfini (7 fonctionnalités à tester).

L'analyse IA est intervenue après celle manuelle, avec l'utilisation de Google Notebook LM, soit une analyse textuelle des retranscriptions et des documents de contexte.

→ Durée d'analyse - l'IA supplante le mode manuel

La comparaison n'a pas duré longtemps sur cette dimension temporelle, puisque l'IA a mis 1 heure pour finaliser le processus tandis que le mode manuel a passé 10 fois plus de temps, soit 10 heures (dont 6 heures de visualisation des vidéos).

→ Quantité - l'IA aboutit à la moitié des résultats du mode manuel

Sur ce critère, 73 éléments ont été identifiés par l'analyse manuelle et 40 éléments identifiés par l'IA (dont 11 partiellement), soit un rapport d'identification de 55% (hors identification partielle). Aucun élément non-identifié en manuel n'a été proposé par l'IA.

→ Qualité - l'IA offre une analyse inégale des données

Comparativement à l'analyse manuelle, l'IA affiche une plus faible détection sur les critères d'utilisabilité (40%) que sur ceux d'utilité (66%). Cela peut s'expliquer à travers la part d'interprétation réclamée par les critères d'utilisabilité, par rapport à ce qui est dit explicitement par l'utilisateur. Ensuite, les dernières minutes d'enregistrement ne semblent pas avoir été analysées (sur aucun des 6 tests), ce qui crée un impact majeur car la fonction clé de l'outil testé n'est pas du tout ressortie parce qu'elle se trouvait à la fin du scénario. En revanche, deux alertes critiques ont bien été identifiées par l'IA.

→ Fiabilité - l'IA ne fait pas dans la subtilité

Globalement l'analyse IA n'appréhende pas la subtilité des verbalisations et exagère le trait, où l'analyse manuelle traduit plus fidèlement les nuances de la perception de l'utilisateur. Clairement deux résultats de l'IA sur des fonctions majeures induisent en erreur, avec des raccourcis approximatifs et l'emploi d'une terminologie inappropriée :

• L'IA évoque un « gain de temps massif » pour l'outil testé, alors que ce gain reste très hypothétique car soumis à un ensemble de conditions plutôt difficiles à mettre en œuvre, et qui n'étaient pas présentes durant le test.

• L'IA conclut que la fonctionnalité « d'assistance automatique est validée » à la suite des tests. En réalité, les utilisateurs ont invalidé la fonctionnalité d'assistance automatique de notre maquette, et s'ils ont verbalisé des besoins convergents c'était sans les avoir testés, donc nous ne pouvons parler de validation.

De manière plus ponctuelle, nous avons noté l'intrusion d'un cas spécifique dans les résultats de l'IA, sans avoir de récurrence interindividuelle (comme demandé dans le prompt), et donc cela n'aurait pas dû être notifié.

→ Capacité de synthèse - l'IA performante à défaut d'être exhaustive

L'analyse manuelle a basé sa synthèse globale sur quatre éléments clés (2 fonctionnalités validées + 2 limites), l'IA a relevé trois éléments en commun (2 fonctionnalités validées + 1 limite), soit une limite non-identifiée. L'alerte non-mentionnée par l'IA (même si verbalisée à plusieurs reprises) était de premier ordre dans le processus de validation : les données de démonstration utilisées lors du test étaient en décalage avec les données réelles des utilisateurs. Aucun élément non-identifié en manuel n'a été proposé par l'IA.

→ Résultats indirects - à chacun ses bénéfices

L'IA a l'avantage de générer automatiquement des images pour illustrer les résultats (sans contrainte de confidentialité / anonymat), ce qui offre un gain de temps et de désirabilité. De plus, l'IA engage spontanément des recherches complémentaires pour vérifier les concepts évoqués lors des tests (autres logiciels, types de format de données, modèles mathématiques…), c'est de nouveau un gain de temps comparativement à l'analyse manuelle. En face, un atout majeur de l'analyse manuelle réside dans l'appropriation des données. Cela va inévitablement se traduire par une aisance à parler des résultats et une capacité à illustrer ses propos.

→ Au final - l'IA gagne du temps / l'analyse manuelle limite les risques

Est-ce que nous avons besoin de diminuer la durée d'analyse au détriment de sa précision ? Ce serait opportun sur certains projets qui ont besoin d'aller vite (opportunité marché, disponibilité des équipes, courts délais…) et/ou qui ont des budgets limités. Sur d'autres projets, il serait préférable de verrouiller les éléments au fur et à mesure de la conception (gouvernance, déploiement complexe, forte concurrence…).

→ Modification du processus de conception et du mode de pensée

Si l'on accepte de modifier notre processus de travail avec l'IA, on peut faire plus d'itérations prototypage / test. C'est d'autant plus envisageable que les outils d'IA sont très performants sur le design-prototypage, même si cela induit une plus grande sollicitation auprès des utilisateurs (certains profils restant peu disponibles). C'est surtout un changement culturel, où l'on accepte de travailler avec une rigueur moindre et de prendre plus de risque sur l'instant, au profit d'une conception plus véloce à l'échelle globale.

Les outils évoluant très vite, cet article deviendra obsolète rapidement…