Dans la continuité de mon article précédent, j’ai relancé une nouvelle analyse IA en utilisant Claude cette fois-ci afin de pouvoir comparer les résultats avec mes analyses précédentes (Google Notebook LM et 100% manuelle).

Je suis resté sur le même jeu de données qui provenait de 6 tests utilisateurs (confrontation à un prototype exploratoire cliquable), dans l’optique de concevoir un outil numérique métier à destination d’expert. J’ai repris les retranscriptions de Notebook LM, car Claude (version en ligne) m’a demandé de lui convertir les fichiers vidéo au format texte.

→ Durée d’analyse - l’IA supplante toujours le mode manuel

L’IA va toujours 10 fois plus vite que l’humain. Claude a mis la même durée que Notebook LM, soit environ 1 heure mais avec une répartition du temps différente. Le processus a pris plus de temps au début avec le besoin de passer par un outil tiers pour la retranscription, mais le temps de réponse et surtout la finalisation des présentations ont été plus rapides ensuite. Quant au mode manuel, il avait duré 10 heures (dont 6 heures de visualisation des vidéos).

→ Quantité - l’IA n’identifie pas la moitié des résultats du mode manuel

Claude a bien identifié 68 éléments, soit une performance que l’on pourrait croire équivalente aux 73 éléments identifiés par l’analyse manuelle. Néanmoins sur l’analyse de Claude, > 50% des résultats ne sont pas exploitables (36 éléments) : 23 ne sont pas compréhensibles car mal formulés, 7 sont des répétitions (doublons) et 6 sont totalement erronés. Il ressort 32 éléments identifiés exploitables par Claude.

Par exemple je ne comprends pas ce résultat avancé par Claude : « Ergonomie du dessin insuffisante : raccourcis, double-clic, navigation en mode dessin ».

Au final, Claude est plutôt proche de Notebook LM qui avait aussi quelques erreurs dans ses 40 éléments identifiés.

→ Qualité - l’IA offre une analyse parcellaire des données

Claude affiche tout comme Notebook LM une plus faible détection sur les critères d’utilisabilité (41%) que d’utilité (65%) comparativement au mode manuel. Claude a d’ailleurs eu des difficultés pour différencier ces deux critères, j’ai dû lui donner mes définitions pour qu’il régule son analyse. Qualitativement, les résultats remontés par Claude sont rarement au bon niveau, soit trop micro, soit trop généraliste… Les résultats sont moins explicites car les phrases sont courtes, sans verbe et avec des mots mal-choisis dont certains sont en anglais.

Par exemple, je ne comprends pas ce résultat de Claude : « ✔ Notes spatiales ancrées pour traçabilité ».

Au final, l’analyse de Claude est moins exploitable que Notebook LM car il ne hiérarchise pas les résultats et tous les éléments sont mis à la suite avec des tirets. C’est au lecteur humain d’effectuer cet exercice de priorisation.

→ Fiabilité - l’IA devient plus subtile

Claude garde une forme de neutralité et n’exagère pas les propos des utilisateurs comme Notebook LM qui avait presque une tonalité commerciale, par exemple : « gain de temps massif ». Suite à ma demande d’avoir une meilleure récurrence inter-individuelle, Claude a scoré chaque résultat (ex : 4/6 utilisateurs), ce qui renforce la validité de son analyse. Je n’avais d’ailleurs pas fait apparaître ce score dans mes résultats du mode manuel (resté dans mon analyse back-office).

→ Capacité de synthèse - l’IA reste faillible pour extraire les enseignements clés

Claude a mis en avant 6 éléments de synthèse (3 avantages de l’outil et 3 limites) mais de la même manière que sur les éléments détaillés, ses enseignements clés restent peu exploitables.

Par exemple Claude avance en résultat clé : « Direction et philosophie produit validées par tous les testeurs ». J’aurais justement souhaité qu’il me décrive les directions et la philosophie, selon moi cette phrase de synthèse n’a pas de valeur analytique dans l’absolu.

Sur l’exercice de synthèse, Claude affiche des étiquettes neutres où Notebook LM essayait de donner une vision des résultats avec des titres engageants comme : « Assistance IA : La suggestion au survol s’impose face au 100% automatique ». Cette démarche de parcourir les résultats en lisant les titres me paraît plus pertinente, comme je l’avais réalisée sur le mode manuel.

→ Résultats indirects - les outils IA sont facilitants sur certains aspects

Claude offre un rendu visuel attrayant à la charte de mon organisation et répond à ma demande de sobriété, ce que n’arrivait pas à faire Notebook LM malgré plusieurs requêtes de ma part. Sur la forme, je pourrais presque montrer le visuel généré par Claude au client, alors que pour Notebook LM je ne pouvais qu’incruster quelques images. Le mode manuel combine les avantages des 2 outils IA, à condition d’y accorder plus de temps.  L’organisation temporelle est d’ailleurs plus souple avec l’IA qui agit partiellement en temps masqué. Je peux avancer l’analyse avec l’outil IA sur des petites séquences de travail de quelques dizaines de minutes entrecoupées, alors que pour l’analyse manuelle, je suis obligé de faire des séquences plus longues (3-4h) en adoptant un niveau de concentration élevé.

→ Au final - les outils IA ont des atouts marqués, sans concurrencer la performance manuelle (hormis la durée d’analyse)

Sur cet exercice Notebook LM reste plus proche de ma démarche manuelle d’analyse des tests utilisateurs : c’est-à-dire une rédaction précise d’une vision basée sur des enseignements détaillés. Les limites majeures des outils IA sont l’identification partielle des résultats par rapport à l’analyse manuelle, ainsi que des erreurs d’interprétation ou contre-sens qu’ils peuvent faire à tout moment.  Concernant Claude, il cherche moins l’interprétation, il reste factuel et met tous les résultats au même niveau ce qui ne facilite pas l’appropriation pour le lecteur. Si la forme visuelle des résultats de Claude est attractive, leur rédaction reste très perfectible.

Je pense que dans l’état actuel, j’aurais plus de travail à reprendre un document d’analyse de données issu de Claude que de Notebook LM. Cependant, Claude semble mieux réguler à partir de mes requêtes, là où j’avais l’impression de « tourner en rond » avec Notebook LM qui ne modifiait pas ou très peu le rendu. Le caractère ponctuel de cette étude sur des tests utilisateurs est clairement une limite à mon comparatif : l’apprentissage réciproque de l’humain et la machine par l’usage quotidien de ces outils pourrait changer les conclusions de cet article.