L’intelligence artificielle est devenue une des briques essentielle de l’IIoT et nécessite désormais des outils pour en évaluer la performance. A l’occasion de la journée technique « IIoT, Capteurs intelligents et Métrologie », organisée le 5 novembre par le Collège français de métrologie (CFM), la création d’une plateforme dédiée à la métrologie de l’IA a été évoquée par le LNE.
Avec le développement des capteurs intelligents dans les usines, l’évaluation des performances des algorithmes traitant l’information s’impose aujourd’hui comme un véritable enjeu industriel. Cette question, au cœur de l’usine 4.0, a été abordée lors de la journée technique « IIoT, Capteurs intelligents et Métrologie », organisée le 5 novembre par le Collège français de métrologie (CFM).
A cette occasion, Guillaume Avrin, responsable du département évaluation de l’IA au laboratoire national d’essais et de métrologie (LNE), a dévoilé le projet d’une plateforme française de métrologie et d’essais de l’intelligence artificielle. Baptisée LEIA (pour Laboratoire d’évaluation de l’intelligence artificielle), elle rassemblera des acteurs nationaux et européens afin de répondre au besoin d’évaluation des systèmes d’IA.
Le projet, qui est en train de se mettre en place, pourrait voir le jour dès 2021 avec l’obtention de financements européens.
« C’est véritablement une nouvelle discipline de la métrologie. La plateforme LEIA n’a pas d’équivalent à l’international », a mis en avant Guillaume Avrin lors de la journée technique du CFM. « Notre objectif est de développer une théorie de la mesure des performances de l’IA. Il s’agira d’un outil précieux à la fois pour permettre aux développeurs de peaufiner leur solutions et pour que celles-ci soient en conformité avec les exigences des utilisateurs finaux. »
Ouvrir la « boîte noire »
Un travail qui est loin d’être trivial. Contrairement aux autres logiciels, les IA échappent en effet aux méthodes d’évaluations classiques. Tout d’abord parce que ces solution doivent pouvoir permettre aux capteurs intelligents de s’adapter à des environnements non structurés. « L’évaluation des algorithmes d’IA revient en grande partie à caractériser leur environnement de fonctionnement. L'utilisateur final veut savoir dans quelle condition il peut utiliser son capteur intelligent. Or, il n’est pas possible d’échantillonner un domaine de fonctionnement d'une IA et d’en déduire, par interpolation et extrapolation, les performances du système sur l'ensemble de son périmètre de fonctionnement », pointe Guillaume Avrin.
Pour répondre à cela le LNE expérimente des méthodes d’évaluation et de mesure dites en « boîte noire » ou en « boîte grise ». L’évaluation en « boîte noire » est l’approche la plus basique : une fois la tâche d’évaluation définit, un jeu de données et un environnement sont fournis mis en place. La tâche est effectuée à la fois par l’IA et des humains qui fourniront des résultats de référence. Une métrique de comparaison entre les deux résultats est alors mise en place. Elle sert de base à l’analyse des erreurs et à la quantification de la performance.
Evaluer chaque brique d’intelligence
L’évaluation en « boîte grise » est une approche un peu plus complexe, et plus demandeuse en ressources. Elle consiste à segmenter la tâche à évaluer en plusieurs fonctionnalités intermédiaires dont les performances seront quantifiées séparément. « Dans le cas d’un robot collaboratif de l’usine 4.0 par exemple, dont le fonctionnement repose sur une IA, nous pouvons évaluer la partie reconnaissance de l’information, la compréhension de l’environnement du système, ou encore son processus de gestion de mission », explique Guillaume Avrin. « Ces mesures, réalisées sur les briques d’intelligence du dispositif, sont ensuite associées à l’évaluation de l’action en sortie. Cette combinaison permet de quantifier la performance du système complet ».
L’analyse sur le terrain
Une autre méthode consiste à effectuer une évaluation directement sur le terrain et en « cascade ». Dans ce cadre, les données utilisées pour évaluer les algorithmes d’IA sont celles produites par les robots sur le terrain. Ces données brutes du terrain sont annotées et qualifiées par des experts. Elles serviront dans un deuxième temps de données de test pour une seconde évaluation et quantifier la performance de l’IA. « Ces évaluations sont souvent répétées dans le temps pour mesurer les éventuelles dérives, les dégradations de performance, ou encore l’impact des investissements en R&D consentis », précise Guillaume Avrin.
Dans ce domaine, le LNE est coordinateur du projet H2020 METRICS (pour Metrological evaluation and testing of robots in international competition) qui rassemble 17 organismes européens pour évaluer et quantifier la performance de robots.
Une plateforme aux environnements multiples
La plateforme LEIA visera à mettre en place une banque centrale de données de test qui servira à évaluer les algorithmes d’IA. Elle permettra également des créer différents environnements de tests pour mesurer leur performances. « Nous voulons mettre ne place trois types d’environnements : les LEIA 1 n’effectueront que des tests numériques, tandis que les LEIA 3 ne feront que des tests physiques. Dans le premiers cas, nous pourrons générer beaucoup de scénarios mais ce ne sera pas un retour du terrain. Dans le second, les tests seront moins nombreux mais réalisés en conditions réelles. Les LEIA 2 seront une forme hybride, où il y aura un élément physique – comme un capteur intelligent ou un robot – et un environnement simulé, avec une projection par exemple. L’idéal sera de pouvoir évaluer les IA dans ces trois environnements. », conclut Guillaume Avrin.
Comments