ARTICLE

La lumière, une solution possible pour une IA durable

Pr. Maurizio Filippone

Et si la lumière permettait un développement de l’Intelligence Artificielle moins énergivore ? La consommation d’énergie liée à l’IA est actuellement en train de croitre à un rythme effréné. Pr. Maurizio Filippone, qui dirige la Chaire AXA sur les Nouvelles Approches Informatiques pour la Modélisation du Risque à EURECOM, explique comment la lumière pourrait aider le développement d’alternatives moins voraces en énergie, voire plus rapides, dans un article du journal The Conversation.

Source: The Conversation

Nous assistons actuellement à une accélération exponentielle de l’intégration de l'intelligence artificielle (IA) dans notre quotidien. Cela pourrait se traduire par divers changements sociétaux, comme par exemple des améliorations sur un plan économique, de meilleures conditions de vie, un accès facilité à l'éducation, au bien-être et au divertissement. Bien qu’il soit attendu avec impatience, un tel avenir est toutefois entaché de problèmes liés à la confidentialité, à l’explicabilité ou à la responsabilité, pour ne citer qu’eux, qui constituent une menace pour une adoption sans heurt de l’IA, et qui sont au centre de divers débats dans les médias.

Mais le fait que les technologies d'IA actuelles ne sont absolument pas viables est un aspect peut-être encore plus inquiétant. Si nous n'agissons pas rapidement, cela deviendra le principal obstacle à l'intégration généralisée de l'intelligence artificielle dans la société.

L'IA et l'apprentissage automatique bayésien (machine learning ou ML)

Mais avant de se plonger dans les problèmes de durabilité de l'IA, définissons ce qu'est l'IA. L'intelligence artificielle vise à créer des agents artificiels capables de détecter, de décrypter l'environnement et d'apprendre en interagissant avec celui-ci. L'apprentissage automatique (ML) est un composant essentiel de l'IA qui permet d'établir des corrélations et des relations de cause à effet entre des variables d'intérêt à partir de données et d'une connaissance préalable des processus caractérisant l'environnement de l'agent.

Par exemple, dans les sciences de la vie, le ML peut être utile pour déterminer la relation entre le volume de matière grise et la progression de la maladie d'Alzheimer, alors qu'en sciences de l'environnement, il peut être utile pour estimer l'effet des émissions de CO₂ sur le climat. Un aspect clé de certaines techniques de ML, en particulier du système bayésien, est la possibilité de le faire en tenant compte de l’incertitude due au manque de connaissance du système, ou du fait d’une quantité limitée de données disponibles.

Une telle incertitude est d'une importance fondamentale dans la prise de décision lorsque le coût associé à différents résultats est déséquilibré. L'IA peut être une aide précieuse dans des domaines comme pour les scénarios médicaux (diagnostic, pronostic, traitement personnalisé, …), les sciences de l'environnement (climat, tremblement de terre/tsunami, …) et l'élaboration de politiques (trafic, lutte contre les inégalités sociales, …).

IA non durable

Les récentes et spectaculaires avancées en matière de ML ont contribué à un regain d'intérêt sans précédent pour l'IA, ce qui a généré d'énormes afflux de financements privés dans ce domaine (Google, Facebook, Amazon, Microsoft, OpenAI). Tout cela encourage la recherche sur le terrain mais sans pour autant tenir compte de son impact sur l'environnement. La consommation d'énergie des appareils informatiques actuels augmente à un rythme effréné. On estime que dans les dix prochaines années, la consommation des appareils informatiques atteindra 60 % de la quantité totale d'énergie produite et deviendra totalement insoutenable d'ici 2040.

Des études récentes montrent que le secteur des TIC génère aujourd'hui environ 2 % des émissions mondiales de CO₂, soit un niveau comparable à celui de l'industrie aéronautique mondiale. Cependant, les prévisions de croissance des émissions basées sur les TIC sont réellement alarmantes, et dépassent de loin celle de l'aviation. Le ML et l’IA étant des disciplines des TIC en plein essor, cette perspective est inquiétante. Des études récentes montrent que l'empreinte carbone pour former un célèbre modèle ML, appelé auto-encoder, peut polluer dans des proportions allant jusqu'à l'équivalent de cinq voitures au cours de leur vie.

Si, pour créer de meilleures conditions de vie et améliorer notre estimation du risque, nous avons un tel impact sur l'environnement alors nous sommes voués à l'échec. Que pouvons-nous faire pour que cela change ?

Et la lumière fut

Pour résoudre ce problème, des solutions basées sur le modèle du transistor commencent à émerger. Google a développé l'unité de traitement de tenseur (Tensor Processing Unit - TPU) et l'a mise à disposition en 2018. Les TPU offrent une consommation d'énergie bien inférieure à celle des GPU et des CPU par unité de calcul. Mais est-il possible de rompre avec la technologie à base de transistors pour des calculs informatiques avec une puissance inférieure et peut-être plus rapide ? La réponse est... oui ! Ces dernières années, on a tenté d’exploiter la lumière dans le cadre de calculs rapides à faible consommation. Ces solutions sont quelque peu rigides dans la conception du matériel mais conviennent à des modèles ML spécifiques, tels que les réseaux de neurones.

Il est intéressant de noter que la France est à l'avant-garde dans ce domaine avec le développement d’appareils grâce à des fonds privés et au financement public alloué à la recherche afin de mener à bien cette révolution. La société française LightOn a récemment développé un nouveau dispositif basé sur l’optique qu’ils ont baptisé Optical Processing Unit (OPU).

En pratique, les OPU effectuent une opération spécifique, à savoir une transformation linéaire des vecteurs d'entrée suivie d'une transformation non linéaire. Il est intéressant de noter que cela se fait avec un appareil exploitant les propriétés de diffusion de la lumière, de sorte que, dans la pratique, ces calculs ont lieu à la vitesse de la lumière et avec une faible consommation d’énergie. De plus, il est possible de gérer de très grandes matrices (de l'ordre de millions de lignes et de colonnes), ce qui serait difficile avec les CPU et les GPU. En raison de la diffusion de la lumière, cette transformation linéaire équivaut à une projection aléatoire, par exemple la transformation des données d'entrée par une série de nombres aléatoires dont la distribution peut être caractérisée. Les projections aléatoires sont-elles utiles ? Étonnamment oui ! Une preuve de concept selon laquelle cela peut être utile pour déployer à grande échelle les calculs de certains modèles ML (kernel machines ou méthode dite à noyau qui sont des alternatives aux réseaux de neurones) a été rapportée ici. D'autres modèles de ML peuvent également utiliser des projections aléatoires pour prédire ou détecter les points de changement dans une série chronologique.

Nous pensons qu’il s’agit d’une approche remarquable pour rendre les méthodes de ML modernes évolutives et durables. Cependant, le plus grand défi pour l’avenir consiste à repenser la conception et la mise en œuvre des modèles de ML bayésiens de manière à pouvoir exploiter les calculs fournis par les OPU. Nous commençons à peine à développer la méthodologie nécessaire pour tirer pleinement parti de ces appareils pour le ML bayésien. J'ai récemment reçu une bourse française pour y parvenir.

Il est fascinant de constater à quel point la lumière et le caractère aléatoire sont non seulement omniprésents dans la nature, mais sont également mathématiquement utiles pour effectuer des calculs capables de résoudre de vrais problèmes.

Juillet 2019

Pr. Maurizio Filippone

En savoir plus sur le projet de Maurizio Filippone: "Mieux comprendre l'incertitude liée aux phénomènes complexes"

PAGE PROJET