Coût des réseaux de neurones : pourquoi est-ce si cher de les former sur des modèles de deep learning ?

O l'apprentissage en profondeur ("deep learning" en traduction libre) a résolu de nombreux défis liés à intelligence artificielle (IA). C'est grâce à cette technologie que les réseaux de neurones sont entraînés. C'est le coût des réseaux de neurones, à son tour, est de plus en plus élevé.

Parmi les nouveaux défis qui ont surgi avec cette augmentation des coûts figurent la croissance de l'empreinte carbone (une mesure qui calcule l'équivalent des émissions de carbone émises dans l'atmosphère) des entreprises et la commercialisation de la recherche liée à l'IA.

Dans ce contexte, il existe également une demande pour les capacités de intelligence artificielle sont présents sur des appareils avancés sans nécessairement s'appuyer sur des serveurs et des nuages. Ceci, à son tour, implique que le coût des réseaux de neurones est plus rentable. En pratique, ce n'est pas ce qui se passe.

Coût des réseaux de neurones

La bonne nouvelle est que les chercheurs en IA progressent dans la recherche de moyens de réduire les coûts d'exécution des modèles d'apprentissage en profondeur. La mauvaise nouvelle est que réduire le coût des réseaux de neurones — et leur formation — reste un inconnue.

Récemment, des chercheurs du MIT et de l'Université de Toronto ont publié un papier sur le défi de « l'élagage » des réseaux de neurones. Dans l'étude, le groupe souligne pourquoi les méthodes les plus avancées ne peuvent réduire le coût de formation des réseaux de neurones sans avoir un impact considérable sur les performances de la technologie.

Ce que vous pouvez faire, c'est "élaguer" les réseaux de neurones après avoir construit un grand modèle avancé d'apprentissage en profondeur. C'est appelé "taille post-formation🇧🇷 Cela fonctionne comme ceci : une fois que les réseaux de neurones d'un modèle d'apprentissage en profondeur ont traversé tout le processus de formation, la plupart des paramètres configurés sont coupés (ce qui peut réduire la taille du modèle jusqu'à 10 % de la taille d'origine). Ceci est possible après avoir déterminé le « poids » que chaque paramètre avait pour la valeur finale du réseau de neurones.

De nombreuses entreprises technologiques utilisent cette méthode de compression des modèles d'IA pour les adapter (et bien fonctionner) aux smartphones, ordinateurs portables et appareils domestiques intelligents. Il existe des domaines où vous pouvez même mettre en œuvre un apprentissage en profondeur, via des réseaux de neurones compacts, dans des appareils alimentés par l'énergie solaire.

'Élaguer' les réseaux de neurones

Alors que nous parlons du coût des réseaux de neurones d'IA et du coût de leur formation, peut-être que vous, cher lecteur, avez déjà remarqué le trou dans la logique de "l'élagage" de ces réseaux après leur processus de formation. 

Pour que cet « élagage » soit possible, il faut d'abord les réseaux de neurones doivent être entraînés🇧🇷 Et cela n'est possible que grâce à une énorme série de paramètres, présents dans un modèle tout aussi large d'apprentissage en profondeur. C'est là que réside le coût élevé que nous explorons en la matière.

La question est : existe-t-il un moyen de construire un réseau de neurones compact sans avoir à avoir une version plus grande (et plus chère) ? Les chercheurs du MIT Jonathan Frankle et Michael Carbin ont publié une étude en 2018 qui montrait une voie possible pour y parvenir. Ils ont appelé l'étude "L'hypothèse du billet de loterie" .

Dans l'étude, les chercheurs soulignent que dans de nombreux modèles d'apprentissage en profondeur, il existe de petites sous-ensembles de réseaux de neurones qui peut être formé. En pratique, cela servirait en quelque sorte de raccourci dans ce processus de création de réseaux de neurones, en les entraînant dans une vaste série de paramètres, puis en les «élaguant». La découverte de ces « sous-réseaux », comme les ont appelés les chercheurs, pourrait réduire considérablement le temps et le coût de la formation des réseaux de neurones dans les modèles d'apprentissage en profondeur.

Mais l'étude des chercheurs du MIT s'est heurtée à une série d'obstacles pour montrer que cette thèse était efficace à 100 %. Les tests ont montré que le défi dans ce cas est d'identifier les sous-ensembles d'un modèle d'apprentissage en profondeur susceptibles d'être optimisés de manière significative.

Potentiel de ces recherches

La réduction du coût des réseaux de neurones et de leur formation est encore inconnue, mais avec des pistes possibles à explorer par les chercheurs. Cela signifie qu'il y a encore de la place pour des progrès scientifiques dans ce domaine, ce qui pourrait avoir un impact énorme sur l'avenir de la recherche en IA et de ses applications.

D'une part, la coûts de formation des réseaux de neurones dans les modèles d'apprentissage en profondeur continuent d'augmenter. D'autre part, les domaines de recherche dans les entreprises technologiques de plusieurs milliards de dollars sont devenus de plus en plus importants et valorisés. De plus, ces entreprises ont soutenu des laboratoires d'institutions externes pour mener des recherches dans ce créneau.

Trouver des moyens efficaces de « tailler » les réseaux de neurones avant de les former peut créer de nouvelles opportunités pour un groupe encore plus important de chercheurs et de laboratoires en IA qui n'ont pas accès à des ressources informatiques avancées. D'ici là, nous restons dans l'attente. Et suivre de près les développements de ces recherches.

source: Le prochain Web ; L'Université Cornell

Quelle est votre opinion sur ce "nœud" lié à la coût des réseaux de neurones IA🇧🇷 Dites-le nous ici dans les commentaires !