Pour que les réseaux de neurones s’étendent à davantage de domaines du calcul intensif traditionnel, en particulier dans les domaines où les données d’image sont essentielles, une fidélité et une précision d’image élevées sont essentielles.
S’il n’est pas rare de réduire la taille de l’image tout en ajoutant le fardeau d’un étiquetage étendu pour les réseaux de neurones convolutifs dans les domaines de recherche riches en images, cela sacrifie cette résolution très importante et a un impact sur la précision des résultats. Cela prend beaucoup de mémoire, à la fois sur les éléments de traitement uniques et dans le système pendant l’entraînement en particulier. En bref, la formation d’ensembles de données massifs basés sur des images n’est pas une proposition simple ou bon marché.
Le fait est que de nombreux domaines de l’informatique scientifique commencent à utiliser des ensembles de données basés sur des images pour combler les lacunes, remplacer ou «suggérer» des parties de simulations, ou effectuer des travaux de nettoyage cosmique comme nous le verrons ci-dessous, ayant une architecture préparée pour Le traitement d’image à grande échelle qui peut évoluer sans sacrifier la résolution et la profondeur est rare, surtout si vous recherchez quelque chose qui peut s’intégrer aux supercalculateurs existants.
La plupart des laboratoires et universités nationaux forment et font des inférences sur l’accélérateur dominant du HPC: le GPU. Cependant, comme l’a découvert le laboratoire national d’Argonne, les limitations de mémoire des GPU pour certains réseaux de neurones convolutifs peuvent être surmontées avec d’autres architectures. Dans leur cas, c’était avec le système DataScale de SambaNova.
Dans un récent travail de cosmologie, Argonne a découvert qu’en modifiant ResNet pour optimiser le fond cosmique supprimer des images de la chambre de projection de temps d’argon liquide, ils étaient capables de contourner le sous-échantillonnage des images d’entrée haute résolution et de conserver leur taille d’image d’entrée d’origine de 1260 × 2048 avec tous trois canaux préservés. Sur le GPU V100, même un seul lot a manqué de mémoire sur un GPU Nvidia V100.
Alors que les améliorations avec un GPU Nvidia A100 auraient pu être plus prononcées, selon l’équipe d’Argonne, avec des modifications minimes du code d’origine, le système DataScale de SambaNova fournit un moyen d’entraîner efficacement des modèles CNN profonds avec des images gigapixels. D’autres tâches de vision par ordinateur, telles que la classification et la résolution de superpixels d’image, bénéficieraient grandement de la possibilité de former des modèles sans perdre aucune information.
Comme l’ajoutent les auteurs de la suppression de l’arrière-plan cosmique à l’aide du système DataFlow de SambaNova: «En revanche [to the V100 GPU], l’architecture de flux de données reconfigurable du système DataScale de SambaNova ne présente pas ces problèmes. L’équipe d’Argonne et de SambaNova ont pu former des CNN avec des images au-delà de la résolution 50kx50k. Nous avons utilisé le même modèle, la même configuration et les mêmes hyperparamètres, nous pensons pouvoir utiliser des images avec leurs tailles d’origine sans sous-échantillonnage. »
Pour surmonter les problèmes de formation sur les GPU, les auteurs avaient auparavant sous-échantillonné leurs images d’entrée à une résolution de 50% et formé le modèle avec des entrées contenant 3x640x1024 pixels. Cependant, cela entraîne une perte d’informations qui est cruciale pour ce problème et de nombreux autres domaines sensibles tels que l’imagerie médicale et l’astronomie.
Comme le dit Marshall Choy, vice-président des produits de SambaNova La prochaine plateforme, «L’architecture de flux de données reconfigurable élimine le sous-échantillonnage des images d’entrée haute résolution en basse résolution pour l’apprentissage et l’inférence, en préservant toutes les informations de l’image d’origine. La pile logicielle élimine en outre la perte de données lors de la mise en mosaïque de l’image, comme cela est nécessaire pour s’adapter aux contraintes de mémoire d’autres architectures. Le résultat est la possibilité de former les CNN avec des images d’entrée d’une résolution de 50k x 50k, une meilleure qualité globale du modèle en atteignant des niveaux de précision de pointe dépassant 90% et en éliminant l’étiquetage supplémentaire des images. »
Même si le modèle de l’unité Reconfigurable DataFlow Unit (RDU) de DataScale est formé avec une précision inférieure (bfloat16) par rapport au FP32 du GPU, Choy dit que les équipes ont pu assurer une convergence stable et obtenir de meilleurs résultats. «Certaines fonctions de perte telles que la perte focale sont inférieures lorsque vous utilisez une taille de lot inférieure par réplique. Alors que les GPU (A100) ne peuvent contenir qu’une seule image par réplique à des tailles d’image complètes, les RDU vous permettent de vous entraîner avec jusqu’à 32 échantillons par réplique et d’améliorer encore la précision. »
L’équipe d’Argonne ajoute qu’avec des modifications minimes du code original, le système DataScale de SambaNova a fourni un «moyen d’entraîner efficacement des modèles CNN profonds avec des images gigapixels. D’autres tâches de vision par ordinateur, telles que la classification et la résolution d’image superpixel, bénéficieraient grandement de la possibilité de former des modèles sans perdre aucune information. »
Plus d’informations viennent d’être publiées après la publication de cette histoire ici.
Abonnez-vous à notre lettre d’information
Présentant des faits saillants, des analyses et des histoires de la semaine directement de notre part dans votre boîte de réception, sans rien entre les deux.
Abonnez-vous maintenant