Dans un tournant surprenant, Apple redécouvre une technique d’IA oubliée pour générer des images, révélant des capacités prometteuses. Ce processus innovant pourrait transformer la manière dont nous percevons la création visuelle, tout en soulignant l’importance croissante de l’intelligence artificielle dans le paysage technologique contemporain.

La Recherche d’Apple : Génération d’Images avec une Technique d’IA Oubliée

Qu’est-ce que les Flots Normalisants ?

Les Flots Normalisants (NFs) représentent un type de modèle d’IA qui apprend à transformer mathématiquement des données du monde réel, comme des images, en bruit structuré. Ce processus est ensuite inversé pour générer de nouveaux échantillons. L’avantage majeur des NFs réside dans leur capacité à calculer la probabilité exacte de chaque image générée, un aspect que les modèles de diffusion ne peuvent pas offrir. Cela rend les flots particulièrement intéressants pour les tâches où la compréhension de la probabilité d’un résultat est cruciale.

Cependant, la raison pour laquelle ils sont moins connus réside dans le fait que les anciens modèles basés sur les flots produisaient des images floues ou manquant de détails et de diversité, contrairement aux systèmes basés sur la diffusion ou les transformateurs.

Étude #1 : TarFlow

Dans l’article "Normalizing Flows are Capable Generative Models", Apple présente un nouveau modèle appelé TarFlow, qui signifie Transformer AutoRegressive Flow. Ce modèle remplace les anciennes couches artisanales utilisées dans les modèles de flots précédents par des blocs de transformateurs. En simplifiant, TarFlow segmente les images en petits morceaux et les génère par blocs, chaque bloc étant prédit sur la base des blocs précédents. Ce processus est dit autoregressif, similaire à la méthode qu’OpenAI utilise actuellement pour la génération d’images.

La différence clé réside dans le fait qu’OpenAI génère des tokens discrets, traitant les images comme de longues séquences de symboles textuels, alors qu’Apple, avec TarFlow, génère directement des valeurs de pixels sans tokeniser l’image. Ce choix évite la perte de qualité souvent associée à la compression des images en un vocabulaire fixe de tokens.

Malgré ces avancées, des limitations subsistaient, notamment lors de la montée en échelle vers des images de haute résolution. C’est là qu’intervient la deuxième étude.

Étude #2 : STARFlow

Dans le document "STARFlow: Scaling Latent Normalizing Flows for High-resolution Image Synthesis", Apple s’appuie directement sur TarFlow et présente le modèle STARFlow (Scalable Transformer AutoRegressive Flow), qui intègre des améliorations significatives.

La plus grande innovation de STARFlow est qu’il ne génère plus d’images directement dans l’espace pixel. Au lieu de cela, il travaille sur une version compressée de l’image, puis remet tout à un décodeur qui augmente la résolution à l’étape finale. Cette transition vers l’espace latent signifie que STARFlow n’a pas besoin de prédire des millions de pixels directement, mais peut plutôt se concentrer d’abord sur la structure générale de l’image, laissant les détails fins au décodeur.

Apple a également reconfiguré la manière dont le modèle gère les prompts textuels. Au lieu de construire un encodeur de texte séparé, STARFlow peut intégrer des modèles de langage existants (comme le modèle de langage de Google, Gemma) pour traiter la compréhension du langage lorsque l’utilisateur demande la création d’une image. Cela permet de garder le côté génération d’images du modèle axé sur le raffinement des détails visuels.

Comparaison avec le Générateur d’Images GPT-4o d’OpenAI

Alors qu’Apple réinvente les flots, OpenAI a également récemment évolué au-delà de la diffusion avec son modèle GPT-4o. Cependant, leur approche se distingue fondamentalement. GPT-4o considère les images comme des séquences de tokens discrets, semblables aux mots dans une phrase. Lorsque vous demandez à ChatGPT de générer une image, le modèle prédit un token d’image à la fois, construisant ainsi l’image pièce par pièce. Cette méthode confère une flexibilité énorme à OpenAI : le même modèle peut générer du texte, des images et de l’audio au sein d’un flux de tokens unifié.

Le revers de la médaille est que la génération token par token peut être lente, surtout pour des images volumineuses ou haute résolution. De plus, elle est extrêmement gourmande en ressources informatiques. Toutefois, comme GPT-4o fonctionne entièrement dans le cloud, OpenAI n’est pas autant contraint par la latence ou la consommation d’énergie.

En résumé, Apple et OpenAI avancent tous deux au-delà des modèles de diffusion, mais alors qu’OpenAI construit pour ses centres de données, Apple semble clairement se concentrer sur des solutions destinées à nos appareils portables.

Pour en savoir plus sur les techniques d’intelligence artificielle, vous pouvez consulter des articles sur Google AI.