Meta lance Llama 3, un modèle d'IA capable de générer des images en temps réel sur WhatsApp

Aujourd'hui (18/4) le Meta a annoncé les deux premiers modèles de la prochaine génération du Llama, le Méta Lama 3, prêt à être utilisé de manière globale. Cette nouvelle version comprend des modèles de langage pré-entraînés et affinés, avec des paramètres 8B e 70B, capable de répondre à un large éventail de besoins. Suivant la tradition de soutenir la communauté open source, Meta a fait le Llama 3 pour la communauté. Cela signifie également que le Méta IA, l'intelligence artificielle présente sur les réseaux sociaux de l'entreprise, sera également améliorée, notamment avec la possibilité de créer des images en temps réel dans le WhatsApp. En voir plus !

Rencontrez Lama 3

Avec l' Llama 3 la société entend développer des modèles ouverts qui rivalisent avec les meilleurs modèles de langage propriétaires actuellement disponibles, comme c'est le cas avec GPT-4. Les commentaires des développeurs ont été priorisés pour améliorer la convivialité globale de Llama 3, selon Meta, "maintenir un engagement envers le leadership dans l’utilisation et la mise en œuvre responsables des Grand Language Models (LLM)" .

Suivant les principes de code ouvert, une approche de publication précoce et fréquente a été adoptée, permettant à la communauté d'accéder et de contribuer au développement de ces modèles en temps réel. Les modèles textuels présentés aujourd'hui ne sont que les premiers de la série Llama 3. La vision pour l'avenir comprend l'extension de Llama 3 pour offrir une prise en charge multilingue et multimodale, augmenter la capacité contextuelle et améliorer continuellement les performances dans tous les aspects clés de. LLM, comme le raisonnement et le codage.

Conformément à l'approche de conception de Llama 3, Meta a opté pour une architecture de transformateur décodeur uniquement, qui est un choix par défaut. Llama 3 utilise la tokenisation avec un vocabulaire élargi de 128 mille jetons, ce qui entraîne un codage linguistique plus efficace et, par conséquent, une amélioration des performances du modèle. Pour optimiser l'efficacité d'inférence des modèles Llama 3, la société a intégré la technique d'attention aux requêtes groupées (GQA) en deux tailles différentes : 8B et 70B. Pendant la formation, les séquences utilisées ont une longueur de 8.192 XNUMX jetons et un masque est appliqué pour garantir que l'attention personnelle reste dans les limites du document.

Pour former le meilleur modèle de langage, il est essentiel de disposer d’un ensemble de données de formation volumineux et de haute qualité. Conformément à nos principes de conception, nous avons considérablement investi dans les données de pré-entraînement pour Llama 3. Ce modèle est pré-entraîné sur plus de 15 XNUMX milliards de jetons, le tout à partir de sources accessibles au public. Notre ensemble de données de formation est sept fois plus volumineux que celui utilisé pour Llama 2 et comprend quatre fois plus de code.

En préparation de futurs cas d'utilisation multilingues, plus de 5 % de l'ensemble de données de pré-formation de Llama 3 est constitué de données de haute qualité dans des langues autres que l'anglais, couvrant plus de 30 langues. Cependant, Meta ne s’attend pas à atteindre le même niveau de performance dans ces langues qu’en anglais.

Pour garantir que Llama 3 est formé avec des données de la plus haute qualité, une série de pipelines de filtrage de données ont été développés. Ces pipelines incluent l'utilisation de filtres heuristiques, des filtres pour les contenus inappropriés, des techniques de déduplication sémantique et des classificateurs de texte pour évaluer la qualité des données. Les versions précédentes de Llama sont efficaces dans identification des données de haute qualité, puis Llama 2 a été utilisé pour générer les données de formation pour les classificateurs de qualité de texte qui alimentent Llama 3.

De plus, Meta a utilisé des expériences pour déterminer les meilleurs moyens de fusionner des données provenant de différentes sources dans l'ensemble de données final de pré-formation. Ces expériences nous ont permis de sélectionner une combinaison de données garantissant que Llama 3 fonctionne bien dans une variété de cas d'utilisation, notamment questions triviales, VOIX (sciences, technologies, ingénierie et mathématiques), codification, connaissance historique, Entre autres.

Comparaison avec Lama 2

les nouveaux modèles Llama 3, avec les paramètres 8B et 70B, représentent une avance par rapport au Llama 2, établissant une nouvelle norme pour les modèles LLM à ces échelles. Meta affirme qu'en raison des améliorations apportées à la fois à la pré-formation et à la post-formation, les modèles pré-entraînés et affinés par les instructions sont actuellement les leaders incontestés sur l'échelle des paramètres 8B et 70B.

Les optimisations des procédures post-formation ont abouti à un réduire les taux de rejet erronés, en plus d'améliorer l'alignement et d'augmenter la diversité des réponses des modèles. Des améliorations significatives ont également été observées dans des fonctionnalités telles que le raisonnement, la génération de code et les orientations futures, rendant Llama 3 encore plus adaptable et ciblé.

Au cours du développement de Llama 3, les performances du modèle ont été analysées, à la fois dans des benchmarks standard et dans des scénarios réels. Afin de garantir une optimisation efficace pour les applications pratiques, une nouvelle suite d’évaluation humaine de haute qualité a été créée. Cet ensemble se compose de 1.800 12 invites couvrant XNUMX cas d’utilisation principaux, dont demander des conseils, réfléchir, trier, répondre à des questions fermées, coder, écriture créative, extraire, se faire passer pour des personnages, répondre à des questions ouvertes, raisonner, réécrire e résumé.

Pour éviter le surapprentissage (Ou surajustement, le terme le plus couramment utilisé) est accidentel des modèles à cet ensemble d'évaluation, même les propres équipes de modélisation de Meta n'y ont pas accès. Le graphique présenté montre les résultats agrégés des évaluations humaines dans ces catégories et invites, comparant les performances de Llama 3 avec les modèles. Claude Sonnet, Mistral moyen e GPT-3.5.

Comment Llama 3 améliore la méta IA

Grâce aux progrès réalisés avec Meta Llama 3, la société annonce l'expansion internationale de Meta AI — en rappelant que la ressource était exclusive aux États-Unis. Devenant un concurrent sérieux des modèles existants, Meta AI est désormais disponible pour un plus grand nombre de personnes dans le monde, permettant aux utilisateurs du Facebook, Instagram, WhatsApp e Messager profitez de cette technologie gratuite pour effectuer diverses actions, créer du contenu et accéder à l'information en temps réel.

Meta AI a été initialement révélé lors de Connect l'année dernière, et maintenant les utilisateurs de pays comme Australie, Canada, Ghana, Jamaïque, Malawi, Nouvelle-Zélande, Nigeria, Pakistan, Singapour, Afrique du Sud, Ouganda, Zambie e Zimbabwe peut également profiter de ses bienfaits. Dans le cadre de l'expansion de Meta AI, les gens pourront désormais également y accéder sur méta.ai, dans la version Web.

Envisagez-vous de sortir le soir avec des amis ? Demandez à Meta AI de vous recommander un restaurant avec une vue imprenable et même des options végétaliennes. Vous organisez un voyage pour le week-end ? Demandez à Meta AI de trouver des émissions pour samedi soir. Vous préparez un examen ? Demandez à Meta AI d'expliquer comment fonctionnent les traits héréditaires. Vous emménagez dans votre premier appartement ? Demandez à Meta AI d'« imaginer » l'esthétique que vous souhaitez et l'assistant générera des photos d'inspiration pour vos meubles. 

Meta expliquant un peu comment l'IA peut vous aider

O Méta IA il sera également disponible directement dans la fonction de recherche de Facebook, Instagram, WhatsApp et Messenger. Cela signifie que vous pouvez accéder aux informations sur Internet en temps réel sans avoir à basculer entre les applications. Par exemple, imaginez que vous planifiez un voyage avec des amis dans une discussion de groupe Messenger. Avec la recherche Messenger, vous pouvez demander à Meta AI – optimisé par le nouveau Llama 3 – de trouver des vols depuis votre origine vers votre destination et de découvrir les week-ends les plus lents à visiter. Et bien sûr, tout cela sans avoir à quitter l’application Messenger.

Les gens auront également la possibilité d'accéder à Meta AI tout en parcourant leur flux Facebook. Si vous trouvez une publication qui suscite votre intérêt, vous pouvez demander plus d'informations directement à Meta AI à partir de cette publication, tout comme une recherche Google classique, uniquement dans une publication Facebook.

Meta accélère le processus d'imagerie pour permettre aux utilisateurs de créer des images en temps réel à partir de texte à l'aide de la fonction Imagine de Meta AI. Le déploiement de cette fonctionnalité a commencé aujourd'hui en version bêta, disponible sur WhatsApp et l'expérience Web Meta AI aux États-Unis. Lorsqu’ils commenceront à taper, les gens verront une image apparaître instantanément. Cette image évoluera au fur et à mesure que vous tapez quelques lettres, vous permettant de voir Meta AI donner vie à votre idée en temps réel.

Selon l'entreprise, ces images générées présentent un netteté et qualité améliorées, offrant une meilleure capacité à inclure du texte dans les images. De plus, il fournira des suggestions pour améliorer l'image, vous permettant de continuer à affiner à partir de votre point de départ initial. Lorsque vous trouvez une image, demandez simplement à Meta AI de l'animer, de l'adapter à un nouveau format, voire de la transformer en GIF à partager avec vos amis.

Bien que ces mises à jour soient spécifiques à Meta AI sur Facebook, Instagram, WhatsApp, Messenger et sur le Web, il est important de rappeler que Meta AI est également disponible aux États-Unis pour les lunettes intelligentes. Ray-Ban Méta, et bientôt dans Méta quête — Appareils de méta-réalité virtuelle.

Transparence avec l'open source et la sécurité

Le potentiel de la technologie de l'IA générative peut véritablement améliorer l'expérience utilisateur des produits Meta et de l'écosystème au sens large. Il reste néanmoins un autre point à aborder : veiller à ce que cela se fasse de manière responsable e sécurité. Par conséquent, l’entreprise prend des mesures pour évaluer et atténuer les risques à toutes les étapes du développement et de la mise en œuvre de l’IA. Cela comprend l'intégration de mesures de protection dans le processus de conception et de publication du modèle de base Llama, ainsi que le soutien à l'écosystème de développeurs pour promouvoir des pratiques responsables.

Par conséquent, avec Llama 3, une approche systématique a été adoptée qui intègre des garanties à toutes les étapes du développement. Cela signifie qu'un soin particulier a été apporté aux processus de formation et de réglage, en plus d'offrir des outils permettant aux développeurs de mettre en œuvre des modèles de manière responsable.

Cette approche renforce non seulement les efforts en faveur d’une IA responsable, mais reflète également la vision de l’innovation ouverte, permettant aux développeurs de personnaliser en toute sécurité leurs produits au profit de leurs utilisateurs. Meta a également le Guide d'usage responsable, une source importante pour les développeurs, fournissant des lignes directrices pour la construction de produits.

Comme nous l'avons expliqué lors de la sortie de Llama 2, il est important d'être intentionnel dans la conception de ces mesures, car certaines ne peuvent être mises en œuvre efficacement que par le fournisseur du modèle, et d'autres ne fonctionnent efficacement que lorsqu'elles sont mises en œuvre par le développeur dans le cadre de ses activités spécifiques. application.

Renforce l'entreprise

Depuis le lancement de Meta AI l'année dernière, la marque a continuellement amélioré l'expérience dans plusieurs domaines :

• Les réponses de Meta AI aux problèmes politiques et sociaux ont été affinées, intégrant des lignes directrices spécifiques pour ces sujets. Le but est d'offrir une variété de points de vue pertinents sur un sujet, tout en respectant les intentions de l'utilisateur lorsqu'il pose des questions spécifiques.
• Y compris des instructions et des réponses spécifiques pour le rendre plus utile, en utilisant des modèles de récompense pour guider votre comportement.
• Les performances de Meta AI sont évaluées dans le cadre de benchmarks et de tests avec des experts humains, résolvant tous les problèmes identifiés dans un processus continu.
• Protections au niveau des demandes et des réponses, y compris des filtres et des classificateurs pour garantir que les interactions sont conformes aux directives et sécurisées.
• Des outils de feedback permettant aux utilisateurs de partager leurs expériences, nous permettant d'améliorer continuellement les performances de Meta AI.

Et vous, qu'avez-vous pensé de la nouvelle ? Nous avons hâte d'arriver au Brésil, n'est-ce pas ? Dites-nous ce que vous avez trouvé en nous Commenter!

Voir aussi:

Google Photos libre édition d'images IA gratuite pour tous les utilisateurs.

Avec des informations de : Objectif [1], [2] e [3].

Revu par Glaucon Vital le 18/4/24.