Montrer le sommaire Cacher le sommaire
La fusion entre ChatGPT et GPT-Vision
Table of Contents
Le lancement conjoint de ChatGPT et GPT-Vision marque une avancée majeure dans le domaine de l’intelligence artificielle. Ces deux technologies, qui combinent le traitement du langage naturel et la vision par ordinateur, ouvrent de nombreuses possibilités d’applications innovantes. Découvrez comment elles transforment notre manière d’interagir avec les données visuelles et textuelles.
Des applications captivantes
La synergie entre ChatGPT et GPT-Vision permet de débloquer de nouvelles fonctionnalités. Voici quelques exemples illustrant la diversité des applications possibles :
- Modélisation à partir d’une image
Une simple image peut être transformée en une modélisation 3D impressionnante, comme le montre cet exemple :
ChatGPT Vision starting to write Gcode (for a Haas) from prints pic.twitter.com/IgXeMEAS8e
À lire La révolution du texte en vidéo : découvrez Sora, la dernière prouesse d’OpenAI !
— Aaron Slodov (@aphysicist) October 10, 2023
- Programme de musculation personnalisé selon votre équipement
Grâce à ChatGPT Vision, il est possible d’obtenir un programme de musculation sur-mesure en fonction de l’équipement dont vous disposez, comme en témoigne cet exemple :
ChatGPT Vision turned a picture of my home gym equipment into a full 8-week workout program.
À lire Le FBI révèle l’impact choquant de l’IA open source sur le hacking !
This is better than 99% of any programs I’ve ever bought. pic.twitter.com/ToACYgzTyf
— Rowan Cheung (@rowancheung) October 11, 2023
- Analyse et décodage de documents floutés
L’analyse approfondie d’un document flouté permet de révéler ses secrets, comme en atteste cet exemple :
ChatGPT-4V Multimodal decodes a Redacted government document on a UFO sighting released by NASA.
I have tested this on 100s of redacted documents and I can say we are in a new world. pic.twitter.com/aCKOm577TO
— Brian Roemmele (@BrianRoemmele) October 6, 2023
- Conversion de photos en texte pour une lettre complexe
Grâce à cette technologie, une image de lettre peut être transformée en texte éditable, comme le montre cet exemple :
???? ChatGPT Vision is fk’in nuts lol pic.twitter.com/Ccsl7tFgkD
— peter! ???? (@pwang_szn) October 4, 2023
- Récupération d’objets complexes dans une image
La technologie permet d’identifier et de récupérer des objets complexes dans une image, comme le montre cet exemple :
Power of ChatGPT vision capability ???? pic.twitter.com/cr1izVP9df
— Kashan Ahmed???????????? (@KashanAhmed) October 6, 2023
- Détection d’images issues de Google Street View ou de satellites
Cette démonstration montre la précision de la détection d’images provenant de Google Street View ou de satellites :
ChatGPT Vision pic.twitter.com/X619nlCdBW
— Anu Aakash (@anukaakash) October 11, 2023
- Analyse détaillée d’une radiographie
Grâce à ChatGPT, il est possible d’obtenir une analyse détaillée d’une radiographie en quelques secondes :
ChatGPT: The doctor in your pocket ????
ChatGPT can now look at X-rays, prescriptions, or medical reports and answer any question in a matter of seconds.
Future of health talk – simple, snappy, and AI! pic.twitter.com/nXgEfEvEsn
— Shubham Saboo (@Saboo_Shubham_) October 6, 2023
- Analyse d’images complexes
Plongez dans l’analyse d’une image hautement complexe :
ChatGPT-4V Multimodal please decode this.
Thank you. pic.twitter.com/seOuma96QO
— Brian Roemmele (@BrianRoemmele) October 2, 2023
- Création de scénarios à partir de l’analyse de plusieurs images
Quatre images distinctes peuvent être utilisées pour créer un scénario cohérent, comme le montre cet exemple :
I gave GPT-4V four « movie stills » I generated with Midjourney and asked it to construct a plotline tying them together.
A good example of how AI is more « creative » and surprising when given constraints, much like humans. Its not as creative as the best people, but interesting. pic.twitter.com/tzYJmMChsn
— Ethan Mollick (@emollick) October 2, 2023
- Analyse d’un moteur de voiture
Une analyse minutieuse d’un moteur de voiture est possible, mais il est recommandé de consulter un professionnel :
6. Car Maintenance
Prompt: « Analyze the issue shown in this car photo, explain likely causes, and provide actionable DIY repairs or professional servicing recommendations. » pic.twitter.com/mSfUTp0j5n
— Bryan Marley (@_bryanmarley) October 9, 2023
La technologie peut également être utilisée pour optimiser du code, comme le montre cet exemple :
8. Code Optimization
Prompt: « Analyze this code and suggest ways to improve performance, efficiency, conciseness, and adherence to best practices. » pic.twitter.com/4leeDoVf53
— Bryan Marley (@_bryanmarley) October 9, 2023
Limitations à prendre en compte
Malgré les avancées réalisées, certaines limitations persistent. Il est important de noter que la lecture des QR Codes et le partage des conversations ne sont pas encore possibles.
Si vous ne voyez pas les nouvelles fonctionnalités, essayez de rafraîchir la page ou de vous déconnecter/reconnecter. Si le problème persiste, vous pouvez essayer de vider le cache lié à openai.com.
Voici une capture d’écran d’une des interfaces utilisateur de ces nouvelles fonctionnalités :
Vidéo GPT-Vision
Je tiens à créditer la chaîne YouTube d’Emile Dev, qui a inspiré cet article. Voici la vidéo de présentation :