In brief
GPT-4o is the OpenAI model announced on May 13 that accepts any combination of text, audio and images as input and can generate output in any of these formats, with the o standing for omni. It responds to audio in 232 milliseconds at minimum and 320 on average, matches GPT-4 Turbo on English text and code, improves on non-English languages, and is faster and 50% cheaper in the API.
- GPT-4o was trained end-to-end on text, vision and audio at once, removing the limits of earlier pipeline models, and beats Whisper-v3 on speech recognition
- The new tokenizer compresses non-English text: Gujarati needs 4.4x fewer tokens, Telugu 3.5x and Tamil 3.3x
- Over 70 external experts helped identify and reduce risks, and the Preparedness Framework rated the model medium risk in every category
Il 13 maggio, OpenAI ha annunciato il lancio di GPT-4o, il suo nuovo modello di punta, che rappresenta un significativo passo avanti verso interazioni più naturali tra esseri umani e computer. GPT-4o, dove “o” sta per “omni”, accetta come input qualsiasi combinazione di testo, audio e immagini, e può generare output in qualsiasi di questi formati.
Innovation in Model Capabilities
GPT-4o è progettato per elaborare input audio con una latenza minima di 232 millisecondi, raggiungendo in media 320 millisecondi, comparabile al tempo di risposta umano in una conversazione. Questo modello offre prestazioni equivalenti a GPT-4 Turbo per testo in inglese e codice, con significativi miglioramenti per testi in lingue diverse dall’inglese. Inoltre, GPT-4o è molto più veloce e il 50% più economico nell’API. Un altro punto di forza è la sua avanzata comprensione di visione e audio.
Usage Experiences and Interactions
Ecco alcune delle nuove capacità di GPT-4o:
- Two GPT-4o interacting and singing together.
- Interview preparation.
- Rock, Paper, Scissors Game.
- Use of sarcasm.
- Solve math problems with experts.
- Musical harmonization between two GPT-4o.
- Real-time learning of a new language.
- Real-time translations.
- Singing lullabies.
- Telling jokes.
- Customer Support Applications.
- Gujarati: 4.4x fewer tokens
- Telugu: 3.5x fewer tokens
- Tamil: 3.3x fewer tokens
Model Safety and Limitations
La sicurezza è integrata nel design di GPT-4o attraverso tecniche come il filtraggio dei dati di addestramento e la rifinitura del comportamento del modello post-addestramento. OpenAI ha valutato GPT-4o secondo il loro Framework di Preparazione, risultando in un rischio medio in tutte le categorie esaminate. Sono stati coinvolti oltre 70 esperti esterni per identificare e mitigare i rischi, specialmente quelli introdotti dalle nuove modalità audio.
Model Availability
GPT-4o è ora disponibile su ChatGPT, nella versione gratuita e per gli utenti Plus con limiti di messaggi 5x superiori. Gli sviluppatori possono accedere a GPT-4o nell’API come modello di testo e visione, con il lancio delle nuove capacità audio e video previsto per le prossime settimane.
Conclusion
GPT-4o rappresenta un significativo progresso nella tecnologia dei modelli linguistici, offrendo interazioni più rapide, naturali ed economiche. Continueremo a esplorare e migliorare le capacità del modello, spingendoci verso un futuro in cui l’interazione uomo-computer sarà ancora più intuitiva e coinvolgente.
Per ulteriori dettagli e aggiornamenti su GPT-4o, visita il sito ufficiale di OpenAI.
Technical and Performance Improvements
GPT-4o è stato addestrato end-to-end per elaborare simultaneamente input e output di testo, visione e audio, eliminando le limitazioni dei precedenti modelli a pipeline. Questo modello eccelle nei benchmark di percezione visiva e comprensione multilingue, superando GPT-4 in queste aree. Ha anche ottenuto nuovi record nella traduzione e nel riconoscimento vocale rispetto a Whisper-v3.
Multilingual Tokenization
Il nuovo tokenizzatore di GPT-4o comprime efficacemente i dati in diverse famiglie linguistiche. Ad esempio:
Frequently asked questions
What is GPT-4o and what does the o stand for?
GPT-4o is the flagship model OpenAI announced on May 13, and the o stands for omni. The model accepts any combination of text, audio and images as input and can produce output in any of those formats. It was trained end-to-end to handle text, vision and audio together, which removes the limitations of earlier models built as pipelines, and it is a step toward natural interaction between people and computers.
How fast is GPT-4o at responding to voice?
GPT-4o processes audio input with a minimum latency of 232 milliseconds and an average of 320 milliseconds, which is comparable to human response time in a conversation. The model is trained end-to-end to process text, vision and audio simultaneously, removing the limitations of previous pipeline models. It also set new records in translation and speech recognition compared with Whisper-v3.
Is GPT-4o better than GPT-4 Turbo?
GPT-4o matches GPT-4 Turbo on English text and code and performs noticeably better on text in other languages. It is much faster and 50% cheaper in the API, and it outperforms GPT-4 on benchmarks for visual perception and multilingual understanding. Its new tokenizer also compresses text in many language families, so Gujarati needs 4.4 times fewer tokens, Telugu 3.5 times and Tamil 3.3 times.
Is GPT-4o available for free in ChatGPT?
Yes, GPT-4o is available in ChatGPT both in the free version and for Plus users, who get message limits 5 times higher. Developers can use GPT-4o in the API as a text and vision model, while the new audio and video capabilities were scheduled to roll out in the following weeks. Details and updates are published on the official OpenAI site.
What can GPT-4o do with voice and vision?
The demonstrations shown at launch include two GPT-4o instances talking and singing together, interview preparation, a game of rock, paper, scissors, use of sarcasm, solving math problems alongside experts, musical harmonization, learning a new language in real time, real-time translation, singing lullabies, telling jokes and customer support applications. These scenarios rely on the model's advanced understanding of vision and audio combined with low-latency voice responses.
Sources
- Hello GPT-4oOpenAI
Figures and dates come from the sources listed above. Last substantive revision: April 11, 2025.

