Rimani aggiornato con WebMasterPoint
OpenAI punta su un sistema capace di prendere decisioni in appena 0,2 secondi: la Decisions API. Il suo funzionamento, gli impieghi tra aziende e dispositivi e le opzioni di accesso per gli sviluppatori ne delineano potenzialità e prospettive.
OpenAI ha aperto a tutti i clienti la Decisions API, un sistema che porta alcune risposte dellintelligenza artificiale a tempi compresi fra 100 e 180 millisecondi: meno di 0,2 secondi. Presentata al Developer Day del 29 settembre 2026, la API arrivata al pubblico poco pi di tre settimane dopo. Serve a scegliere rapidamente fra opzioni definite, con risposte brevi e strutturate, invece di generare ogni volta un testo articolato come farebbe un chatbot.
Come funziona la Decisions API
Alla base del servizio c ChatGPT Luna, riconfigurato da OpenAI per ridurre latenza e costi dinferenza. Nella versione attuale Luna a occuparsi delle decisioni, con unimpostazione ottimizzata per rispondere in fretta e in poche parole. Nikunj Handa, responsabile di prodotto delle API, ha spiegato che i tempi sono passati da uno-tre secondi a 100, 120 o 180 millisecondi, in base alla richiesta.
Il funzionamento diretto: lo sviluppatore sottopone al modello una serie di alternative e il sistema seleziona quella pi adatta. Alla scelta pu essere associato anche un livello di confidenza. una logica utile per classificazioni, instradamento e decisioni ripetitive, attivit in cui la rapidit di risposta pesa pi della produzione di un testo esteso. La versione pubblica include input vocali e visivi; OpenAI ha anche distribuito geograficamente le risorse dinferenza per contenere i ritardi.
Il tipo di risposta cambia a seconda del compito. In una conversazione aperta il modello deve generare testo; per assegnare un ticket alla categoria corretta, indicare il passaggio successivo di un flusso o interpretare un comando vocale, pu bastare una decisione strutturata. Tempi di attesa pi brevi consentono di gestire un numero maggiore di operazioni. Il costo, invece, varia con il carico e con le modalit di implementazione.
Casi duso tra aziende e dispositivi
Le prime prove hanno coinvolto Box, Datadog, Ramp e Speak. I loro team hanno sostituito alcuni impieghi dei modelli linguistici OpenAI per aumentare il throughput. Speak, che sviluppa tutor linguistici basati sullIA, ha ridotto da 1,4 secondi a 0,13 secondi il tempo fra unazione e la successiva. OpenAI impiega la Decisions API anche per rendere pi reattivo Dots, il proprio assistente vocale.
Nei prodotti consumer, tempi di risposta inferiori rendono pi fluide le interazioni con un tutor che reagisce alla pronuncia, un assistente vocale o uninterfaccia capace di interpretare immagini. In azienda, la stessa impostazione pu servire a classificare documenti, gestire richieste di assistenza e selezionare automaticamente la fase successiva di un processo. La funzione resta quella di scegliere fra alternative sulla base dellinput ricevuto.
La componente multimodale distingue la Decisions API dai sistemi che lavorano soltanto sul testo. Handa ha descritto Luna come particolarmente efficace nella classificazione delle immagini e ha riferito linteresse dei clienti per output visivi pi flessibili. Handa ha indicato come possibile unulteriore riduzione dei tempi fino a 60 millisecondi: a quella velocit, una chiamata per ogni fotogramma di un video potrebbe diventare praticabile.
Confronto e accesso per gli sviluppatori
Il confronto diretto con Jev, il classificatore di deep learning sviluppato da TypeSafe, startup fondata da un ex ricercatore OpenAI. Jev ha contribuito a far emergere la categoria dei modelli decisionali, chiamati anche System One, progettati per scegliere rapidamente e a costi contenuti fra pi alternative. TypeSafe ha esteso il proprio modello alle immagini e alle istruzioni smart-if. OpenAI punta sulla base multimodale di Luna e sullintegrazione con le proprie API. La competizione riguarda velocit, capacit, calibrazione e costi nei singoli flussi.
La scelta fra i sistemi dipende dal compito: un modello pu funzionare meglio nella selezione testuale, un altro nella comprensione delle immagini o nel rispetto di una determinata soglia di confidenza. Tra gli strumenti di confronto c JevMan, che mette alla prova i modelli in una partita a Pac-Man, con decisioni ravvicinate e rapide. Il test si concentra su questo tipo di scelta.
La Decisions API disponibile ai clienti OpenAI attraverso le API della societ. Gli sviluppatori possono inserirla nei propri flussi applicativi per compiti circoscritti e ripetibili, in cui serve scegliere fra alternative. Handa ha lasciato aperta la possibilit di un addestramento mirato in futuro. Per ora, la velocit deriva dalla riconfigurazione di Luna.