L’intelligenza artificiale ora può controllare il tuo computer – Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

18/02/2025

Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

Microsoft ha lanciato OmniParser V2, un innovativo strumento che consente ai modelli linguistici di interagire con le interfacce grafiche degli utenti. L’automazione delle GUI (interfacce grafiche utente) è una sfida, poiché richiede che il modello comprenda e navighi efficacemente attraverso gli schermi, identificando correttamente le icone interattive e associano le azioni appropriate agli elementi visivi. Tradizionalmente, i modelli linguistici di grandi dimensioni (LLM) hanno avuto difficoltà a gestire questo compito.

OmniParser risolve questo problema trasformando gli screenshot delle interfacce da semplici immagini in dati strutturati che possono essere facilmente interpretati dall’AI, migliorando la capacità del modello di prevedere e compiere le azioni necessarie. Con il rilascio di OmniParser V2, Microsoft ha potenziato ulteriormente la tecnologia, aumentando l’accuratezza nel rilevare anche gli elementi più piccoli e riducendo il tempo di latenza del 60% rispetto alla versione precedente. Questo è stato possibile grazie all’addestramento su un set di dati molto più ampio, che ha migliorato il riconoscimento delle icone e la loro corretta interpretazione.

Un esempio significativo dei miglioramenti ottenuti è dato dall’uso combinato di OmniParser e GPT-4o, che ha raggiunto un’accuratezza media del 39,6% nel benchmark ScreenSpot Pro, un test avanzato per identificare icone ad alta risoluzione. Questo segna un notevole progresso rispetto all’accuratezza di solo 0,8% ottenuta da GPT-4o in precedenza.

Per semplificare l’adozione e la sperimentazione di questa tecnologia, Microsoft ha sviluppato OmniTool, un sistema Docker per Windows che integra strumenti essenziali per gli agenti AI. OmniParser può essere utilizzato in combinazione con modelli avanzati come quelli di OpenAI (4o/o1/o3-mini), DeepSeek (R1), Qwen (2.5VL) e Anthropic (Sonnet), consentendo una comprensione più profonda degli schermi, l’interpretazione semantica degli elementi visivi e l’esecuzione delle azioni pianificate.

Ti è piaciuto l’articolo?

Condivilo su tutti i social e menziona TorinoNews24 - Notizie da Torino

Potrebbero interessarti

Camion e bus di Iveco all’indiana Tata Motors – Arriva il via libera della Consob: le ultime

Camion e bus di Iveco all’indiana Tata Motors – Arriva il via libera della Consob: le ultime

La Consob ha autorizzato l’offerta pubblica di acquisto (Opa) lanciata da Tata Motors su Iveco, storico gruppo italiano specializzato nella produzione di camion, furgoni e autobus. L’operazione prenderà il via il 7 settembre e avrà una durata di sette settimane. Si tratta dell’ultimo passaggio di un accordo raggiunto a fine luglio, che prevede un investimento […]

04/09/2026

Chiuso il profilo di Fabrizio Corona: Belén attacca: “Siamo stati noi, pagherà per il male che ha fatto”. Poi cancella il messaggio

Chiuso il profilo di Fabrizio Corona: Belén attacca: “Siamo stati noi, pagherà per il male che ha fatto”. Poi cancella il messaggio

Lo scontro tra Belén Rodriguez e Fabrizio Corona si fa sempre più acceso. Dopo la pubblicazione di una puntata di Falsissimo incentrata sulla showgirl argentina, Belén ha rivendicato la sospensione del profilo Instagram di Dillinger News, l’account utilizzato da Corona dopo che il suo profilo personale era stato bloccato dalla piattaforma. La chiusura dell’account sarebbe […]

04/09/2026

Turismo, l’Italia è al secondo posto in Europa per numero di pernottamenti – Il Belpaese vola in classifica

Turismo, l’Italia è al secondo posto in Europa per numero di pernottamenti – Il Belpaese vola in classifica

Il turismo continua a rappresentare uno dei settori più importanti per l’economia italiana. Secondo i dati Eurostat, l’Italia si colloca ai vertici della classifica europea per numero di pernottamenti nelle strutture ricettive. Nel 2025 sono state registrate circa 476,9 milioni di notti, un risultato che porta il nostro Paese al secondo posto dopo la Spagna, […]

04/09/2026

L’Italia e il crollo demografico – Nel 2050 le coppie senza figli supereranno quelle che li hanno. Sempre più anziani e meno bambini: i dati

L’Italia e il crollo demografico – Nel 2050 le coppie senza figli supereranno quelle che li hanno. Sempre più anziani e meno bambini: i dati

L’Italia sta andando verso una trasformazione demografica profonda: meno abitanti, più anziani e nuclei familiari sempre più piccoli. Secondo le proiezioni dell’Istat, dai 58,9 milioni di residenti del 2025 si passerà a circa 55 milioni nel 2050, fino ad arrivare a 45,8 milioni nel 2080. In poco più di mezzo secolo il Paese potrebbe quindi […]

04/09/2026

Torino – Caro carburanti, Cna Piemonte lancia l’allarme: «I due euro non diventino la nuova normalità. Così si mette in ginocchio l’economia»

Torino – Caro carburanti, Cna Piemonte lancia l’allarme: «I due euro non diventino la nuova normalità. Così si mette in ginocchio l’economia»

Caro carburanti, Cna Piemonte lancia l’allarme: «I due euro non diventino la nuova normalità. Così si mette in ginocchio l’economia» Zanzottera e Genovesio: «Fino a poco tempo fa consideravamo inaccettabile la benzina a 1,80 euro. Oggi rischiamo di abituarci a vederla stabilmente sopra i 2 euro. Non possiamo accettare questa progressiva assuefazione ai rincari» C’è […]

04/09/2026

A Torino e in Piemonte un altro week end infuocato: picchi di 37 gradi nel Torinese: sarà il record degli ultimi 130 anni

A Torino e in Piemonte un altro week end infuocato: picchi di 37 gradi nel Torinese: sarà il record degli ultimi 130 anni

Torino e il Piemonte si preparano ad affrontare un nuovo fine settimana caratterizzato da un caldo eccezionale. Tra venerdì 4 e sabato 5 settembre, le temperature potrebbero raggiungere valori particolarmente elevati, soprattutto nelle zone di pianura. A Torino e nelle province di Asti, Alessandria, Vercelli e Novara sono previste massime comprese tra 34 e 36 […]

04/09/2026

George Clooney, attacco a  Trump dal Festival di Venezia:  «Gli Usa in mano ai peggiori, è una kakistocrazia»

George Clooney, attacco a Trump dal Festival di Venezia: «Gli Usa in mano ai peggiori, è una kakistocrazia»

George Clooney ha inaugurato l’83ª Mostra del Cinema di Venezia ricevendo il Leone d’Oro alla carriera, ma il suo intervento non si è limitato al mondo del cinema. Durante la conferenza stampa, l’attore e regista statunitense ha parlato apertamente della situazione politica del suo Paese, rivolgendosi in modo molto critico all’attuale amministrazione americana senza però […]

03/09/2026

Norvegia, il gigante degli investimenti – Il Fondo Sovrano possiede l’1,5% delle aziende quotate al mondo. I dati sorprendenti

Norvegia, il gigante degli investimenti – Il Fondo Sovrano possiede l’1,5% delle aziende quotate al mondo. I dati sorprendenti

La Norvegia ha trasformato la ricchezza generata da petrolio e gas in uno dei più grandi patrimoni finanziari del pianeta. Attraverso il suo fondo sovrano, il Government Pension Fund Global, Oslo detiene quote in circa 7.100 società internazionali, pari complessivamente all’1,5% delle aziende quotate a livello globale. Il valore del fondo ha raggiunto circa 2,3 […]

03/09/2026

Il governo Meloni è ufficialmente il più longevo della storia in Italia –  Superato Berlusconi

Il governo Meloni è ufficialmente il più longevo della storia in Italia – Superato Berlusconi

Il governo guidato da Giorgia Meloni ha raggiunto un e record nella storia della Repubblica italiana, diventando l’esecutivo rimasto più a lungo in carica dal 1948. Insediatosi il 22 ottobre 2022, il governo ha superato il precedente primato detenuto dal secondo esecutivo di Silvio Berlusconi, che aveva totalizzato 1.409 giorni effettivi di attività. Il confronto […]

03/09/2026