L’intelligenza artificiale ora può controllare il tuo computer – Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

18/02/2025

Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

Microsoft ha lanciato OmniParser V2, un innovativo strumento che consente ai modelli linguistici di interagire con le interfacce grafiche degli utenti. L’automazione delle GUI (interfacce grafiche utente) è una sfida, poiché richiede che il modello comprenda e navighi efficacemente attraverso gli schermi, identificando correttamente le icone interattive e associano le azioni appropriate agli elementi visivi. Tradizionalmente, i modelli linguistici di grandi dimensioni (LLM) hanno avuto difficoltà a gestire questo compito.

OmniParser risolve questo problema trasformando gli screenshot delle interfacce da semplici immagini in dati strutturati che possono essere facilmente interpretati dall’AI, migliorando la capacità del modello di prevedere e compiere le azioni necessarie. Con il rilascio di OmniParser V2, Microsoft ha potenziato ulteriormente la tecnologia, aumentando l’accuratezza nel rilevare anche gli elementi più piccoli e riducendo il tempo di latenza del 60% rispetto alla versione precedente. Questo è stato possibile grazie all’addestramento su un set di dati molto più ampio, che ha migliorato il riconoscimento delle icone e la loro corretta interpretazione.

Un esempio significativo dei miglioramenti ottenuti è dato dall’uso combinato di OmniParser e GPT-4o, che ha raggiunto un’accuratezza media del 39,6% nel benchmark ScreenSpot Pro, un test avanzato per identificare icone ad alta risoluzione. Questo segna un notevole progresso rispetto all’accuratezza di solo 0,8% ottenuta da GPT-4o in precedenza.

Per semplificare l’adozione e la sperimentazione di questa tecnologia, Microsoft ha sviluppato OmniTool, un sistema Docker per Windows che integra strumenti essenziali per gli agenti AI. OmniParser può essere utilizzato in combinazione con modelli avanzati come quelli di OpenAI (4o/o1/o3-mini), DeepSeek (R1), Qwen (2.5VL) e Anthropic (Sonnet), consentendo una comprensione più profonda degli schermi, l’interpretazione semantica degli elementi visivi e l’esecuzione delle azioni pianificate.

Ti è piaciuto l’articolo?

Condivilo su tutti i social e menziona TorinoNews24 - Notizie da Torino

Potrebbero interessarti

Il piccolo Einstein continua a stupire: laureato a 15 anni studia l’immortalità. “Voglio creare un super umano”. Chi è  Laurent Simons

Il piccolo Einstein continua a stupire: laureato a 15 anni studia l’immortalità. “Voglio creare un super umano”. Chi è Laurent Simons

Laurent Simons, il giovane prodigio, il “piccolo Einstein del Belgio”, continua a sorprendere il mondo accademico con risultati eccezionali raggiunti in un’età in cui la maggior parte dei coetanei frequenta ancora la scuola superiore. A soli 15 anni ha concluso un dottorato in Fisica quantistica presso l’Università di Anversa, aggiungendo un nuovo capitolo a una […]

22/06/2026

Tasse degli Italiani: il 20% dei soldi versati finisce nelle pensioni – Ecco come vengono utilizzate le imposte

Tasse degli Italiani: il 20% dei soldi versati finisce nelle pensioni – Ecco come vengono utilizzate le imposte

Tasse degli Italiani: un quinto dei soldi versati finisce nelle pensioni  Agenzia delle Entrate mette a disposizione un documento che illustra in modo semplice come vengono impiegate le imposte versate allo Stato. Questo strumento, consultabile nell’area riservata del contribuente, è stato introdotto per rendere più chiaro il legame tra il pagamento delle tasse e il […]

22/06/2026

Il fondatore Nike dona 2 miliardi di dollari per la ricerca contro il cancro – E’ una delle più grandi iniziative filantropiche di sempre

Il fondatore Nike dona 2 miliardi di dollari per la ricerca contro il cancro – E’ una delle più grandi iniziative filantropiche di sempre

Un contributo senza precedenti destinato a cambiare il futuro della ricerca oncologica. Phil Knight, imprenditore noto per aver fondato il colosso dell’abbigliamento sportivo Nike, insieme alla moglie Penny, ha annunciato una donazione di circa 2 miliardi di dollari all’Università della Salute e delle Scienze dell’Oregon. Le risorse saranno destinate al Knight Cancer Institute, centro di […]

21/06/2026

Paura nel Torinese – Giostra bloccata a 30 metri: ragazzi sospesi nel vuoto

Paura nel Torinese – Giostra bloccata a 30 metri: ragazzi sospesi nel vuoto

Attimi di grande paura nella serata di sabato a Villanova Canavese, nel Torinese, durante la manifestazione Villexpo. Una giostra del luna park si è improvvisamente fermata mentre era in funzione, lasciando otto ragazzi bloccati in posizioni pericolose: quattro sono rimasti nelle navicelle inferiori, mentre gli altri quattro si trovavano a circa 30 metri di altezza, […]

21/06/2026

In Ucraina Droni “Terminator” – Per la prima volta una macchina ha deciso da sola di uccidere

In Ucraina Droni “Terminator” – Per la prima volta una macchina ha deciso da sola di uccidere

 Idroni autonomi entrano in guerra: l’IA decide da sola chi colpire. La guerra in Ucraina potrebbe aver segnato un passaggio storico e controverso nell’evoluzione delle tecnologie militari. Secondo quanto dichiarato da Alexander Kokhanovskyy, dirigente di un’azienda specializzata nella produzione di droni, alcuni velivoli dotati di intelligenza artificiale avrebbero operato completamente senza supervisione umana, individuando e […]

21/06/2026

Torino – Robotica, il Piemonte guida l’Italia e Torino rilancia la sfida dell’innovazione industriale. L’incontro con l’Unione Industriali il 29 Giugno

Torino – Robotica, il Piemonte guida l’Italia e Torino rilancia la sfida dell’innovazione industriale. L’incontro con l’Unione Industriali il 29 Giugno

Il Piemonte si conferma il principale motore della robotica industriale italiana, rafforzando un ruolo di leadership che lo colloca al centro delle strategie di sviluppo tecnologico del Paese. La regione produce infatti quasi la metà del fatturato nazionale del comparto, pari al 48,7%, e concentra oltre il 64% degli occupati del settore. Numeri che testimoniano […]

21/06/2026

Torino – Pedemontana Piemontese, al via i cantieri: “Opera strategica per imprese, mobilità e sviluppo”

Torino – Pedemontana Piemontese, al via i cantieri: “Opera strategica per imprese, mobilità e sviluppo”

Torino – Pedemontana Piemontese, al via i cantieri: “Opera strategica per imprese, mobilità e sviluppo” Dal 6 luglio prenderanno il via i lavori per la realizzazione delle opere infrastrutturali della Pedemontana Piemontese. Lo hanno annunciato il presidente della Regione Piemonte, Alberto Cirio, e l’assessore regionale alle Infrastrutture strategiche, Enrico Bussalino, al termine della riunione odierna […]

21/06/2026

L’Italia è all’ultimo posto in Europa per ingegneri e scienziati- Senza capitale umano la crescite è impossibile: i dati

L’Italia è all’ultimo posto in Europa per ingegneri e scienziati- Senza capitale umano la crescite è impossibile: i dati

L’Italia si colloca all’ultimo posto nell’Unione Europea per presenza di scienziati e ingegneri nel mercato del lavoro, una condizione che evidenzia un ritardo strutturale nello sviluppo del capitale umano. In un’economia sempre più basata su innovazione e tecnologia, la scarsità di professionisti STEM rappresenta un limite significativo alla crescita di lungo periodo. Nel Paese, meno […]

20/06/2026

Torino – Oggi la storica Festa della Consolata: la festa solenne nel cuore della città. Cambia il percorso

Torino – Oggi la storica Festa della Consolata: la festa solenne nel cuore della città. Cambia il percorso

Torino si prepara a celebrare uno degli appuntamenti religiosi più sentiti e tradizionali dell’anno: la Festa della Consolata. Sabato 20 giugno il Santuario sarà il centro delle celebrazioni dedicate alla patrona della città. Per l’occasione il quadro della Madonna Consolata verrà collocato in prossimità dell’ingresso principale della chiesa, consentendo ai fedeli di renderle omaggio durante […]

20/06/2026