L’intelligenza artificiale ora può controllare il tuo computer – Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

18/02/2025

Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

Microsoft ha lanciato OmniParser V2, un innovativo strumento che consente ai modelli linguistici di interagire con le interfacce grafiche degli utenti. L’automazione delle GUI (interfacce grafiche utente) è una sfida, poiché richiede che il modello comprenda e navighi efficacemente attraverso gli schermi, identificando correttamente le icone interattive e associano le azioni appropriate agli elementi visivi. Tradizionalmente, i modelli linguistici di grandi dimensioni (LLM) hanno avuto difficoltà a gestire questo compito.

OmniParser risolve questo problema trasformando gli screenshot delle interfacce da semplici immagini in dati strutturati che possono essere facilmente interpretati dall’AI, migliorando la capacità del modello di prevedere e compiere le azioni necessarie. Con il rilascio di OmniParser V2, Microsoft ha potenziato ulteriormente la tecnologia, aumentando l’accuratezza nel rilevare anche gli elementi più piccoli e riducendo il tempo di latenza del 60% rispetto alla versione precedente. Questo è stato possibile grazie all’addestramento su un set di dati molto più ampio, che ha migliorato il riconoscimento delle icone e la loro corretta interpretazione.

Un esempio significativo dei miglioramenti ottenuti è dato dall’uso combinato di OmniParser e GPT-4o, che ha raggiunto un’accuratezza media del 39,6% nel benchmark ScreenSpot Pro, un test avanzato per identificare icone ad alta risoluzione. Questo segna un notevole progresso rispetto all’accuratezza di solo 0,8% ottenuta da GPT-4o in precedenza.

Per semplificare l’adozione e la sperimentazione di questa tecnologia, Microsoft ha sviluppato OmniTool, un sistema Docker per Windows che integra strumenti essenziali per gli agenti AI. OmniParser può essere utilizzato in combinazione con modelli avanzati come quelli di OpenAI (4o/o1/o3-mini), DeepSeek (R1), Qwen (2.5VL) e Anthropic (Sonnet), consentendo una comprensione più profonda degli schermi, l’interpretazione semantica degli elementi visivi e l’esecuzione delle azioni pianificate.

Ti è piaciuto l’articolo?

Condivilo su tutti i social e menziona TorinoNews24 - Notizie da Torino

Potrebbero interessarti

Torino ricorda le vittime della ThyssenKrupp nel 18° anniversario: “La nostra città non può dimenticare”

Torino ricorda le vittime della ThyssenKrupp nel 18° anniversario: “La nostra città non può dimenticare”

A 18 anni dal tragico rogo nello stabilimento ThyssenKrupp di Torino, avvenuto la notte del 6 dicembre 2007, in cui persero la vita sette operai, si è svolta questa mattina la cerimonia di commemorazione al memoriale delle vittime al Cimitero monumentale. Accanto ai familiari delle vittime tra le autorità erano presenti il sindaco Stefano Lo […]

06/12/2025

Il valore umano dei dati: conclusa con successo a Torino la DAMA Italy Annual Convention 2025

Il valore umano dei dati: conclusa con successo a Torino la DAMA Italy Annual Convention 2025

Si è conclusa con successo, a Torino, presso l’Environment Park, l’edizione 2025 della DAMA Italy Annual Convention (DIAC). L’evento, promosso da DAMA Italy con il patrocinio del Comune di Torino, ha riunito professionisti, accademici e istituzioni per confrontarsi sul tema “Data for Good: i dati al servizio del bene comune”, esplorando come l’uso responsabile dell’informazione […]

06/12/2025

Dottorato in Fisica per il genio di 15 anni che studia l'”immortalità” –  “Studio perché non voglio che i bambini perdano i loro nonni”

Dottorato in Fisica per il genio di 15 anni che studia l'”immortalità” – “Studio perché non voglio che i bambini perdano i loro nonni”

Laurent Simons, quindicenne belga, ha raggiunto un nuovo traguardo straordinario: ha completato il dottorato in Fisica quantistica all’Università di Anversa, coltivando l’obiettivo dichiarato di studiare i meccanismi che potrebbero un giorno allungare l’esistenza umana. Considerato un prodigio già in tenera età, Laurent si era fatto notare nel 2021, quando ottenne la sua prima laurea a […]

06/12/2025

Elon Musk: “Nel 2027 l’umanità  arriverà al punto di non ritorno. Non sarà una catastrofe, ma….” Cosa ha detto

Elon Musk: “Nel 2027 l’umanità arriverà al punto di non ritorno. Non sarà una catastrofe, ma….” Cosa ha detto

In un lungo confronto con Lex Fridman, Elon Musk ha sostenuto che il 2027 rappresenterà un momento di svolta irreversibile per l’umanità. Quando gli è stato chiesto cosa accadrà, si è fermato in silenzio per quasi un minuto, per poi limitarsi a dire che non si tratterà di una tragedia globale, ma di una trasformazione […]

06/12/2025

E’ Piemontese la Chef vincitrice nella categoria ‘Dolci’ di «Extra Cuoca 2025: il concorso al femminile che celebra l’olio evo

E’ Piemontese la Chef vincitrice nella categoria ‘Dolci’ di «Extra Cuoca 2025: il concorso al femminile che celebra l’olio evo

È piemontese la regina dei Dolci di Extra Cuoca 2025, il concorso nazionale dedicato alle professioniste della ristorazione che valorizzano l’olio extravergine. A conquistare il gradino più alto del podio è Rosa Del Gaudo, autrice di una raffinata “Crema di limone all’olio evo con shortbread”, impreziosita dall’olio DOP Garda Bresciano dell’Azienda agricola San Felice di […]

06/12/2025

Torino – Arrivano le strisce blu a prezzo scontato per chi lavora solo mezza giornata. Ecco le novità

Torino – Arrivano le strisce blu a prezzo scontato per chi lavora solo mezza giornata. Ecco le novità

Per chi lavora con contratti part time potrebbe presto arrivare una soluzione più conveniente per la sosta nelle strisce blu. L’assessora alla Mobilità di Torino, Chiara Foglietta, ha annunciato in consiglio comunale l’intenzione di introdurre abbonamenti orari a prezzi ridotti, pensati per chi trascorre solo mezza giornata in ufficio o nei negozi. Foglietta ha spiegato […]

05/12/2025

Torino – Assalto a La Stampa, parla il sindaco Lo Russo: “Da Piantedosi troppa retorica. Non alimentiamo la tensione”

Torino – Assalto a La Stampa, parla il sindaco Lo Russo: “Da Piantedosi troppa retorica. Non alimentiamo la tensione”

Il sindaco di Torino, Stefano Lo Russo, è intervenuto nuovamente dopo l’assalto alla sede de La Stampa, definendo l’episodio “un gesto gravissimo contro la libertà di stampa e contro le regole democratiche”. A suo avviso, chi ha organizzato l’azione deve essere identificato e perseguito senza esitazioni. Nello stesso tempo, Lo Russo ha richiamato alla necessità […]

04/12/2025

Se il Piemonte fosse uno Stato come sarebbe? PIL superiore alla Slovacchia ed eccellenza del Turismo: i dati

Se il Piemonte fosse uno Stato come sarebbe? PIL superiore alla Slovacchia ed eccellenza del Turismo: i dati

Cosa accadrebbe se il Piemonte si trasformasse in un Paese autonomo all’interno dell’Unione Europea? Un’analisi comparativa realizzata da Quotidiano pimontese, mostra come la regione, presa da sola, assumerebbe un profilo tutt’altro che marginale nel panorama europeo. Con 4,2 milioni di abitanti, lo Stato-Piemonte rientrerebbe nella fascia dei Paesi meno popolosi dell’UE, collocandosi intorno al 21° […]

05/12/2025

‘Schiscetta’ al lavoro: quanto fa risparmiare? Più di 3mila euro all’anno, come 2 stipendi. I dati

‘Schiscetta’ al lavoro: quanto fa risparmiare? Più di 3mila euro all’anno, come 2 stipendi. I dati

‘Schiscetta’ al lavoro: quanto fa risparmiare? Più di 3mila euro all’anno Prepararsi il pranzo a casa e portarlo in ufficio non è solo un’abitudine salutare, ma anche una strategia che permette di ridurre in modo consistente le spese quotidiane. Secondo una recente analisi di Bravo, società fintech specializzata nella gestione del debito, rinunciare ai pasti […]

05/12/2025