L’intelligenza artificiale ora può controllare il tuo computer – Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

18/02/2025

Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

Microsoft ha lanciato OmniParser V2, un innovativo strumento che consente ai modelli linguistici di interagire con le interfacce grafiche degli utenti. L’automazione delle GUI (interfacce grafiche utente) è una sfida, poiché richiede che il modello comprenda e navighi efficacemente attraverso gli schermi, identificando correttamente le icone interattive e associano le azioni appropriate agli elementi visivi. Tradizionalmente, i modelli linguistici di grandi dimensioni (LLM) hanno avuto difficoltà a gestire questo compito.

OmniParser risolve questo problema trasformando gli screenshot delle interfacce da semplici immagini in dati strutturati che possono essere facilmente interpretati dall’AI, migliorando la capacità del modello di prevedere e compiere le azioni necessarie. Con il rilascio di OmniParser V2, Microsoft ha potenziato ulteriormente la tecnologia, aumentando l’accuratezza nel rilevare anche gli elementi più piccoli e riducendo il tempo di latenza del 60% rispetto alla versione precedente. Questo è stato possibile grazie all’addestramento su un set di dati molto più ampio, che ha migliorato il riconoscimento delle icone e la loro corretta interpretazione.

Un esempio significativo dei miglioramenti ottenuti è dato dall’uso combinato di OmniParser e GPT-4o, che ha raggiunto un’accuratezza media del 39,6% nel benchmark ScreenSpot Pro, un test avanzato per identificare icone ad alta risoluzione. Questo segna un notevole progresso rispetto all’accuratezza di solo 0,8% ottenuta da GPT-4o in precedenza.

Per semplificare l’adozione e la sperimentazione di questa tecnologia, Microsoft ha sviluppato OmniTool, un sistema Docker per Windows che integra strumenti essenziali per gli agenti AI. OmniParser può essere utilizzato in combinazione con modelli avanzati come quelli di OpenAI (4o/o1/o3-mini), DeepSeek (R1), Qwen (2.5VL) e Anthropic (Sonnet), consentendo una comprensione più profonda degli schermi, l’interpretazione semantica degli elementi visivi e l’esecuzione delle azioni pianificate.

Ti è piaciuto l’articolo?

Condivilo su tutti i social e menziona TorinoNews24 - Notizie da Torino

Potrebbero interessarti

Pensioni integrative, dal 31 ottobre il capitale si potrà ricevere a rate- Cosa cambia

Pensioni integrative, dal 31 ottobre il capitale si potrà ricevere a rate- Cosa cambia

Dal 31 ottobre 2026 entra in vigore una nuova modalità per riscuotere i risparmi accumulati nei fondi pensione. Chi ha maturato i requisiti per ottenere la prestazione potrà ricevere il capitale attraverso versamenti periodici, distribuiti su un periodo stabilito dal beneficiario, ma non inferiore a cinque anni. La misura amplia le possibilità di gestione della […]

26/10/2026

Michelin chiude la sede di Milano e si sposta a Torino: trasferimento per 250 dipendenti Il piano

Michelin chiude la sede di Milano e si sposta a Torino: trasferimento per 250 dipendenti Il piano

Michelin Italia ha deciso di concentrare le proprie attività direzionali a Torino, programmando la chiusura della storica sede di Milano. L’intesa raggiunta con i sindacati coinvolge circa 250 dipendenti, che dovranno affrontare un trasferimento oppure organizzarsi per raggiungere quotidianamente il capoluogo piemontese. La nuova sede commerciale sarà in periferia nord, in corso Romania Il piano […]

26/10/2026

Cortei, fermato Youssef Siher, la presunta ‘mente’ della pagina ‘Movimento 17 ottobre’ – E’ indagato per il nuovo reato di violenza organizzata. Il profilo

Cortei, fermato Youssef Siher, la presunta ‘mente’ della pagina ‘Movimento 17 ottobre’ – E’ indagato per il nuovo reato di violenza organizzata. Il profilo

Youssef Siher, ricercatore italiano di 30 anni, è stato fermato su disposizione della Procura di Milano nell’ambito delle indagini sugli scontri avvenuti durante le manifestazioni nel capoluogo lombardo. Considerato il principale referente del Movimento 17 ottobre, legato a una pagina Instagram e a un gruppo Telegram, è accusato di istigazione a delinquere con l’aggravante della […]

25/10/2026

Mentana annuncia: “Saluto i miei telespettatori, presto sarà il mio ultimo giorno alla conduzione del Tg de La7”. Cosa ha detto

Mentana annuncia: “Saluto i miei telespettatori, presto sarà il mio ultimo giorno alla conduzione del Tg de La7”. Cosa ha detto

Enrico Mentana lascerà la conduzione del Tg di La7. Lo ha annunciato lui stesso durante un premio giornalistico ad Alessandria: “Il 23 dicembre saluterò i miei telespettatori, sarà il mio ultimo giorno alla conduzione del Tg de La7”. Il contratto con la rete, che guida dal 2010, scade a fine anno e non sarà rinnovato. […]

25/10/2026

Torino – Omicidio al Parco Dora: ragazzo accoltellato. E’ caccia al Killer in fuga

Torino – Omicidio al Parco Dora: ragazzo accoltellato. E’ caccia al Killer in fuga

A Torino, nel quartiere di Parco Dora, un giovane di circa 20-25 anni è morto dopo essere stato accoltellato all’addome. L’episodio si è verificato nel tardo pomeriggio di venerdì, intorno alle 18.30. Secondo le prime ricostruzioni, il ragazzo è stato trovato in condizioni gravissime nella zona del parco, vicino a un monopattino elettrico. La ferita […]

25/10/2026

A Torino apre il nuovo Museo della RAI – Cimeli abiti di scena e pezzi cult che hanno fatto la storia di radio e TV

A Torino apre il nuovo Museo della RAI – Cimeli abiti di scena e pezzi cult che hanno fatto la storia di radio e TV

A Torino apre il nuovo Museo della RAI – Cimeli e pezzi cult che hanno fatto la storia di radio e TV Nuovi oggetti e abiti di scena, apparecchi storici funzionanti, esperienze interattive e contenuti accessibili in Lingua dei Segni Italiana: il Museo della Radio e della Televisione Rai di Torino rinnova il proprio percorso […]

24/10/2026

L’allarme del Governo britannico: “Fate scorta per 3 giorni: cibo, acqua, coperte e contanti. Possibile attacco ostile”. Cosa sta succedendo

L’allarme del Governo britannico: “Fate scorta per 3 giorni: cibo, acqua, coperte e contanti. Possibile attacco ostile”. Cosa sta succedendo

Il governo britannico invita i cittadini a prepararsi a eventuali emergenze, conservando in casa provviste sufficienti per almeno 72 ore. La campagna, chiamata “Be Ready”, è stata rilanciata dal premier Andy Burnham durante un incontro dedicato alla sicurezza a Liverpool. L’obiettivo è rendere la popolazione più pronta ad affrontare situazioni critiche, dai fenomeni meteorologici estremi […]

24/10/2026

Torino – Lo sfogo della presentatrice torinese Michela Persico: “Sono in****ta nera con la mia città: mio figlio terrorizzato da bande di ragazzi, non posso portarlo al parco”

Torino – Lo sfogo della presentatrice torinese Michela Persico: “Sono in****ta nera con la mia città: mio figlio terrorizzato da bande di ragazzi, non posso portarlo al parco”

Michela Persico, influencer e conduttrice televisiva, ha affidato ai social il proprio sfogo sulla situazione della sicurezza a Torino, raccontando la preoccupazione vissuta quando accompagna il figlio nelle aree verdi vicino alla scuola. L’ex moglie del calciatore Daniele Rugani ha descritto un clima difficile per le famiglie, che avrebbero sempre più timore di frequentare i […]

24/10/2026

Un Paese che non investe sui giovani è un Paese che si è già arreso – Confindustria: “Serve un’IRPEF agevolata per gli under 35”

Un Paese che non investe sui giovani è un Paese che si è già arreso – Confindustria: “Serve un’IRPEF agevolata per gli under 35”

Investire sui giovani è fondamentale per il futuro dell’Italia e per contrastare la fuga dei talenti all’estero. Secondo Maria Anghileri, presidente dei Giovani Imprenditori di Confindustria, le imprese devono contribuire offrendo maggiori opportunità professionali e stipendi competitivi. Durante il Convegno nazionale di Capri, Anghileri ha rilanciato la proposta di un’IRPEF agevolata per gli under 35, […]

23/10/2026