L’intelligenza artificiale ora può controllare il tuo computer – Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc
Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc
Microsoft ha lanciato OmniParser V2, un innovativo strumento che consente ai modelli linguistici di interagire con le interfacce grafiche degli utenti. L’automazione delle GUI (interfacce grafiche utente) è una sfida, poiché richiede che il modello comprenda e navighi efficacemente attraverso gli schermi, identificando correttamente le icone interattive e associano le azioni appropriate agli elementi visivi. Tradizionalmente, i modelli linguistici di grandi dimensioni (LLM) hanno avuto difficoltà a gestire questo compito.
OmniParser risolve questo problema trasformando gli screenshot delle interfacce da semplici immagini in dati strutturati che possono essere facilmente interpretati dall’AI, migliorando la capacità del modello di prevedere e compiere le azioni necessarie. Con il rilascio di OmniParser V2, Microsoft ha potenziato ulteriormente la tecnologia, aumentando l’accuratezza nel rilevare anche gli elementi più piccoli e riducendo il tempo di latenza del 60% rispetto alla versione precedente. Questo è stato possibile grazie all’addestramento su un set di dati molto più ampio, che ha migliorato il riconoscimento delle icone e la loro corretta interpretazione.
Un esempio significativo dei miglioramenti ottenuti è dato dall’uso combinato di OmniParser e GPT-4o, che ha raggiunto un’accuratezza media del 39,6% nel benchmark ScreenSpot Pro, un test avanzato per identificare icone ad alta risoluzione. Questo segna un notevole progresso rispetto all’accuratezza di solo 0,8% ottenuta da GPT-4o in precedenza.
Per semplificare l’adozione e la sperimentazione di questa tecnologia, Microsoft ha sviluppato OmniTool, un sistema Docker per Windows che integra strumenti essenziali per gli agenti AI. OmniParser può essere utilizzato in combinazione con modelli avanzati come quelli di OpenAI (4o/o1/o3-mini), DeepSeek (R1), Qwen (2.5VL) e Anthropic (Sonnet), consentendo una comprensione più profonda degli schermi, l’interpretazione semantica degli elementi visivi e l’esecuzione delle azioni pianificate.
Ti è piaciuto l’articolo?
Condivilo su tutti i social e menziona TorinoNews24 - Notizie da Torino
Potrebbero interessarti
II Governo vuole “160mila militari entro il 2033” – Ecco come cambia il reclutamento delle Forze Armate
II Governo vuole “160mila militari entro il 2033” Il governo ha approvato un decreto legge che avvia una profonda revisione del Codice dell’ordinamento militare, introducendo nuove regole per l’arruolamento e lo sviluppo delle carriere nelle Forze Armate. Il provvedimento ha ottenuto il primo via libera dal Consiglio dei ministri nella seduta dell’11 dicembre e punta […]
14/12/2025
Leggi Tutto
Torino – E’ più grande e moderno il pronto Soccorso dell’ospedale Maria Vittoria. Lavori per 1 milione di euro: le novità
Torino – E’ più grande e moderno il pronto Soccorso dell’ospedale Maria Vittoria. Lavori per 1 milione di euro Venerdì 12 dicembre 2025, alle ore 12.00, si è tenuta l’inaugurazione dell’ampliamento del Pronto Soccorso dell’Ospedale Maria Vittoria dell’ASL Città di Torino, alla presenza, tra gli altri, del Presidente della Regione Piemonte, Alberto CIRIO, del Direttore […]
14/12/2025
Test di Medicina – Arriva la sanatoria per chi non ha passato glie sami (e il ritorno del 6 politico). Cosa sta succedendo
L’accesso alla facoltà di Medicina torna al centro del dibattito pubblico dopo l’esito del secondo appello degli esami previsti al termine del cosiddetto semestre “filtro”. Le prove, giudicate da molti studenti estremamente complesse, hanno riacceso proteste e polemiche, con manifestazioni in piazza e una pioggia di ricorsi già annunciata dalle associazioni universitarie. Di fronte alla […]
14/12/2025
Cessione Gedi, parla Avetta: “La Regione difenda la Sentinella del Canavese e i suoi 132 anni di storia”
La possibile vendita delle testate del Gruppo GEDI suscita forte allarme non solo a Torino, ma anche nel territorio del Canavese. A esprimere preoccupazione è il consigliere regionale Alberto Avetta, che richiama l’attenzione sugli effetti che l’operazione potrebbe avere sull’informazione locale e sul futuro de La Sentinella del Canavese, quotidiano storico del territorio. Secondo Avetta, […]
13/12/2025
La cucina italiana è patrimonio dell’Umanità Unesco – Crosetto: “Orgoglio nazionale che appartiene a tutti”
La cucina italiana entra ufficialmente nella Lista rappresentativa del Patrimonio culturale immateriale dell’Unesco, diventando un simbolo riconosciuto a livello mondiale. La decisione è stata presa dal Comitato intergovernativo dell’organizzazione, riunito a Nuova Delhi, che ha approvato la candidatura intitolata “Cucina italiana fra sostenibilità e diversità bio-culturale”, confermando il giudizio favorevole espresso nei mesi precedenti. Alla […]
13/12/2025
A Torino linee STAR gratis per tutti, ogni sabato e i festivi – L’annuncio
A Torino linee STAR gratis per tutti, ogni sabato e i festivi – L’annuncio Linee STAR gratuite per tutti i sabati e i giorni festivi. Dal 6 dicembre al 6 gennaio (compresi), infatti, per utilizzare le linee di trasporto pubblico STAR non si dovrà pagare il biglietto. La delibera, proposta dall’assessora ai Trasporti della Città […]
13/12/2025
Torino – A Natale brilla Porta Palazzo. Domenica una giornata di eventi, fra musica e spettacolo INFO
Torino – Porta Palazzo brilla a Natale. Domenica una giornata di eventi, fra musica e spettacolo Questa domenica, 14 dicembre, Porta Palazzo sarà al centro di una giornata di iniziative dedicate al Natale, alla cultura e alla partecipazione con “A Natale Porta Palazzo Brilla”, un appuntamento promosso dalla Città di Torino che intreccia memoria storica, […]
12/12/2025
A Torino torna la magia di ‘Natale in Giostra’ – Parco Dora si trasforma in un villaggio fantastico. L’Evento
A Torino si riaccende l’atmosfera delle feste con il ritorno di “Natale in Giostra”, che fino al 6 gennaio 2026 animerà il Parco Dora. La storica manifestazione, giunta alla 46ª edizione, si svolgerà sotto la grande tettoia dell’ex area industriale dello strippaggio, trasformata per l’occasione in un vero villaggio del divertimento con una cinquantina di […]
12/12/2025
Torino – L’India si prende anche ItalDesign . Dopo Pininfarina e Iveco gli indiani acquistano n’altra azienda storica
A Torino cambia ancora il panorama dell’automotive: dopo Pininfarina entrata nell’universo Mahindra e dopo il passaggio di Iveco sotto il controllo di Tata, anche Italdesign si prepara a un nuovo proprietario proveniente dall’India. Audi ha infatti avviato un accordo con Ust, gruppo con sede legale negli Stati Uniti ma controllato da capitali indiani, per la […]
12/12/2025