L’intelligenza artificiale ora può controllare il tuo computer – Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

18/02/2025

Microsoft lancia il nuovo Tool che trasforma l’AI in un agente che controlla il tuo Pc

Microsoft ha lanciato OmniParser V2, un innovativo strumento che consente ai modelli linguistici di interagire con le interfacce grafiche degli utenti. L’automazione delle GUI (interfacce grafiche utente) è una sfida, poiché richiede che il modello comprenda e navighi efficacemente attraverso gli schermi, identificando correttamente le icone interattive e associano le azioni appropriate agli elementi visivi. Tradizionalmente, i modelli linguistici di grandi dimensioni (LLM) hanno avuto difficoltà a gestire questo compito.

OmniParser risolve questo problema trasformando gli screenshot delle interfacce da semplici immagini in dati strutturati che possono essere facilmente interpretati dall’AI, migliorando la capacità del modello di prevedere e compiere le azioni necessarie. Con il rilascio di OmniParser V2, Microsoft ha potenziato ulteriormente la tecnologia, aumentando l’accuratezza nel rilevare anche gli elementi più piccoli e riducendo il tempo di latenza del 60% rispetto alla versione precedente. Questo è stato possibile grazie all’addestramento su un set di dati molto più ampio, che ha migliorato il riconoscimento delle icone e la loro corretta interpretazione.

Un esempio significativo dei miglioramenti ottenuti è dato dall’uso combinato di OmniParser e GPT-4o, che ha raggiunto un’accuratezza media del 39,6% nel benchmark ScreenSpot Pro, un test avanzato per identificare icone ad alta risoluzione. Questo segna un notevole progresso rispetto all’accuratezza di solo 0,8% ottenuta da GPT-4o in precedenza.

Per semplificare l’adozione e la sperimentazione di questa tecnologia, Microsoft ha sviluppato OmniTool, un sistema Docker per Windows che integra strumenti essenziali per gli agenti AI. OmniParser può essere utilizzato in combinazione con modelli avanzati come quelli di OpenAI (4o/o1/o3-mini), DeepSeek (R1), Qwen (2.5VL) e Anthropic (Sonnet), consentendo una comprensione più profonda degli schermi, l’interpretazione semantica degli elementi visivi e l’esecuzione delle azioni pianificate.

Ti è piaciuto l’articolo?

Condivilo su tutti i social e menziona TorinoNews24 - Notizie da Torino

Potrebbero interessarti

L’ UE indaga su Google: penalizzazioni ingiuste per gli editori nei risultati di ricerca. Aperta una procedura

L’ UE indaga su Google: penalizzazioni ingiuste per gli editori nei risultati di ricerca. Aperta una procedura

La Commissione Europea ha aperto una nuova indagine su Google per valutare se il trattamento riservato ai siti editoriali nei risultati di ricerca sia conforme agli obblighi di equità previsti dal Digital Markets Act. Al centro del procedimento c’è il calo di visibilità di molte testate dopo l’introduzione, nel 2024, della “site reputation abuse policy”, […]

14/11/2025

Torino – Una parata di stelle per il ‘Torino Film Festival’: ecco tutte le Star (internazionali e italiane) in arrivo in città

Torino – Una parata di stelle per il ‘Torino Film Festival’: ecco tutte le Star (internazionali e italiane) in arrivo in città

Il Torino Film Festival si prepara a un’edizione ricca di ospiti, appuntamenti speciali e proiezioni attese. Nella presentazione ufficiale tenuta a Roma, il direttore Giulio Base ha delineato la struttura del TFF numero 43, immaginandolo come una grande lavagna piena di film, incontri e omaggi, il tutto sotto l’icona simbolica di Paul Newman, protagonista della […]

14/11/2025

Torino – Da oggi gli Influencer devono iscriversi ad un Albo: codice di condotta e multe fino a 600mila euro. Cosa cambia

Torino – Da oggi gli Influencer devono iscriversi ad un Albo: codice di condotta e multe fino a 600mila euro. Cosa cambia

In Italia entra in vigore un nuovo sistema di regole per gli influencer: dall’autunno 2025 è operativo un registro ufficiale, accompagnato da un codice di condotta che disciplina comunicazione commerciale e tutela dei minori. L’Agcom, con la delibera 197/2025, ha creato un vero e proprio albo professionale per chi opera online con numeri rilevanti, colmando […]

14/11/2025

A Torino torna la pioggia e si abbassano le temperature. Ecco le previsioni

A Torino torna la pioggia e si abbassano le temperature. Ecco le previsioni

A Torino sta per cambiare il tempo: dopo diversi giorni dominati dall’anticiclone, che aveva garantito cielo stabile e temperature miti, la situazione meteorologica è destinata a mutare rapidamente. Una vasta area depressionaria proveniente dall’Atlantico si sta avvicinando al Mediterraneo e, nel giro di poco, spezzerà la fase di alta pressione, riportando precipitazioni e un abbassamento […]

14/11/2025

A Torino nasce un nuovo Mercato al coperto nella palazzina gioiello del “Liberty”. Ecco le novità

A Torino nasce un nuovo Mercato al coperto nella palazzina gioiello del “Liberty”. Ecco le novità

Nel cuore di Torino, tra corso Vittorio Emanuele II e via Carlo Alberto, rinasce un luogo simbolo della città: l’ex cinema Corso diventa il nuovo “Mercato del Corso”, mercato coperto di Campagna Amica e nuova Casa Coldiretti. L’edificio, raffinato esempio di architettura tardo liberty, è stato restaurato e riconvertito in uno spazio moderno e accogliente, […]

13/11/2025

Torino – Nasce l’Idropolitana, il nuovo grande ‘collettore fognario’ di Torino. Realizzato il 1° chilometro. Il progetto

Torino – Nasce l’Idropolitana, il nuovo grande ‘collettore fognario’ di Torino. Realizzato il 1° chilometro. Il progetto

Torino – Nasce l’Idropolitana, il nuovo grande collettore fognario di Torino. Realizzato il 1° chilometro.  Oggi la fresa meccanica, ovvero la talpa“Gaia”, calata nel pozzo di Strada dell’Arrivore per la realizzazione “dell’idropolitana”, il nuovo grande collettore fognario a servizio di Torino e dei Comuni della Città Metropolitana, ha raggiunto il primo chilometro. Il Sindaco Stefano […]

13/11/2025

Nel Torinese arriva il ‘Natale al cioccolato’: mercatini e degustazioni in piazza. L’evento

Nel Torinese arriva il ‘Natale al cioccolato’: mercatini e degustazioni in piazza. L’evento

È ufficialmente iniziata la stagione più amata dagli appassionati di tradizione, artigianato e atmosfere da fiaba. Con l’arrivo delle festività, Torino e il Piemonte si vestono di luci, profumi e colori natalizi, dando vita a un viaggio incantato tra borghi storici, castelli e piazze che si trasformano in suggestivi villaggi di Natale. Ogni anno la […]

13/11/2025

Torino – Studio rivoluzionario al Mauriziano: “Colesterolo cattivo, un anticorpo lo riduce e abbatte il rischio di infarto”

Torino – Studio rivoluzionario al Mauriziano: “Colesterolo cattivo, un anticorpo lo riduce e abbatte il rischio di infarto”

Torino, dal Mauriziano una scoperta che può rivoluzionare la lotta al colesterolo cattivo All’Ospedale Mauriziano di Torino è stato realizzato uno studio che sta già attirando l’attenzione della comunità scientifica internazionale. La ricerca, presentata il 1° settembre al congresso mondiale di cardiologia ESC di Madrid davanti a 40mila esperti, apre nuove prospettive nella cura delle […]

13/11/2025

Torino – Barcellona in treno in 7 ore: ecco il progetto del nuovo collegamento a 200 Km all’ora

Torino – Barcellona in treno in 7 ore: ecco il progetto del nuovo collegamento a 200 Km all’ora

La Commissione Europea ha presentato un ambizioso piano per il potenziamento dell’Alta Velocità ferroviaria in Europa, con l’obiettivo di rendere i treni un mezzo di trasporto competitivo rispetto agli aerei sulle tratte medio-brevi. Nel progetto, Torino è uno dei punti centrali: in futuro, si potrà viaggiare fino a Barcellona in poco più di sette ore, […]

13/11/2025