MaGe, il braccio robotico che unisce visione e linguaggio

Un sistema robotico in grado di eseguire operazioni di manipolazione partendo da istruzioni espresse in linguaggio naturale: è questo l’obiettivo di MaGe – Make Grasping Easy, un progetto di ricerca condotto dall’unità Technologies of Vision (TeV) della Fondazione Bruno Kessler.

Il progetto si concentra sull’interazione tra visione artificiale tridimensionale, robotica di precisione e modelli linguistici di grandi dimensioni (Large Language Models), con l’obiettivo di migliorare l’autonomia e la flessibilità dei sistemi di grasping in ambienti non strutturati.

Partendo da una descrizione testuale e da una rappresentazione visiva della scena, il sistema è in grado di identificare gli oggetti rilevanti, stimarne la posizione nello spazio e pianificare i movimenti necessari per interagire con essi in modo sicuro. Il braccio robotico, guidato da questi dati, può così eseguire azioni di manipolazione sulla base di comandi espressi in linguaggio naturale, sia in forma scritta che vocale, elaborando in autonomia la strategia più adatta per l’afferraggio (o grasping).

“Il nostro obiettivo è studiare come il linguaggio possa diventare un mezzo efficace per controllare sistemi fisici, anche in contesti complessi,” spiega Fabio Poiesi di TeV. “L’integrazione tra comprensione semantica e percezione spaziale rappresenta una sfida aperta nella robotica”.