OFAI

LEGO® Audio and Braille Building Instructions English version

(LEGO Group)
Lego Audio Braille Instructions Test
Inspiriert durch die Arbeit von Matthew Shifrin, stellt die LEGO Group nun sprachliche Bauanleitungen zur Verfügung, damit auch Blinde und Sehbehinderte an der Welt der LEGO Modelle aktiv teilhaben können. Entwickelt wurde dieses Projekt gemeinsam mit dem Österreichischen Forschungsinstitut für Artificial Intelligence (OFAI) in Wien. Das OFAI kann bereits auf 35 erfolgreiche Jahre in angewandter Forschung in vielen Bereichen der AI verweisen.

Schon als Kind hatte Matthew Shifrin, von Geburt an blind, eine starke Leidenschaft für LEGO entwickelt. Da er aber immer auf Unterstützung angewiesen war, kam eine Freundin der Familie, Lilya Finkel, auf die Idee, die Bauanleitungen als sprachliche Anweisungen aufzuschreiben. Dadurch konnte Matthew die Anweisungen in Braille drucken und somit selbständig LEGO Modelle bauen - auch sehr große, wie die Londoner Tower Bridge. Nachdem Matthew diese Bauanleitungen online gestellt hatte (legofortheblind.com/instructions) war das Echo in der Community sehr groß es war klar, dass mehr Bedarf an Baupanleitungen besteht.

(LEGO Group)
Matthew Shifrin at Lego House
Über einen Freund am MIT kam er an das Creative Play Lab der LEGO Group. Dort erkannte man gleich das Potential dieser Idee und am OFAI in Wien fand man kompetente PartnerInnen, um mit der Umsetzung zu beginnen. Nach gut einem Jahr intensiver Arbeit ist es nun soweit: die Software, die am OFAI entwickelt wurde ist in der Lage, die abstrakten 3D Daten von Lego in sprachliche Anweisungen zu übersetzen. Damit ist es möglich, Bauanleitungen zu erstellen, die über Audio (über Screenreader, oder durch Sprachsynthese der Firma CereProc) oder eben über Braille Schrift für Blinde und Sehbehinderte zugänglich sind. Die automatisch generierten Anweisungen sind nur ein Teil davon, es ist ganz wesentlich, den Usern ein ganzes Narrativ zu bieten, mit detaillierten Beschreibungen der einzelnen Komponenten: vom Aussehen einer Graffiti-Wand bis hin zu was man mit einem Gefährt alles tun kann.

(OFAI)
OFAI Lego team at Lego House
Seit 28. August 2019 sind Baupläne für vier LEGO Modelle in englischer Sprache verfügbar, als frei zugängliches Service: LEGO® Audio & Braille Building Instructions. Das OFAI freut sich zum Erfolg dieses wichtigen Projektes entscheidend beigetragen zu haben.


Instruktionen ausprobieren: LEGO® Classic Bricks & Ideas
Mehr Info: LEGO Group: Pilot Project Launch

LEGO® Audio and Braille Building Instructions Deutsche Version

(LEGO Group)
Lego Audio Braille Instructions Test
Inspired by blind entrepreneur, Matthew Shifrin, the new building instructions provided by the LEGO Group will help children with vision impairment build and learn through play using LEGO bricks. This project was developed in collaboration with the Austrian Research Institute for Artificial Intelligence (OFAI) in Vienna. OFAI can look back on 35 successful years in applied research in many fields of AI.

The idea comes from Matthew Shifrin, who was born blind. As a child, he developed a strong passion for LEGO play. However, he always needed assistance when it came to specific LEGO building instructions. He had a friend, Lilya Finkel, who started to write down all the building steps for him so that he could upload them into a system that allowed him to read the building steps on a Braille reader through his fingers. By that he was able to build LEGO models on his own - even really large ones such as the London Tower Bridge. Matthew made the instructions available for the public (legofortheblind.com/instructions) and got an impressive echo from the community, asking for more instructions.

(LEGO Group)
Matthew Shifrin at Lego House
Through a friend at the MIT (Massachusetts Institute of Technology) Media Lab, he was then introduced to the Creative Play Lab at the LEGO Group. The team took his idea to the Austrian Research Institute for Artificial Intelligence who developed new AI software to translate LXFML data (LEGO Exchange Format Mel Script) from the visual digital building instructions to text based descriptions for braille and voice commanded instructions. Speech synthesis company, CereProc then provided the Software Development Kit and the voice that reads the instructions. The automatically generated instructions are only one part of a greater whole - it is essential to provide the users with a narrative with detailed descriptions of the individual components: from describing how a graffiti wall looks like to suggestions what you could do with a small cart.

(OFAI)
OFAI Lego team at Lego House
Available in English as a free service for all through the website, the first four instructions have been made accessible on Aug. 28th 2019: LEGO® Audio & Braille Building Instructions. OFAI is very glad to have been able to contribute to the success of this important project.


Try out: LEGO® Classic Bricks & Ideas
More info: LEGO Group: Pilot Project Launch