O RoboLibras é um software educacional que transforma o alfabeto manual da LIBRAS em uma experiência concreta e inclusiva, combinando texto, voz, câmera e uma mão robótica.
O RoboLibras foi pensado para professores e estudantes que desejam trabalhar o alfabeto manual da LIBRAS de forma prática. Em vez de apenas observar imagens estáticas, o estudante interage com uma mão robótica, testa sinais, recebe feedback e explora diferentes formas de aprendizagem.
O ensino de LIBRAS em contextos inclusivos ainda enfrenta escassez de recursos didáticos interativos. Muitos materiais mostram os sinais, mas poucos permitem compreender concretamente a formação da mão, praticar com feedback e atender diferentes estilos de aprendizagem.
O sistema integra texto, voz e câmera com o controle de uma mão robótica, oferecendo múltiplos modos de aprendizagem. Com inteligência artificial, é capaz de reconhecer gestos em tempo real e fornecer feedback imediato ao usuário.
A experiência foi desenhada para funcionar tanto em aula quanto em atividades autônomas, com ou sem Arduino em alguns modos.
O usuário digita uma palavra ou sequência de caracteres. O sistema soletra cada letra e movimenta a mão robótica conforme a pose cadastrada.
O modo de voz reconhece fala em português do Brasil e converte palavras e números em sinais executáveis pela interface e pelo robô.
Com MediaPipe e OpenCV, o sistema estima landmarks da mão e permite espelhamento ou prática com reconhecimento do sinal realizado.
Do primeiro contato com o alfabeto à prática autônoma com reconhecimento em tempo real. O RoboLibras acompanha cada etapa do aprendizado.
Funcionam sem Arduino
Explore cada letra do alfabeto com imagem de referência e visualização dos dedos. Perfeito para um primeiro contato guiado com a LIBRAS.
Teste o que aprendeu identificando a letra correspondente ao sinal exibido. Uma forma leve e dinâmica de fixar o conteúdo.
Faça o sinal para a câmera e receba feedback imediato. Pratique no seu ritmo, letra por letra, até dominar o alfabeto.
Requerem Arduino e mão robótica
Digite ou fale qualquer palavra e veja a mão robótica soletrar em LIBRAS. Uma experiência concreta de como os sinais se encadeiam na língua.
Mostre sua mão para a câmera e veja a mão robótica reproduzir seus movimentos em tempo real. Ideal para explorar e comparar seus gestos.
Veja como o RoboLibras transforma uma entrada simples em movimento físico real.
Escolha como quer interagir: digitando uma palavra, falando em voz alta ou mostrando seu gesto para a câmera.
O RoboLibras identifica a letra e consulta o dicionário de sinais da LIBRAS.
Cada dedo recebe uma instrução: aberto, semiflexionado ou fechado, conforme o sinal correspondente.
As instruções chegam à placa em milissegundos via conexão USB.
Os cinco servos acionam os tendões e reproduzem fisicamente o sinal do alfabeto manual.
Compare seu gesto com o da mão robótica e pratique quantas vezes quiser.
Disponível para Windows, Linux (distribuições baseadas em Debian, como Ubuntu) e macOS. Após o download, siga o tutorial abaixo para configurar o ambiente e executar o projeto. Conexão com a internet é necessária durante a instalação para baixar as dependências automaticamente.
Antivírus: alguns antivírus podem bloquear ou remover o instalador por ser um executável novo e não assinado digitalmente. Caso o download seja interrompido ou o arquivo desapareça, desative temporariamente o antivírus durante a instalação e reative logo em seguida. O código-fonte completo está disponível no GitHub para quem quiser verificar.
Baixe o instalador do seu sistema, execute e aguarde. Tudo é configurado automaticamente: Python, dependências e modelo de reconhecimento.
Baixe o instalador .exe, clique duas vezes e siga as instruções na tela. O processo instala tudo automaticamente e cria um atalho na área de trabalho.
Clique em RoboLibras_Instalador.exe na seção de download, execute o arquivo e clique em Sim quando o Windows solicitar permissão.
Se aparecer "O Windows protegeu seu PC", clique em Mais informações → Executar assim mesmo. O código-fonte completo está disponível no GitHub para verificação.
O instalador baixa e configura Python, dependências e o modelo de reconhecimento automaticamente. Pode levar alguns minutos dependendo da internet.
Ao finalizar, o app abre automaticamente no navegador em http://localhost:8501. Nas próximas vezes, use o atalho RoboLibras criado na área de trabalho.
Uma janela de terminal ficará aberta em segundo plano, isso é normal. O navegador abre automaticamente em seguida. Fechar essa janela encerra o RoboLibras.
Para usar a mão robótica, carregue o StandardFirmata na Arduino IDE: Arquivo → Exemplos → Firmata → StandardFirmata → Upload. Depois informe a porta (ex: COM4) na interface do app.
Baixe o script .sh, dê permissão de execução e rode no terminal. Tudo é instalado automaticamente.
chmod +x robolibras.sh ./robolibras.sh
Clique em robolibras.sh na seção de download, abra o terminal na pasta do arquivo e execute os comandos acima.
O script instala Python 3.10, dependências e o modelo de reconhecimento automaticamente.
O app abre automaticamente em http://localhost:8501. Nas próximas vezes, execute ./iniciar_robolibras.sh.
O terminal precisa permanecer aberto enquanto o RoboLibras estiver em uso. Fechar o terminal encerra o app.
Carregue o StandardFirmata na Arduino IDE e informe a porta (ex: /dev/ttyUSB0) na interface do app.
O RoboLibras funciona na maioria dos computadores modernos. Em máquinas mais antigas, alguns modos com câmera podem ficar mais lentos, mas os modos Aula e Quiz rodam bem em praticamente qualquer equipamento. Uma webcam é necessária apenas para os modos de reconhecimento de gestos.
Sim. Os modos Aula, Quiz e Siga o Sinal funcionam completamente sem Arduino. A mão robótica é necessária apenas para a execução física dos sinais.
O instalador cuida automaticamente do Python e de todas as dependências. Caso ocorra algum erro, verifique se sua conexão com a internet está estável e se o antivírus não está bloqueando o processo. Em seguida, execute o instalador novamente.
Nesta versão, o RoboLibras cobre as letras A–Z do alfabeto manual da LIBRAS, totalizando 26 sinais.
Sim! O projeto é 100% open-source e o hardware é de baixo custo: Arduino Uno e cinco servos SG90. Qualquer kit de mão robótica compatível pode ser usado, mas os ângulos dos servos precisam ser recalibrados para o modelo específico.
Sim. Os próximos passos incluem testes formais de usabilidade em sala de aula, expansão para palavras e frases completas em LIBRAS e suporte a uma segunda mão robótica para sinais compostos.
Projeto desenvolvido no contexto de pesquisa em educação inclusiva e tecnologia assistiva.
Universidade Tecnológica Federal do Paraná
Universidade Tecnológica Federal do Paraná
Universidade Tecnológica Federal do Paraná
Desenvolvido no âmbito de
Construindo Caminhos de Igualdade com Inteligência Artificial
