Loolabae: aplicativo de leitura de texto e reprodução de efeitos sonoros por inteligência artificial

Carregando...
Imagem de Miniatura

Data

2024-05-13

Orientador

Marques, Márcio Alexandre

Coorientador

Pós-graduação

Curso de graduação

Sorocaba - ICTS - Engenharia de Controle e Automação

Título da Revista

ISSN da Revista

Título de Volume

Editor

Universidade Estadual Paulista (Unesp)

Tipo

Trabalho de conclusão de curso

Direito de acesso

Acesso abertoAcesso Aberto

Resumo

Resumo (português)

As inovações na indústria de tecnologia trouxeram maior acessibilidade a tecnologias de Inteligência Artificial (IA) como Large Language Models (LLM) e o GPT-4. Nesse sentido, o presente trabalho tem como objetivo utilizar estas tecnologias para auxiliar e incentivar crianças à leitura por meio de um aplicativo web. A aplicação web utilizou frameworks modernos em linguagem TypeScript, conversão de imagem para texto e uso de inteligência artificial de texto generativa. O aplicativo é capaz de capturar uma foto de uma página de um livro infantil por meio da câmera de um celular (smartphone), e na sequência, realizar a sua leitura com voz sintetizada, além de reproduzir efeitos sonoros previamente especificados. Esses efeitos sonoros são chamados de contextos e são reproduzidos de acordo com a sua presença no trecho do texto lido. O aplicativo foi implementado com um Front-end utilizando React e Material UI (User Interface), um Back-end em Node.JS, a conversão de imagem para texto utilizando as APIs do OCRSpace e o tratamento de texto pelo GPT-4. Três testes independentes foram realizados: um teste geral utilizando a ferramenta de forma completa, analisando sua performance com o Coeficiente de Dice; um teste técnico com imagens de diferentes qualidades, quantificando o acerto do aplicativo pelo mesmo coeficiente; e por fim, um teste de experiência de uso com crianças, no qual, elas utilizaram o aplicativo e responderam a um questionário. A satisfação das crianças quanto ao uso utilizou a métrica Net Promoter Score (NPS). O teste geral obteve um Coeficiente de Dice médio de 0,97. O teste técnico apresentou o Coeficiente de Dice médio de 0,92 de similaridade em casos ideais, e 88,57% em média de acerto de contextos. O teste de experiência foi realizado com 22 crianças na faixa etária de 7 a 12 anos, no qual dentre 7 perguntas do questionário, 6 tiveram respostas positivas acima de 50%, a satisfação média foi de 87%, e o NPS foi de 41. O aplicativo demonstrou ser funcional, operando com o mínimo de custo e com bons resultados técnicos, além das opiniões das crianças que o utilizaram serem favoráveis.

Resumo (inglês)

Innovations in the technology industry have brought greater accessibility to artificial intelligence (AI) technologies such as Large Language Models (LLM) and GPT-4. In this sense, the present work aims to use these technologies to help and encourage children to read using a web application. The web application used modern frameworks in TypeScript language, image to text conversion and generative text artificial intelligence. The application can capture a photo of a page from a children's book using a cell phone camera (smartphone), and then reading it with a synthesized voice, in addition to reproducing previously specified sound effects. These sound effects are called contexts and are reproduced according to their presence in the portion of the text read. The application was implemented with a Front-end using React and Material UI (User Interface), a Back-end in Node.JS, image-to-text conversion using the OCRSpace APIs and text processing using GPT-4. Three independent tests were carried out: a general test using the tool completely, analyzing its performance with the Dice Coefficient; a technical test with images of different qualities, quantifying the application's success using the same coefficient; and finally, a user experience test with children, in which they used the application and answered a form. Children's satisfaction was measured with the Net Promoter Score (NPS) metric. The general test obtained an average Dice Coefficient of 0.97. The technical test presented an average Dice Coefficient of 0.92 similarity in ideal cases, and 88.57% average context accuracy. The experience test had 22 children aged 7 to 12 years, in which among 7 questions in the questionnaire, 6 had positive responses above 50%, the average satisfaction was 87%, and the NPS was 41. The application proved to be functional, operating with minimal cost and with good technical results, in addition to the favorable opinions of the children who used it.

Descrição

Idioma

Português

Como citar

CAETANO, Caio Alexandre Troti. Loolabae: aplicativo de leitura de texto e reprodução de efeitos sonoros por inteligência artificial. Orientador: Márcio Alexandre Marques. 2024. 71 p. Trabalho de Graduação (Bacharelado em Engenharia de Controle e Automação) - Instituto de Ciência e Tecnologia, Universidade Estadual Paulista, Sorocaba, 2024.

Itens relacionados