Publication: Aprendizado profundo para a segmentação de regiões teciduais em cirurgias minimamente invasivas
Loading...
Date
Authors
Advisor
Garcia, Marlon Rodrigues 
Coadvisor
Graduate program
Undergraduate course
São João da Boa Vista - FESJBV - Engenharia Eletrônica e de Telecomunicações
Journal Title
Journal ISSN
Volume Title
Publisher
Universidade Estadual Paulista (Unesp)
Type
Undergraduate thesis
Access right
Acesso aberto
Abstract
Abstract (portuguese)
Este trabalho de conclusão de curso investigou o uso de aprendizado profundo para a segmentação de
imagens em cirurgias laparoscópicas, com o objetivo de desenvolver e aplicar de maneira pratica técnicas
de visão computacional e Inteligencia Artificial em cirurgias de laparoscopia. A pesquisa abordou
a aplicação de redes neurais, especificamente a combinação de Redes Neurais Residuais (ResNet) e
Autoencoders Convolucionais em Formato de U (U-Net), resultando na utilização da UResNet, uma
arquitetura híbrida adaptada para segmentação das imagens em estudo. O estudo utilizou o Dresden
Surgical Anatomy Dataset (DSAD), composto por mais de 13.000 imagens segmentadas de cirurgias
robóticas assistidas. Ferramentas como a linguagem Python e as bibliotecas PyTorch, Torchmetrics,
Torchvision, NumPy, Pandas, Matplotlib, PIL e TQDM foram essenciais para o desenvolvimento e
treinamento dos modelos. O Google Colaboratory (Colab) foi utilizado para o processamento devido
aos recursos computacionais gratuitos oferecidos. Além disso, o Método Taguchi foi empregado para
otimizar os parâmetros da rede neural. Os experimentos realizados mostraram que a UResNet foi
capaz de segmentar imagens cirúrgicas com uma acurácia de cerca de 85%, comparável à pesquisa
original do DSAD. Os resultados demonstraram a eficácia das técnicas e modelos utilizados, com
melhorias pequenas após refinamentos e retreinamento. As redes foram testadas em várias situações,
desde imagens simples até complexas presentes no banco de dados, enfrentando desafios como ruídos
e variações de iluminação. A pesquisa revelou limitações de processamento que necessitaram do uso
do Google Colab, com um tempo de treinamento prolongado devido aos recursos computacionais
limitados. Apesar disso, a viabilidade de redes neurais profundas para segmentação de tecidos em
imagens médicas foi comprovada. O trabalho destacou a importância de um tratamento mais robusto
das imagens e o uso de redes mais profundas em futuras pesquisas. O trabalho atingiu seus objetivos
técnicos e acadêmicos, aprofundando o entendimento de ferramentas e técnicas avançadas de
aprendizado profundo aplicadas à cirurgia laparoscópica. A tecnologia de segmentação de imagens
médicas está em evolução e tem o potencial de se tornar uma ferramenta comum no cotidiano médico,
auxiliando na identificação de tecidos e ferramentas cirúrgicas, contribuindo para procedimentos mais
precisos e seguros.
Abstract (english)
This work investigated the use of deep learning for image segmentation in laparoscopic surgeries,
aiming to assist in the precise identification of anatomical structures during surgical procedures. The
research focused on the application of neural networks, specifically the combination of Residual Neural
Networks (ResNet) and U-Shaped Convolution Autoencoder (U-Net), resulting in the utilization of
UResNet, a hybrid architecture adapted for the segmentation of the studied images. The study utilized
the Dresden Surgical Anatomy Dataset (DSAD), composed of over 13,000 segmented images from
assisted robotic surgeries. Tools such as Python language and the libraries PyTorch, Torchmetrics, Torchvision,
NumPy, Pandas, Matplotlib, PIL, and TQDM were essential for the development and training
of the models. Google Colaboratory (Colab) was used for processing due to the free computational
resources offered. Additionally, the Taguchi Method was employed to efficiently optimize the neural
network parameters. The experiments demonstrated that UResNet was capable of segmenting surgical
images with an accuracy of about 85%, comparable to the original DSAD research. The results showed
the effectiveness of the techniques and models used, with minor improvements following refinements
and retraining. The networks were tested in various situations, from simple to complex images present
in the dataset, facing challenges such as noise and lighting variations. The research revealed processing
limitations that necessitated the use of Google Colab, with prolonged training times due to limited
computational resources. Despite this, the feasibility of deep neural networks for tissue segmentation
in medical images was proven. The study highlighted the importance of more robust image processing
and the use of deeper networks in future research. The work achieved its technical and academic
objectives, deepening the understanding of advanced deep learning tools and techniques applied to
laparoscopic surgery. The technology of medical image segmentation is evolving and has the potential
to become a common tool in everyday medical practice, assisting in the identification of tissues and
surgical tools, contributing to more precise and safer procedures.
Description
Keywords
Inteligência artificial, Laparoscopia, Python (Linguagem de programação de computador), Visão por computador
Language
Portuguese
Citation
ZUANAZZI, T. P. Aprendizado profundo para a segmentação de regiões teciduais em cirurgias minimamente invasivas. 2024. Trabalho de Conclusão de Curso (Bacharelado em Engenharia Eletrônica e de Telecomunicações) — Faculdade de Engenharia, Universidade Estadual Paulista "Júlio de Mesquita Filho", São João da Boa Vista, 2024.
