MAURICIO MAKOTO FUKUDA SMILE: uma proposta de método para gestão de projetos de aprendizado de máquina Guaratinguetá/SP 2022 Maurício Makoto Fukuda SMILE: uma proposta de método para gestão de projetos de aprendizado de máquina Dissertação apresentada ao Conselho do Curso de Graduação em Engenharia de Produção da Faculdade de Engenharia, Campus de Guaratinguetá, da Universidade Estadual Paulista Júlio de Mesquita Filho, como parte dos requisitos para obtenção do diploma de Mestrado Profissional em Engenharia de Produção. Orientadora: Profa. Dra. Ana Lúcia Figueiredo Facin Co-orientador: Prof. Dr. Ricardo Ghantous Cervi Guaratinguetá/SP 2022 F961s Fukuda, Maurício Makoto Smile: uma proposta de método para gestão de projetos de aprendizado de máquina / Maurício Makoto Fukuda – Guaratinguetá, 2022. 89 f : il. Bibliografia: f. 82-88 Dissertação (Mestrado) – Universidade Estadual Paulista, Faculdade de Engenharia de Guaratinguetá, 2022. Orientadora: Profª. Drª. Ana Lúcia Figueiredo Facin Coorientador: Prof. Dr. Ricardo Ghantous Cervi 1. Inteligência artificial. 2. Administração de projetos. 3. Tecnologia de ponta. I. Título. CDU 658.001.63(043) Luciana Máximo Bibliotecária CRB-8/3595 unesp UNIVERSIDADE ESTADUAL PAULISTA CAMPUS DE GUARATINGUETÁ MAURICIO MAKOTO FUKUDA ESTA DISSERTAÇÃO FOI JULGADA ADEQUADA PARA A OBTENÇÃO DO TÍTULO DE “MESTRE EM ENGENHARIA DE PRODUÇÃO” PROGRAMA: ENGENHARIA DE PRODUÇÃO CURSO: MESTRADO PROFISSIONAL APROVADA EM SUA FORMA FINAL PELO PROGRAMA DE PÓS-GRADUAÇÃO Profª. Drª. Gislaine Cristina Batistela Coordenador B A N C A E X A M I N A D O R A: Prof. Dr. ANA LUCIA FIGUEIREDO FACIN Orientador - UNESP participou por videconferência Prof. Dr. ROBERTO ANTONIO MARTINS UFSC participou por videconferência Prof. Dr. ANDRE LUIS DEBIASO ROSSI UNESP participou por videconferência Junho de 2022 DADOS CURRICULARES MAURÍCIO MAKOTO FUKUDA 2008/2014 Engenharia Mecânica, bacharelado Universidade de São Paulo 2013/2013 Gestão de Projetos, curso de extensão State University of New York 2014/2014 Liderança e Gestão de Recursos Humanos, curso de extensão University of La Verne 2016/2017 Marketing, MBA Fundação Getulio Vargas RESUMO A utilização de algoritmos de aprendizado de máquina tem apresentado um aumento expressivo ao longo dos últimos anos devido à redução dos custos e ao aumento da capacidade de processamento dos computadores. O estudo do aprendizado de máquina é importante devido ao potencial dessa tecnologia, demonstrado por diversas aplicações, desde o controle de qualidade na manufatura de bens de consumo, até o diagnóstico de doenças. Essas aplicações promovem benefícios tais como a redução de custos operacionais e o aumento da precisão de diagnósticos. Neste contexto, o aprofundamento da discussão sobre os métodos para gestão de projetos específicos para o aprendizado de máquina se mostra relevante e se justifica devido à escassez de estudos sobre esse tema na literatura e pelo potencial de resposta às críticas relativas à utilização adaptada de métodos antigos, como o CRISP-DM, que não foi originalmente desenvolvido para projetos de aprendizado de máquina. Esta pesquisa teve como objetivo desenvolver um método para gestão de projetos de aprendizado de máquina denominado SMILE, acrônimo de Structured Machine Learning Employment, que combina elementos de métodos tradicionais, ágeis e híbridos, para gestão de projetos. Esse método busca abordar os desafios específicos da gestão de projetos de aprendizado de máquina, identificados por meio de revisão da literatura e entrevistas com gestores de projetos, analistas e cientistas de dados que desenvolvem produtos e serviços utilizando o aprendizado de máquina. A proposta do método SMILE foi desenvolvida utilizando-se o Design Science como método de pesquisa e foi apresentada neste trabalho em formato de procedimento com o detalhamento de cada uma de suas etapas, incluindo a ideação, decisão de investimento, coleta de dados, desenvolvimento e implantação, de forma a facilitar o entendimento sobre sua aplicação. O método SMILE foi apresentado para especialistas que avaliaram a sua aplicabilidade. Tais especialistas foram os mesmos entrevistados na etapa da pesquisa de levantamento dos desafios específicos para os projetos de aprendizado de máquina. Eles avaliaram o método de maneira positiva, o que demonstra que o método proposto tem potencial para superar os desafios e lacunas existentes em projetos dessa natureza. PALAVRAS-CHAVE: Aprendizado de máquina. Métodos ágeis. Gerenciamento de projetos. Inteligência artificial. ABSTRACT The use of machine learning algorithms has shown a significant increase over the last few years due to the reduction of costs and increase in the processing capacity of computers. The study of machine learning is essential due to the potential of this technology, demonstrated by the various applications, from quality control in the manufacture of consumer goods to the diagnosis of diseases. These applications provide benefits such as reduced costs and increased diagnostic accuracy. In this context, the deepening of the discussion on specific project management methods for machine learning is relevant and justifiable due to the scarcity of studies on this topic in the literature and its potential to respond to criticisms related to the adapted use of old methods, such as CRISP-DM, which was not originally developed for machine learning projects. This research aimed to develop a machine learning project management method called SMILE, an acronym for Structured Machine Learning Employment, which combines elements of traditional, agile, and hybrid project management methods. This method seeks to address the specific challenges of machine learning project management. Challenges and gaps in managing machine learning projects were identified through literature review and interviews with project managers, analysts, and data scientists who develop products and services using machine learning. The proposal of the SMILE was developed using Design Science as a research method and was presented in this work in procedural format with the detailing of each of its stages, including ideation, investment decision, data collection, development, and implementation, in order to facilitate the understanding of its application. The SMILE method was presented to experts who evaluated its applicability. The experts were the same ones interviewed in the research stage of surveying the specific challenges for machine learning projects. Respondents evaluated the method positively regarding its applicability, which demonstrates that the proposed method has the potential to address the challenges and gaps existing in projects of this nature. KEYWORDS: Machine learning. Agile methods. Project management. Agile-stage-gate. Artificial intelligence. LISTA DE QUADROS Quadro 1 − Usos do aprendizado de máquina ………………………………………………. 12 Quadro 2 − Classificação dos processos de gerenciamento de projetos …………………..…23 Quadro 3 – Comparação entre os métodos Waterfall e Ágil …………………………………29 Quadro 4 − Perguntas de pesquisa …………………………………………………………...39 Quadro 5 − Detalhamento do processo de pesquisa ………………………………………… 42 Quadro 6 − Perfil dos entrevistados ………………………………………………………….45 Quadro 7 - Comparativo entre métodos, por fases ………………………………………….. 46 Quadro 8 - Comparativo entre métodos, por etapas ………………………………………….47 Quadro 9 - Comparação da forma de atuação de cada método ………………………………48 Quadro 10 - Comparativo entre métodos …………………………………………………….50 Quadro 11 – Detalhamento dos desafios levantados nas entrevistas ………………………... 54 Quadro 12 - Desafios abordados versus etapas do SMILE …………………………………..69 Quadro 13 - Método SMILE em comparação com demais métodos ………………………...77 Quadro 14 – Avaliação do método pelos entrevistados ……………………………………... 79 LISTA DE FIGURAS Figura 1 − Desafios na implantação de tecnologias cognitivas ……………………………... 19 Figura 2 − Desafios na implantação da inteligência artificial ………………………………..20 Figura 3 − Passos para a implantação de um programa computacional …………………….. 22 Figura 4 − Fases genéricas em um ciclo de vida Waterfall …………………………………..25 Figura 5 − Scrum ……………………………………………………………………………..26 Figura 6 − Comparação entre métodos clássicos e ágeis …………………………………….31 Figura 7 − Método híbrido, com sprints inseridas entre gates ……………………………….31 Figura 8 - Visão geral do processo KDD ……………………………………………………. 34 Figura 9 - Visão geral do processo SEMMA ………………………………………………... 35 Figura 10 - Visão geral do processo CRISP-DM …………………………………………….36 Figura 11 - Visão geral do Design Science ………………………………………………….. 38 Figura 12 − Passo a passo do processo de pesquisa ………………………………………….41 Figura 13 − Principais desafios identificados nas entrevistas de profundidade ……………...57 Figura 14 − Desafios levantados por gestores ………………………………………………. 62 Figura 15 − Desafios levantados por profissionais de empresas de tecnologia ……………...63 Figura 16 − Métodos de gestão utilizados pelos entrevistados ………………………………65 Figura 17 − Métodos de gestão utilizados por profissionais de empresas de tecnologia …….65 Figura 18 − Desafios versus métodos de gestão ………………………………………...…... 66 Figura 19 - Diagrama do método SMILE ……………………………………………………67 LISTA DE ABREVIATURAS, SIGLAS E TERMOS Backtest Teste de um modelo preditivo com dados históricos Bottom-Up Decisões tomadas pela base da organização Business case Descrição dos benefícios e custos de um projeto Chatbot Programa de IA que atende o cliente, substituindo um atendente Cluster Grupo de dados CRISP-DM Cross-Industry Standard Process for Data Mining Daimler Chrysler (empresa fabricante de automóveis) Dataset Conjunto de dados Fintech Empresa de tecnologia do ramo financeiro Gate Marco de aprovação ou verificação em um projeto Waterfall IA Inteligência artificial KDD Knowledge Discovery in Databases Machine learning Aprendizado de máquina NCR Empresa do ramo de softwares NLP Natural Language Processing OCR Optical character recognition OKR Objectives and key results PoC Proof of Concept Scrum Método ágil de gestão de produtos. SEMMA Sample, Explore, Modify, Model, Assess SMILE Structured Machine Learning Employment Sprint Período de desenvolvimento no Scrum SPSS Empresa do ramo de softwares Startup Empresa emergente Top-Down Decisões impostas pelo topo da organização Waterfall Método clássico para gestão de projetos SUMÁRIO 1 INTRODUÇÃO …………………………………………………………………. 11 1.1 CENÁRIO ………………………………………………………………………... 11 1.2 JUSTIFICATIVA …………………………………………………………………. 13 1.3 OBJETIVO ………………………………………………………………………..15 2 REVISÃO DA LITERATURA ………………………………………………….17 2.1 VISÃO GERAL DO APRENDIZADO DE MÁQUINA ………………………… 17 2.2 PRINCIPAIS DESAFIOS DO APRENDIZADO DE MÁQUINA ………………. 18 2.3 MÉTODOS PARA GESTÃO DE PROJETOS …………………………………... 20 2.3.1 Método Waterfall ………………………………………………………………...21 2.3.2 Métodos ágeis …………………………………………………………………….25 2.3.3 Diferenças entre os métodos ágil e Waterfall ………………………………….. 29 2.3.4 Métodos híbridos ………………………………………………………………... 31 2.3.5 Métodos de desenvolvimento utilizados em aprendizado de máquina ……….32 3 METODOLOGIA DE PESQUISA ……………………………………………..37 3.1 DESIGN SCIENCE ……………………………………………………………….37 3.2 DELINEAMENTO DO TRABALHO DE CAMPO ……………………………...38 3.2.1 Pesquisa bibliográfica ……………………………………………………………43 3.2.2 Método das entrevistas …………………………………………………………..43 3.2.3 Seleção da amostra de entrevistados ……………………………………………44 4 RESULTADOS …………………………………………………………………...46 4.1 ANÁLISE COMPARATIVA DOS MÉTODOS DE DESENVOLVIMENTO …... 46 4.2 LACUNAS DA LITERATURA ………………………………………………..... 51 4.3 REALIZAÇÃO DO TRABALHO DE CAMPO ………………………………… 53 4.3.1 Resultado das entrevistas em profundidade ……………………………………53 4.3.1.1 Desafios técnicos e de gestão do aprendizado de máquina ………………………. 53 4.3.1.2 Análise dos desafios por grupo ……………………………………………………62 4.3.1.3 Diferenças com pesquisas prévias da literatura …………………………………...63 4.3.1.4 Métodos de gestão mais utilizados ………………………………………………..64 4.3.1.5 Desafios versus método de gestão ………………………………………………...66 4.4 DESENVOLVIMENTO DO MÉTODO DE GESTÃO …………………………..66 4.4.1 Etapas ……………………………………………………………………………. 66 4.4.2 Papéis ……………………………………………………………………………..75 4.4.3 Comparativo entre o SMILE e os demais métodos …………………………… 76 4.5 AVALIAÇÃO DO MÉTODO DE GESTÃO …………………………………….. 78 5 CONCLUSÕES …………………………………………………..……………... 81 REFERÊNCIAS ………………..……………………………………………….. 82 APÊNDICE A – Roteiro das entrevistas ………………..………………….….. 89 11 1 INTRODUÇÃO 1.1 CENÁRIO A utilização do aprendizado de máquina para as mais diversas aplicações tem se intensificado visando alcançar benefícios tais como: diagnósticos precisos de doenças, (PATHAK et al., 2022); redução de custos operacionais (BALAKRISHNAN et al., 2020); identificação rápida das preferências e mudanças de comportamento dos clientes, no âmbito do marketing (BLOMSTER e KOIVUMÄKI, 2022). Neste sentido, discussões recentes sugerem a necessidade de métodos mais adequados para gestão de projetos de aprendizado de máquina, para que tais projetos sejam mais bem geridos e alcancem os resultados esperados (SALTZ; KRASTEVA, 2022; MARTÍNEZ-PLUMED et al., 2021; AHMED; DANNHAUSER; PHILIP, 2018). O aprendizado de máquina não é um assunto recente, e foi definido por Mitchell (1997) como o estudo de algoritmos computacionais que melhoram a performance ao longo do tempo por meio da experiência, sem serem programados explicitamente para a tarefa específica. Nos últimos anos, o aprendizado de máquina vem ganhando cada vez mais popularidade devido à democratização de hardwares capazes de processar grandes quantidades de informação. Moore (1965) observou que o número de transistores em circuitos integrados dobra a cada dois anos. Essa observação ficou conhecida mais tarde como lei de Moore. Xiu (2019) realizou um estudo sobre a evolução da capacidade de processamento dos computadores e verificou que a lei de Moore ainda se mantém nos dias de hoje, o que ilustra a velocidade com que os hardwares estão evoluindo e explica o aumento da acessibilidade a equipamentos capazes de processar grandes quantidades de dados. As soluções de aprendizado de máquina possuem uma vasta gama de utilizações. Com o intuito de demonstrar a sua versatilidade e variedade, o Quadro 1 apresenta alguns usos levantados da literatura sobre o tema. 12 Quadro 1 − Usos do aprendizado de máquina Utilização Descrição Fonte Economia Análise de risco do mercado de empresas do ramo financeiro por meio da utilização de técnicas de clusterização e classificação. Liu; Yu (2022) Medicina Diagnóstico de COVID19 por meio de imagens de tomografias de pulmão com acurácia de 93%. Pathak et al. (2022) Tecnologia da informação Utilização de modelos de aprendizado não supervisionado para identificar ataques cibernéticos. An; Wang; Zhang (2022) Epidemiologia Modelos de aprendizado de máquina podem ser utilizados para prever padrões de espalhamento de pandemias. Kushwaha et al. (2020) Medicina Triagem de pacientes de coronavírus, por meio da análise conjunta de dados biométricos como temperatura, frequência cardíaca, pressão e resultados de exames. Kushwaha et al. (2020) Investimentos: Circle UP Plataforma de investimentos que desenvolveu o Helios, algoritmo que investe diretamente em companhias, prevendo qual será o próximo hit de vendas em bens de consumo. Allayannis; Becker (2019) Seguros: Lemonade Algoritmos analisam vídeos enviados pelo cliente com a descrição do evento, e baseados em um score, o pedido de indenização é aprovado, ou encaminhado para uma análise humana mais minuciosa. Allayannis; Becker (2019) Controle de qualidade em manufatura A análise de diversas variáveis provenientes do processo de solda por ultrassom em baterias é feita por um modelo de aprendizado de máquina, capaz de prever falhas nos componentes e realizar a segregação de peças com o risco de falha. Escobar; Morales (2018) Controle de qualidade em manufatura Rede neural que identifica a propensão a defeito na manufatura de pneus, por meio da análise automatizada de imagens de raio-x provenientes do processo de controle de qualidade da manufatura. Fang; Yanxue; Kai (2018) Medicina Algoritmo que, por meio de fotografias da pele, consegue diagnosticar câncer, com precisão equivalente à de médicos especialistas. Esteva et al. (2017) Fonte: Próprio autor. 13 Soluções de aprendizado de máquina também são amplamente aplicadas por empresas jovens. De acordo com Allayannis e Becker (2019), em seu estudo sobre empresas emergentes (startups) com foco em inovações tecnológicas no mercado financeiro (fintechs), soluções de aprendizado de máquina têm sido utilizadas com sucesso em diversas áreas, tais como eficiência operacional, análises para apoio na tomada de decisões estratégicas e aumento da satisfação de clientes. Os mesmos Allayannis e Becker (2019) abordam, por exemplo, o estudo de caso da Lemonade, fintech do ramo de seguros, fundada em 2015. Essa empresa substituiu corretores de seguros e o uso de papel por um chatbot movido a aprendizado de máquina chamado de Maya e Jim, que desempenha os papéis de contratação do seguro, regulação do sinistro e outras tarefas, em um ambiente online, o que gerou uma melhoria significativa na experiência do cliente. Por exemplo, Jim utiliza 18 algoritmos antifraudes em vídeos gravados pelos clientes para determinar se um pedido de indenização pode ser aprovado instantaneamente, ou se requer verificação humana. No caso da aprovação instantânea, a Lemonade pede os dados bancários do cliente e aprova o pagamento em questão de segundos. 1.2 JUSTIFICATIVA O conceito deste estudo é relevante em função do recente aumento na utilização de soluções de aprendizado de máquina, provocado por uma maior acessibilidade às tecnologias que permitem um processamento de dados de forma rápida e com menor custo. Observa-se a partir dos dados apresentados no Google Trends (2022a) que houve um aumento expressivo na busca global do termo em inglês machine learning, com um crescimento da ordem de dez vezes entre 2010 e 2022. No meio acadêmico, também se verifica um aumento do interesse dos pesquisadores pelo tema aprendizado de máquina, observado por meio do aumento da frequência de publicações sobre o assunto. Duan, Edwards e Dwivedi (2019) ilustraram esse aumento por meio de um levantamento das publicações realizadas no International Journal of Information Management (IJIM). Segundo a pesquisa, a quantidade de publicações no período de 2015 a 2018 teve um volume cinco vezes maior do que as publicações no período de 2007 a 2010. Em termos da utilização do aprendizado de máquina, há um aumento considerável nas oportunidades de atuação e na popularidade dessas técnicas. Balakrishnan et al. (2020) apontam que 50% dos 2395 entrevistados em sua pesquisa reportaram que suas empresas adotaram o aprendizado de máquina em pelo menos uma função. De acordo com a mesma 14 pesquisa, o aumento de receita em decorrência do uso de soluções de aprendizado de máquina é cada vez mais comum. O estudo citado apontou que 66% dos entrevistados reportaram um aumento de, pelo menos, 5% na receita do ano de 2019, impulsionado pela utilização de tecnologias de aprendizado de máquina. No âmbito da transformação e estratégia das empresas, há uma expectativa de que o aprendizado de máquina transforme o modelo dos negócios no curto prazo. Segundo Davenport, Loucks e Schatsky (2017), 98% dos executivos entrevistados disseram ter expectativa de que as tecnologias cognitivas transformem seus negócios em menos de dez anos, sendo que 94% esperam que essa transformação ocorra em até cinco anos. No âmbito dos benefícios, há evidências na literatura de que o uso eficiente de soluções de aprendizado de máquina proporciona diversos ganhos, como descrito por Bahrammirzaee (2010), que constatou, em 11 publicações científicas, um melhor desempenho na utilização do aprendizado de máquina para previsão e planejamento financeiro, em comparação com formas de atuação convencionais. Estudos anteriores Existem muitos estudos que apresentam e discutem o uso de soluções de aprendizado de máquina, mas os que abordam a questão do gerenciamento de projetos para o desenvolvimento deste tipo de solução são escassos. No âmbito do desenvolvimento de softwares, é muito difundida a utilização dos chamados métodos ágeis, uma abordagem relativamente recente para gestão de projetos, que preza a flexibilidade e agilidade no desenvolvimento de softwares. Neste sentido, Saltz e Krasteva (2022) identificaram em sua revisão sistemática da literatura que existe uma necessidade importante de combinar de forma eficiente métodos ágeis com os métodos utilizados atualmente para gestão de projetos de aprendizado de máquina, para alcançar uma abordagem que seja prescritiva, didática e adequada às particularidades desse tipo de projeto. Por outro lado, Blomster e Koivumäki (2022) avaliaram conceitualmente o método híbrido, combinação de métodos ágeis e clássicos, proposto por Cooper e Sommer (2016a) e concluíram que é adequado para a gestão de projetos de aprendizado de máquina, pois apresenta vantagens importantes, tais como a possibilidade de uma liberdade de experimentação, que pode facilitar o entendimento das oportunidades e a construção de uma solução adequada às necessidades dos clientes. Saltz e Suthrland (2019) e Shafique e Qaiser 15 (2014) também compararam os métodos utilizados na gestão de projetos de aprendizado de máquina para levantar as particularidades de cada um. Por fim, as pesquisas de Brock e Von Wangenheim (2019) e Davenport, Loucks e Schatsky (2017) identificaram os principais desafios relacionados ao aprendizado de máquina, tanto do ponto de vista da gestão de projetos quanto do ponto de vista técnico de desenvolvimento. Lacunas Apesar do crescente interesse, ainda são poucos os estudos sobre métodos para gestão de projetos voltados para o aprendizado de máquina, o que fica evidenciado pela utilização alternativa de métodos de mineração de dados como o KDD, descrito por Piatetsky-Shapiro e Smyth (1996), e o CRISP-DM, descrito por Chapman et al. (2000), que não são específicos para o aprendizado de máquina (SALTZ, 2015). Os métodos disponíveis na literatura, como o CRISP-DM, SEMMA e KDD, segundo Saltz e Suthrland (2019), enfatizam as etapas de desenvolvimento do projeto; no entanto, são deficientes na definição de técnicas de gestão e dos papéis de cada integrante da equipe, enquanto os métodos mais generalistas, como o Scrum, definem como a coordenação da equipe deve ser feita, mas são deficientes em abordar as etapas específicas de projetos de aprendizado de máquina (SALTZ; HOTZ, 2020) Além disso, de acordo com Saltz e Hotz (2020), o CRISP-DM é o método mais popularmente utilizado para projetos de aprendizado de máquina, e, no entanto, segundo Martínez-Plumed et al. (2021) e Ahmed, Dannhauser e Philip (2018), esse método foi criado há quase duas décadas para projetos de mineração de dados. Portanto, é necessário o estudo de um método novo, que possa se adequar às mudanças que ocorreram nas últimas décadas, considerando as particularidades dos projetos de aprendizado de máquina. 1.3 OBJETIVO O objetivo deste estudo é propor um método para gestão de projetos de aprendizado de máquina, considerando suas particularidades, tendo como público-alvo gestores de projetos que desejam aprimorar sua gestão. Para atingir esse objetivo, esta pesquisa buscou responder às seguintes perguntas: (P1) Qual é o contexto atual do aprendizado de máquina, suas oportunidades de pesquisa e benefícios? 16 (P2) Quais são os principais desafios para a gestão de projetos de aprendizado de máquina já pesquisados? (P3) Quais são as principais técnicas de gestão existentes para projetos de aprendizado de máquina? (P4) Existe algum desafio importante da gestão de projetos de aprendizado de máquina que não tenha sido abordado pela literatura? (P5) Como gerir projetos de aprendizado de máquina de forma a abordar os principais desafios? Para cumprir seus objetivos, o trabalho primeiramente estabelece o referencial teórico, seguido pelos métodos e técnicas adotados, resultados alcançados e, finalmente, suas conclusões. Esta pesquisa está alinhada, ainda, ao desejo de aumentar a eficácia dos projetos de aprendizado de máquina na empresa parceira deste mestrado profissional. Tal empresa pertence ao segmento bancário e dispõe de uma disseminação pré-existente da cultura ágil na gestão de projetos, mas carece de um método específico para gestão de projetos na área de interesse deste trabalho. 17 2 REVISÃO DA LITERATURA Neste capítulo, serão abordados, em linhas gerais, os métodos clássicos, ágeis e híbridos para gestão de projetos e os métodos de desenvolvimento utilizados em projetos de aprendizado de máquina. Posteriormente, será realizada uma análise comparativa de cada abordagem, identificando as principais lacunas existentes na literatura. 2.1 VISÃO GERAL DO APRENDIZADO DE MÁQUINA Aprendizado de máquina (machine learning) é definido por Alpaydin (2014) como a programação de computadores para otimizar um trabalho, baseada em dados históricos ou experiência prévia. Rebala, Ravi e Churiwala (2019) definem o aprendizado de máquina de forma semelhante, como sendo algoritmos que resolvem problemas de forma indireta, por meio de um modelo estatístico que é construído e treinado com base em dados do passado e que posteriormente é utilizado para prever dados futuros. A seguir, são apresentados alguns tipos de projetos de aprendizado de máquina e suas características. Aprendizado supervisionado Hurwitz e Kirsch (2018) e Brown (2021) destacam que o aprendizado supervisionado trata-se de uma abordagem empírica feita com base em observações reais. Os algoritmos de aprendizado supervisionado são treinados utilizando exemplos pré-processados e têm o seu desempenho avaliado por um conjunto de dados de teste. A identificação de e-mails indesejados ou spam é um exemplo de uso do aprendizado supervisionado; neste exemplo, o algoritmo manda automaticamente o e-mail para a caixa de spam quando este possui as mesmas características de outras mensagens rotuladas como indesejadas pelos usuários. Esta abordagem tem a vantagem de poder ser objetivamente avaliada por meio da taxa de acerto dos algoritmos, calculada dividindo-se a quantidade de acertos pelo total de previsões realizadas. A desvantagem dessa abordagem está relacionada à interpretabilidade, ou seja, muitas vezes o algoritmo possui um processo de funcionamento que não é claramente definido, isto é, que apesar de poder ser medido em termos de acerto, não fornece uma relação de causa e efeito. 18 Aprendizado não supervisionado Segundo Hurwitz e Kirsch (2018), o aprendizado não supervisionado é mais aplicável quando o problema envolve grandes quantidades de dados não rotulados. Entender o significado por trás desses dados requer algoritmos que são capazes de classificá-los em grupos, ou clusters. Um exemplo de uso dessa abordagem é a identificação de grupos de clientes com comportamentos semelhantes, com a finalidade segmentá-los Essa abordagem tem a vantagem de dispensar um conjunto de dados de treino manualmente classificado; no entanto, possui a desvantagem de ser completamente dependente da análise e interpretação manual de cada cluster, ou seja, é possível identificar grupos de clientes com comportamentos semelhantes, porém, cabe a um humano identificar o significado de cada agrupamento e as ações a serem tomadas em cada caso. Aprendizado por reforço Para Hurwitz e Kirsch (2018), o aprendizado por reforço é um modelo de aprendizado comportamental. O algoritmo é retroalimentado, ou recebe um feedback, das consequências das ações executadas. O aprendizado por reforço difere do aprendizado supervisionado porque o sistema não é treinado com uma amostra dos dados. Ao invés disso, aprende por tentativa e erro; portanto, uma sequência de decisões bem-sucedidas irá resultar em um “reforço” para o sistema. Uma das aplicações mais comuns para esse tipo de aprendizado é na robótica. Um exemplo dessa utilização é o treinamento dos sistemas de navegação de um robô ao subir uma escada. O robô muda sua abordagem de navegação do terreno de acordo com o resultado de suas ações. Quando o robô cai, o modelo é calibrado de modo a alterar a forma de navegação, e assim o robô vai aprendendo como subir a escada por meio de tentativa e erro, baseado na sequência bem-sucedida de suas ações. 2.2 PRINCIPAIS DESAFIOS DO APRENDIZADO DE MÁQUINA Neste capítulo, serão explorados os desafios relacionados à implantação do aprendizado de máquina, abordados em pesquisas recentes. Tais desafios e fatores de sucesso serviram de base para a construção de uma proposta de método para gestão de projetos específica para a implantação de projetos de aprendizado de máquina. Davenport, Loucks e Schatsky (2017) realizou uma pesquisa com 250 indivíduos, 19 identificando os principais desafios na implantação de tecnologias cognitivas. O autor define tecnologia cognitiva como inovações que executam atividades que tradicionalmente precisariam do raciocínio humano, como planejar, prever ou aprender. Esse conceito abrange o aprendizado de máquina e demais tecnologias, tais como a robotização de processos, visão computacional e sistemas baseados em regras. Apesar de abranger mais tecnologias além do aprendizado de máquina, a pesquisa de Davenport, Loucks e Schatsky (2017) traz alguns insights importantes. O resultado da pesquisa pode ser observado na Figura 1. Figura 1 − Desafios na implantação de tecnologias cognitivas Fonte: Traduzida de Davenport, Loucks e Schatsky (2017) Na Figura 1, é possível observar que o maior desafio na implantação de tecnologias cognitivas está relacionado à integração dessa nova tecnologia aos processos e sistemas já existentes, o que sugere um tópico direcionador de pesquisa: projetos de tecnologias cognitivas podem ser beneficiados com uma implantação gradual, uma das principais características dos métodos ágeis. O uso de técnicas ágeis para a resolução dos desafios de projetos de aprendizado de máquina também é sugerido por Brock e Von Wangenheim (2019) na diretriz DIGITAL, acrônimo de: Data, Intelligent, Grounded, Integral, Teaming, Agile e Leadership. Na Figura 2, ilustra-se o resultado de uma de suas pesquisas, com 3.557 entrevistados de 1.218 empresas diferentes, que avaliaram os principais desafios na implantação de projetos de inteligência artificial. Os mesmos autores definiram Inteligência artificial de maneira semelhante ao conceito de tecnologias cognitivas proposto por Davenport, Loucks e Schatsky (2017), isto é, como um termo que abrange diversas tecnologias capazes de executar tarefas que antes só eram possíveis de serem realizadas por humanos. 20 Figura 2 − Desafios na implantação da inteligência artificial Fonte: Traduzida de Brock e Von Wangenheim (2019). Observa-se que o resultado da pesquisa de Brock e Von Wangenheim (2019) diverge, em alguns aspectos, da pesquisa de Davenport, Loucks e Schatsky (2017), principalmente no ranking dos desafios. No entanto, pode-se observar que, apesar de as percentagens não terem uma correspondência, os principais fatores se mantêm os mesmos de forma consistente, como é o caso da falta de mão e obra qualificada, que aparece como principal desafio na obra de Brock e Von Wangenheim (2019), e como quarto principal desafio na pesquisa de Davenport, Loucks e Schatsky (2017), o que sugere uma oportunidade de trabalho em um método que aproveite melhor as especialidades de cada integrante e que possa absorver equipes compostas por poucas pessoas peritas em aprendizado de máquina. Também pode ser observada, em ambas as pesquisas, uma identificação importante relacionada aos custos da tecnologia, o que justifica a necessidade de se abordar de forma preditiva os benefícios do projeto, de modo a justificar os custos relativamente altos. Outro ponto de destaque nas duas pesquisas diz respeito ao conhecimento e apoio das lideranças dos projetos, reforçando a necessidade da sua conscientização acerca das particularidades dos projetos de aprendizado de máquina, corroborando a necessidade de um método que deixe claras tais particularidades. 2.3 MÉTODOS PARA GESTÃO DE PROJETOS Nos capítulos a seguir serão exploradas algumas das técnicas de gestão de projetos, bem como suas particularidades e usos. No campo da gestão de projetos de softwares, os métodos ágeis estão ganhando cada vez mais popularidade, como é o exemplo do método Scrum. De acordo com o Google Trends 21 (2022b), existe uma tendência de aumento considerável nas buscas pelas palavras-chave Scrum e agile, sendo que a quantidade de buscas nos dois assuntos mais do que dobrou entre 2004 e 2020. Tanto o aumento na popularidade do assunto quanto os resultados positivos observados nas implantações justificam a necessidade de aprofundamento nos métodos, como uma oportunidade de gerar uma base para construir o método proposto nesta pesquisa. Ahmed et al. (2010) demonstraram que um total de 66,7% dos entrevistados relataram um aumento considerável na produtividade com a adoção de métodos ágeis. Além dos métodos ágeis, exploramos os métodos mais clássicos, a fim de identificar pontos positivos em abordagens mais preditivas, compatíveis com os conceitos de Waterfall. Por fim, foram explorados métodos híbridos, dado que o método proposto nesta pesquisa possui características híbridas entre o método ágil e os métodos clássicos. 2.3.1 Método Waterfall O método Waterfall (também denominado Stage-Gate ou Phase-Gate) consiste na execução de conjuntos de atividades correlatas, cuja finalização é pré-requisito para o início do próximo conjunto de atividades. Um dos primeiros autores a abordar o assunto para o desenvolvimento de softwares foi Royce (1987), que descreveu em seu artigo os principais passos para a criação de projetos de software, como foi ilustrado na Figura 3. 22 Figura 3 − Passos para a implantação de um programa computacional Fonte: Traduzida de Royce (1987). PMBOK Amplamente utilizado como referência em gestão de projetos no formato Waterfall, o PMBOK (Project Management Body of Knowledge) descreve um conjunto de boas práticas, diretrizes e padrões para a gestão eficiente de projetos, descritos como um processo de gerenciamento de projetos (PMI, 2018). Os processos de gerenciamento de projetos descritos pelo Project Management Institute - PMI (2018) são um conjunto de atividades de gerenciamento de projetos ordenados em uma configuração lógica de forma a produzirem saídas a partir de uma ou mais entradas. Tais saídas resultam em uma entrada para outro processo ou uma entrega do projeto ou fase do projeto. Esses processos podem ser categorizados de acordo com seus objetivos (grupo de processos) ou de acordo com o conhecimento utilizado (área de conhecimento). O Quadro 2 relaciona os processos descritos pelo PMI (2018), identificando o grupo de processo e a área de conhecimento de cada processo. É importante observar que os grupos de processos não são a mesma coisa que as fases do ciclo de vida do projeto. 23 Quadro 2 − Classificação dos processos de gerenciamento de projetos Áreas de conhecimento Grupos de processos de gerenciamento de projetos Grupo de processos de iniciação Grupo de processos de planejamento Grupo de processos de execução Grupo de processos de monitoramento e controle Grupo de processos de encerrame nto 1. Gerenciamento da integração do projeto 1.1 Desenvolver o Termo de Abertura do Projeto 1.2 Desenvolver o Plano de Gerenciamento do Projeto 1.3 Orientar e Gerenciar o Trabalho do Projeto 1.4 Gerenciar o Conhecimento do Projeto 1.5 Monitorar e Controlar o Trabalho do Projeto 1.6 Realizar o Controle Integrado de Mudanças 1.7 Encerrar o Projeto ou Fase 2. Gerenciamento do escopo do projeto 2.1 Planejar o Gerenciamento do Escopo 2.2 Coletar os Requisitos 2.3 Definir o Escopo 2.4 Criar a EAP 2.5 Validar o Escopo 2.6 Controlar o Escopo 3. Gerenciamento do cronograma do projeto 3.1 Planejar o Gerenciamento do Cronograma 3.2 Definir as Atividades 3.3 Sequenciar as Atividades 3.4 Estimar as Durações das Atividades 3.5 Desenvolver o Cronograma 3.6 Controlar o Cronograma 4. Gerenciamento dos custos do projeto 4.1 Planejar o Gerenciamento dos Custos 4.2 Estimar os Custos 4.3 Determinar o Orçamento 4.4 Controlar os Custos 5. Gerenciamento da qualidade do projeto 5.1 Planejar o Gerenciamento da Qualidade 5.2 Gerenciar a Qualidade 5.3 Controlar a Qualidade 6. Gerenciamento dos recursos do projeto 6.1 Planejar o Gerenciamento dos Recursos 6.2 Estimar os Recursos das Atividades 6.3 Adquirir Recursos 6.4 Desenvolver a Equipe 6.5 Gerenciar a Equipe 6.6 Controlar os Recursos 7. Gerenciamento das comunicações do projeto 7.1 Planejar o Gerenciamento das Comunicações 7.2 Gerenciar as Comunicações 7.3 Monitorar as Comunicações 8. Gerenciamento dos riscos do projeto 8.1 Planejar o Gerenciamento dos Riscos 8.2 Identificar os Riscos 8.3 Realizar a Análise Qualitativa dos Riscos 8.4 Realizar a Análise Quantitativa dos Riscos 8.5 Planejar as Respostas aos Riscos 8.6 Implementar Respostas aos Riscos 8.7 Monitorar os Riscos 9. Gerenciamento das aquisições do projeto 9.1 Planejar o Gerenciamento das Aquisições 9.2 Conduzir as Aquisições 9.3 Controlar as Aquisições 10. Gerenciamento das partes interessadas do projeto 10.1 Identificar as Partes Interessadas 10.2 Planejar o Engajamento das Partes Interessadas 10.3 Gerenciar o Engajamento das Partes Interessadas 10.4 Monitorar o Engajamento das Partes Interessadas Fonte: PMI (2018). 24 Segundo o PMI (2018), o ciclo de vida de um projeto pode ser dividido em cinco fases genéricas: 1.Trabalho anterior ao projeto: é a etapa que envolve a avaliação das necessidades do negócio e dos clientes, a estimativa dos benefícios e custos do projeto e, por fim, a avaliação da sua viabilidade financeira. 2.Início do projeto: é a fase de alinhamento entre os participantes do projeto e a comunicação da abertura do projeto, que pode ser feita por um termo de abertura. 3.Organização e preparação: é a fase anterior à execução do trabalho em que é realizado todo o planejamento prévio para possibilitar um controle e acompanhamento adequado do projeto, e pode incluir, de acordo com a complexidade do projeto, itens como: cronograma, riscos, plano de gerenciamento de recursos, plano de gerenciamento da qualidade, plano de gestão de mudanças. 4.Execução do trabalho: consiste no desenvolvimento da solução propriamente dita. Em projetos de desenvolvimento de software, corresponde à codificação e teste dos programas. 5.Conclusão do projeto: é a fase de entrega do projeto. Em projetos de desenvolvimento de software, consiste na homologação do software desenvolvido e a autorização para a implantação do programa em um ambiente de produção. A Figura 4 ilustra as 5 fases genéricas do ciclo de vida de um projeto gerido pelo método Waterfall. 25 Figura 4 − Fases genéricas em um ciclo de vida Waterfall Fonte: PMI (2018). 2.3.2 Métodos ágeis O desenvolvimento ágil de software foi popularizado no início dos anos 2000 com a publicação do Manifesto ágil, um conjunto de princípios que direcionou a gestão de projetos desde sua criação. De acordo com Beck et al. (2001), esse método se baseia em flexibilidade no escopo do projeto e priorização de entregas de valor em um curto período ou timbox. Os princípios descritos no Manifesto, em conjunto com o conceito de desenvolvimento de produtos descrito por Hirotaka Takeuchi e Ikujiro Nonaka (1986), possibilitaram a criação do método Scrum para desenvolvimento de softwares. A seguir, serão apresentados alguns dos principais métodos ágeis e suas particularidades. 26 Scrum De acordo com Schwaber e Sutherland (2017), o Scrum é um método ágil que tem como pilares transparência, inspeção e adaptação, e, para tanto, utiliza como base três papéis, cinco eventos e três artefatos. O pilar de transparência visa, principalmente, a um entendimento comum dos objetivos da equipe, bem como a deixar claras as atualizações das atividades entre todos. O pilar de inspeção preza pela verificação constante se as entregas incrementais estão contribuindo para o objetivo final do produto ou da atividade realizada. Por fim, o pilar de adaptação prega a importância das atividades se adaptarem às mudanças do dia a dia, a fim de garantir a satisfação dos objetivos finais. Na Figura 5, demonstra-se, de forma resumida, os eventos e artefatos do Scrum. Figura 5 − Scrum Fonte: Traduzida de Sliger (2011). Como vimos acima, Schwaber e Sutherland (2017) estabelecem cinco eventos que compõem o Scrum; são eles: dailys, reviews, retrospectives, plannings e sprints. As sprints são períodos de até 30 dias que correspondem a um ciclo de entrega de valor. As dailys são reuniões diárias com o objetivo de reforçar a transparência das atividades e sincronizar o trabalho da equipe, e possuem um limite de duração, ou timebox, de 15 minutos. 27 As plannings são reuniões que ocorrem uma vez a cada sprint, e têm como principal objetivo selecionar quais itens do backlog do produto serão entregues dentro da sprint. As reviews ocorrem uma vez a cada sprint e têm como principal objetivo apresentar os resultados da sprint para os stakeholders e alinhar o que será feito na próxima sprint. Por fim, as retrospectivas são reuniões de melhoria contínua, que visam avaliar os sucessos e postos de melhoria identificados durante a sprint, gerando novos itens de backlog ou planos de ação. Ainda segundo Schwaber e Sutherland (2017), estão presentes três artefatos em um time Scrum: o backlog do produto, o backlog da sprint e um incremento. O backlog do produto corresponde a uma lista ordenada do que precisa ser implantado no produto, e deve ser a fonte única dos requisitos para qualquer mudança a ser feita. Backlog da sprint é um recorte do backlog do produto que contém a lista de atividades passíveis de serem entregues durante o período da sprint, e que compõem uma entrega de valor ou incremento. Por fim, um incremento é um conjunto de atividades que, desenvolvidas, correspondem a uma entrega de valor, coerente com os objetivos definidos do time Scrum. Continuando com as ideias de Schwaber e Sutherland (2017), um time Scrum é composto por membros que desempenham os papéis de Scrum Master, Product Owner e Team Member. O Scrum Master se constitui no principal responsável pela garantia da prática ágil do projeto. É denominado servo-líder por desempenhar atividades de suporte, e é o maior responsável por orientar os demais participantes nas práticas e ferramentas ágeis, além de ser o facilitador dos eventos Scrum. O Product Owner, ou “dono do produto”, é responsável, principalmente, por gerenciar o backlog do produto, incluindo definir cada item do backlog e priorizá-los de modo a maximizar a entrega de valor do time. É o Product Owner que tem a palavra final da priorização e definição dos itens do backlog. A equipe de desenvolvimento, composta por Team Members, consiste em profissionais que realizam o trabalho de desenvolver e entregar produtos potencialmente utilizáveis. Essas equipes são autogerenciáveis e têm como objetivo principal, em cada sprint, desenvolver e entregar valor, em conformidade com os seus objetivos. Por fim, os membros de cada equipe se organizam em squads, que são times multidisciplinares que possuem todas as capacidades necessárias para conduzir o desenvolvimento de produtos de forma autônoma. 28 Kanban De acordo com Saltz e Suthrland (2019), o conceito de Kanban emergiu nos primeiros anos da indústria automotiva. Enquanto práticas ágeis como o Scrum possuem um processo e estrutura bem definidos, o Kanban não tem papéis ou processos pré-estabelecidos de maneira precisa. Ao invés disso, o Kanban define um conjunto de princípios que inclui: visualizar o fluxo de trabalho, limitar a quantidade de trabalho sendo feito simultaneamente (work-in-progress), medir e gerenciar o fluxo de atividades, deixar explícitas as regras e políticas, e melhorar o processo de gestão de forma coletiva, por meio de implementação de ciclos de feedbacks. Cada equipe é livre para utilizar qualquer processo ou método que sustente ou encoraje os princípios do Kanban. Ainda segundo Saltz e Suthrland (2019), as duas principais características do Kanban são: (1) a representação visual das atividades no quadro Kanban, com itens de trabalho fluindo por meio de colunas na ordem de menor completude para maior completude, isto é, os itens de trabalho são representados, graficamente, de forma que todos os integrantes da equipe sejam capazes de identificar o status de cada parte do trabalho, que, normalmente, começa com uma lista de itens a serem feitos, e termina com itens entregues; e (2) o Kanban tem o objetivo de minimizar o work-in-progress impondo limites. A minimização do work-in-progress permite uma abordagem enxuta, com foco na redução do tempo para completar uma atividade, além de garantir a agilidade, uma vez que essa abordagem aumenta a facilidade de “repriorizar” etapas. Objetivos e resultados-chave (OKRs) OKRs ou “Objectives and Key Results” são uma ferramenta utilizada para direcionar as atividades de uma empresa em torno de um objetivo comum. De acordo com Mello (2018), o objetivo deve ser o resultado qualitativo final a que a empresa quer chegar, e os resultados-chave constituem uma forma de provar o quão próximo o objetivo está de ser atingido. Por isso, os resultados-chave devem ter um caráter quantitativo, devendo ser específicos, mensuráveis, atingíveis, relevantes e temporais. Ainda segundo Mello (2018), o método auxiliou companhias como a Google a alcançar objetivos ousados de crescimento. Uma característica fundamental para esse sucesso foi a transparência que o método propõe no sentido de deixar claro, para toda a organização, o objetivo de cada um, fazendo com que a 29 direção estratégica da empresa esteja quase sempre alinhada aos funcionários. Chotiganta (2021) reforça essa característica de transparência, em seu estudo comparativo entre o método OKR e o KPIs (Key Performance Indicators). Em sua pesquisa, ele afirma que um dos benefícios do uso do método OKR é a transparência e a abertura com os funcionários, que, por sua vez, fomentam um engajamento maior na organização. 2.3.3 Diferenças entre os métodos ágil e Waterfall Comparativamente, existem características diferentes de cada método, o que faz com que a aplicabilidade de cada um dependa do cenário, cultura da empresa e natureza de cada projeto. No Quadro 3 e na Figura 6, comparam-se as características de cada método. Quadro 3 – Comparação entre os métodos Waterfall e Ágil Waterfall Ágil Tipo Macroplanejamento Microplanejamento, gestão de projetos Escopo Da ideia até o lançamento Desenvolvimento e teste, pode ser expandido para o pré-desenvolvimento Organização Equipe multifuncional (P&D, marketing, vendas, operações) Equipe técnica (desenvolvedores de software, engenheiros) Modelo de decisão Método de investimento: a decisão de aprovar ou não o projeto envolve um grupo sênior de governança. Método tático: decisões sobre as ações da próxima sprint são tomadas majoritariamente por um time autogerenciável Fonte: Traduzida de Cooper (2016). 30 Figura 6 − Comparação entre métodos clássicos e ágeis Fonte: Traduzida de Cooper (2016). Por meio da análise em conjunto do Quadro 3 e da Figura 5, pode-se concluir que projetos ágeis possuem de fato uma característica mais dinâmica. Conforme a complexidade de um projeto aumenta, sua previsibilidade diminui, gerando uma necessidade de flexibilização de escopo para que o projeto possa se adaptar corretamente às necessidades do cliente, bem como às mudanças de cenário e incertezas, tornando projetos ágeis mais adequados para casos de maior complexidade. Portanto, projetos ágeis se caracterizam por possuírem prazos e orçamento fixos, controlados pelos ciclos de cada sprint, ao passo que o escopo possui mais flexibilidade, podendo ser alterado a cada ciclo do projeto. Ainda se observa que projetos geridos da forma tradicional (Waterfall) são preditivos, ou seja, eles buscam prever o orçamento e o prazo do projeto na partida, e cada desvio gera uma necessidade de mudança do planejamento. Por outro lado, os projetos ágeis são iterativos, ou seja, o planejamento é feito a cada iteração em um período curto e sem a necessidade de uma previsão de longo prazo para os custos e prazos. Thesing, Feldmann e Burchardt (2021) realizaram uma pesquisa de profundidade com um público de quinze especialistas em gestão de projetos. Em sua pesquisa, os autores identificaram as vantagens de cada abordagem. Com relação aos métodos ágeis, as vantagens mais importantes do ponto de vista dos entrevistados foram a identificação rápida de alterações nos requisitos dos projetos, a identificação rápida de erros devido aos ciclos de 31 desenvolvimento e a flexibilidade e rapidez na abordagem de alterações de requisitos. Quanto aos métodos clássicos, os mesmos autores identificaram como principais vantagens a definição clara e fixa dos papéis e responsabilidades de cada participante, o planejamento sistemático estável e bem documentado, e por fim, a capacidade dos membros da equipe de prever a duração das atividades do projeto. 2.3.4 Métodos híbridos Métodos híbridos são aqueles que incorporam as técnicas dos métodos ágeis, tais como equipes multifuncionais, sprints curtas, cerimônias e artefatos, entre gates, que são estruturas dos métodos clássicos, como ilustrado por Cooper e Sommer (2018). Na Figura 7, exemplifica-se um típico método híbrido, destacando o aumento de intensidade da utilização de técnicas ágeis nas fases de desenvolvimento e teste. Figura 7 − Método híbrido, com sprints inseridas entre gates Fonte: Traduzida de Cooper e Sommer (2018). Karlstrom e Runeson (2005, 2006) estudaram três empresas de tecnologia que combinaram métodos ágeis com um método clássico pré-existente. As empresas estudadas (ABB, Ericsson e Vodafone) implantaram o método ágil a partir das etapas de desenvolvimento e mantiveram as etapas anteriores ao desenvolvimento (business case, definição do conceito e ideação) do modelo clássico, dividido por gates de aprovação. Os pesquisadores identificaram que os dois métodos eram compatíveis e que a fusão de ambos trouxe diversos benefícios, tais como: aumento da motivação dos desenvolvedores, resultante 32 de uma maior autonomia, maior transparência na resolução de problemas e definição de prioridades, e, por fim, melhoria na comunicação tanto entre os integrantes da equipe quanto com os clientes acerca do entendimento dos requisitos do projeto, em decorrência da abordagem adaptativa das fases de desenvolvimento e planejamento. Cooper e Sommer (2016b) também identificaram benefícios na utilização dos métodos híbridos em um estudo de caso da LEGO Education, divisão da empresa LEGO que desenvolve produtos educativos para crianças. No projeto estudado, foi observado um aumento significativo da produtividade das equipes. Os integrantes relataram que esse aumento da produtividade foi motivado principalmente pela melhoria na comunicação entre eles. Edwards et al. (2019) realizaram um teste para avaliar os benefícios da utilização do método híbrido em empresas de pequeno e médio porte, em três diferentes projetos conduzidos por três equipes diferentes. Para avaliar os benefícios, foi aplicado um questionário em duas etapas: a primeira foi realizada antes do início do teste, para capturar as características do método utilizado normalmente pelos participantes. Na segunda etapa, o mesmo questionário foi aplicado, mas dessa vez após as três equipes terem passado seis meses atuando em um modelo híbrido. Os resultados mostraram que a avaliação do método híbrido foi melhor do que a avaliação do método comumente utilizado pelas três equipes, com destaque para quesitos como: clareza nos objetivos, clareza na definição das características do produto, e definição mais clara da viabilidade do projeto devido à etapa de avaliação financeira (business case) Por fim, Eljayar e Busch (2021) conduziram uma pesquisa com 52 indivíduos com experiência em métodos híbridos, que demonstrou benefícios importantes na utilização dessa abordagem para projetos de desenvolvimento de software. Dentre esses benefícios, destacam-se: aumento na velocidade de entrega do projeto (time-to-market), aumento da efetividade da comunicação entre equipe e gestores, e dentro da própria equipe, facilitação da coordenação do projeto e aumento da motivação dos integrantes das equipes. 2.3.5 Métodos de desenvolvimento utilizados em projetos de aprendizado de máquina No ambiente de desenvolvimento de projetos em aprendizado de máquina, é comum a utilização de três principais métodos: SEMMA, KDD e CRISP-DM. Esses métodos foram inicialmente criados para o desenvolvimento de projetos de mineração de dados; no entanto, eles são amplamente utilizados por falta de um método de gestão específico para o 33 aprendizado de máquina (PLOTNIKOVA; DUMAS; MILANI, 2020; SALTZ; KRASTEVA, 2022). De acordo com Han, Kamber e Pei (2011), mineração de dados (data mining) é definida como o processo de extração de conhecimento a partir de grandes quantidades de dados, armazenados em bancos ou outros repositórios de informação. Witten, Frank e Hall (2011) definiram mineração de dados como sendo a análise de conjuntos de dados com o objetivo de encontrar correlações ocultas, resumindo os dados de forma que sejam interpretáveis e úteis para o usuário. A seguir, serão apresentados os métodos KDD, SEMMA e CRISP-DM e suas particularidades, para posterior comparação. KDD Para Fayyad, Piatetsky-Shapiro e Smyth (1996), o processo KDD, sigla de Knowledge Discovery in Databases, se divide em cinco principais etapas: seleção, pré-processamento, transformação, mineração de dados (ou data mining) e avaliação/interpretação dos dados. Os mesmos autores destacam que a etapa de seleção corresponde à definição do problema, à definição do alvo da análise, bem como à separação dos dados que serão utilizados pelo processo. A etapa de pré-processamento corresponde ao levantamento e preparação inicial dos dados para a análise, incluindo remoção de ruídos e limpeza dos dados. É na próxima etapa, de transformação, que são aplicadas técnicas de seleção dos atributos dos modelos estatísticos. Nessa etapa, ocorre, também, a redução dos dados, ou seja, o banco de dados é reduzido para somente os dados necessários para se atingir o alvo do levantamento. A etapa de mineração de dados é definida por Piatetsky-Shapiro e Smyth (1996) como uma etapa do KDD que consiste na aplicação de técnicas de análise de dados e algoritmos de descoberta, que tem por objetivo identificar padrões particulares nos dados estudados. Por fim, a etapa de avaliação/interpretação refere-se à etapa em que são extraídas as conclusões. Todas essas etapas foram sintetizadas na Figura 8. Além das etapas descritas na Figura 8, Fayyad, Piatetsky-Shapiro e Smyth (1996) descrevem uma etapa anterior ao começo do processo, que corresponde ao entendimento do domínio da aplicação, o entendimento das informações relevantes do negócio e os objetivos do cliente final. Mais tarde, Azevedo e Santos (2008) nomearam essa etapa como “Pré-KDD” para fins de comparação com os demais métodos. 34 Figura 8 - Visão geral do processo KDD Fonte: Traduzida de Fayyad, Piatetsky-Shapiro e Smyth (1996). SEMMA Segundo o SAS Institute (2020), que o desenvolveu, SEMMA é o acrônimo de Sample, Explore, Modify, Model, Assess. Esse processo considera um ciclo de cinco estágios representados por cada letra do acrônimo. No estágio de amostragem (sample), extrai-se uma parcela da base de dados que seja grande o suficiente para representar o conjunto total de dados, mas pequena o suficiente para agilizar o processo de manipulação inicial. Este é apontado como um estágio opcional. O segundo estágio corresponde à exploração dos dados, em busca de correlações ou tendências que ainda não foram identificadas. No próximo estágio, o de modificação, ocorre a manipulação dos dados, com o intuito de sintetizar a base somente com as informações necessárias ao modelo estatístico. A etapa de modelagem corresponde à utilização de softwares para prever valores ou identificar padrões. O último estágio (assess) corresponde à avaliação dos resultados, verificando confiabilidade, erro e aplicabilidade. Na Figura 9, representa-se o processo SEMMA e suas cinco etapas. 35 Figura 9 - Visão geral do processo SEMMA Fonte: Traduzida de SAS Institute (2020). CRISP-DM De acordo com Azevedo e Santos (2008) e Chapman et al. (2000), o processo CRISP-DM, sigla de Cross-Industry Standard Process for Data Mining, foi desenvolvido por um consórcio inicialmente composto pela Daimler Chrysler, SPSS e NCR, e corresponde a um processo de seis estágios, a saber: 1.Entendimento do negócio: fase inicial, voltada ao entendimento dos objetivos do projeto e requisitos, de uma perspectiva de negócio, para a definição de um plano preliminar. 2.Entendimento dos dados: esta fase se inicia com uma coleta inicial de dados e segue com atividades de exploração desses mesmos dados, com o objetivo de familiarizar a equipe com eles, identificar os primeiros insights e avaliar a sua qualidade. 3.Preparação de dados: engloba todas as atividades para a construção do dataset final, ou conjunto de dados final, que será utilizado para a alimentação dos modelos estatísticos de 36 aprendizado de máquina. 4.Modelagem: nesta fase, são aplicadas diversas técnicas de modelagem, e seus parâmetros são calibrados para o atendimento dos valores ótimos de saída. 5.Avaliação: nessa etapa, os modelos estatísticos obtidos são avaliados, detalhadamente, para garantir que eles estão funcionando adequadamente e atendem aos objetivos do negócio. 6.Implantação: geralmente, a criação do modelo estatístico não determina o final do projeto. É nessa fase que o modelo estatístico é implantado de uma forma que o cliente poderá utilizá-lo. Na Figura 10, ilustra-se a visão geral do processo CRISP-DM e suas etapas de implantação. Figura 10 - Visão geral do processo CRISP-DM Fonte: Traduzida de Chapman et al. (2000). 37 3 METODOLOGIA DE PESQUISA 3.1 DESIGN SCIENCE A utilização do Design Science se justifica devido à necessidade de um método que permita uma solução satisfatória aos problemas práticos identificados. Conforme Lacerda et al. (2013), o Design Science é o mais recomendado quando o intuito da pesquisa é prescrever e projetar, enquanto um estudo de caso tradicional tem como propósito explorar, descrever e explicar. Neste trabalho utilizou-se o método de Design Science, descrito por Wieringa (2014), como uma forma para desenvolver e aprimorar métodos, considerando-se o seu contexto social e de conhecimento. Para Wieringa (2014), o Design Science possui dois principais focos de estudo: o design de artefatos, que são ferramentas cujo propósito é auxiliar os desafios de um determinado contexto social, e a investigação, que consiste em responder a questões práticas sobre um determinado artefato, tais como sua efetividade e aplicabilidade. Ainda segundo Wieringa (2014), um artefato consiste em uma ferramenta, método, técnica, ou procedimento que auxilia na melhoria de um cenário, de forma a abordar os principais problemas de um contexto social em sua utilização. A construção de um artefato se baseia no conhecimento prévio sobre o problema, bem como na investigação do contexto em que o artefato será utilizado. O trabalho de Wieringa (2014) se correlaciona ao de Hevner (2007) ao abordar o Design Science como um processo de três ciclos iterativos. O segundo autor, contudo, descreve todo o processo de uma forma mais concisa. Para Hevner (2007), o primeiro ciclo do Design Science, denominado Ciclo de Relevância, consiste em identificar o problema e a finalidade da pesquisa, do ponto de vista prático, buscando a melhoria do ambiente de trabalho. O segundo, denominado Ciclo de Rigor, simboliza o estudo prévio do estado da arte no assunto, incorporando os fundamentos estudados previamente no desenvolvimento do artefato. O terceiro é o Ciclo de Design, que tem como propósito desenvolver e melhorar um artefato por meio de iterações de criação, avaliação do artefato e implantação de melhorias. Na Figura 10, representam-se, de forma resumida, os 3 principais ciclos descritos por Hevner (2007). 38 Figura 11 - Visão geral do Design Science Fonte: Pimentel et al. (2020). 3.2 DELINEAMENTO DO TRABALHO DE CAMPO De forma geral, seguindo as definições descritas por Da Silva e Menezes (2005), este trabalho é, por natureza, uma pesquisa aplicada, dado o intuito de resolução de um problema. Quanto à forma de abordagem, trata-se de uma pesquisa qualitativa, considerando-se as características subjetivas presentes em processos e métodos para gestão de projetos. Da perspectiva de seus objetivos, tal como proposto por Gil (2009), esta dissertação é classificada como uma pesquisa exploratória, devido à busca do detalhamento e entendimento do cenário e dos problemas enfrentados por gestores de projetos. Do ponto de vista de procedimentos técnicos, este trabalho é classificado como um levantamento, que ocorreu de forma a coletar dados por meio de entrevistas com gestores de projetos de aprendizado de máquina, para estudar a utilização específica de métodos de gestão em projetos dessa natureza. Por fim, esse trabalho é considerado uma pesquisa de campo, devido à fase de entrevistas, que visa identificar se existe algum desafio importante na gestão de projetos de aprendizado de máquina que não foi abordado pela literatura (P3). Relativamente às etapas do Design Science, podemos destacar as perguntas de pesquisa (P1), (P2) e (P3) como integrantes do Ciclo de rigor. A pergunta (P4) refere-se ao Ciclo de relevância, enquanto a pergunta (P5) pertence ao Ciclo de design. No Quadro 4, exibem-se as perguntas de pesquisa apresentadas na Introdução, com o detalhamento das suas respectivas abordagens metodológicas e o ciclo correspondente no Design Science. 39 Quadro 4 − Perguntas de pesquisa Pergunta de pesquisa Abordagem metodológica Ciclo Design Science Embasamento teórico (P1) Qual é o contexto atual do aprendizado de máquina, suas oportunidades de pesquisa e benefícios? Revisão bibliográfica Rigor Google Trends (2022a) Liu e Yu (2022) Pathak et al. (2022) An, Wang e Zhang (2022) Martínez-Plumed et al. (2021) Kushwaha et al. (2020) Balakrishnan et al. (2020) Duan, Edwards e Dwivedi (2019) Xiu (2019) Allayannis e Becker (2019) Ahmed, Dannhauser e Philip (2018) Escobar e Morales (2018) Fang, Yanxue e Kai (2018) Esteva et al. (2017) Saltz (2015) (P2) Quais são os principais desafios para a gestão de projetos de aprendizado de máquina, já pesquisados? Revisão bibliográfica Rigor Brock e Von Wangenheim (2019) Davenport, Loucks e Schatsky (2017) (P3) Quais são as principais técnicas de gestão existentes, em projetos de aprendizado de máquina? Revisão bibliográfica Rigor Blomster e Koivumäki (2022) Saltz e Krasteva (2022) SAS Institute (2020) Saltz e Hotz (2020) Schwaber e Sutherland (2017) Saltz e Suthrland (2019) Shafique e Qaiser (2014) Azevedo e Santos (2008) Beck et al. (2001) Chapman et al. (2000) (P4) Existe algum desafio importante da gestão de projetos de aprendizado de máquina que não foi abordado pela literatura? Entrevista em campo Relevância Pesquisa em profundidade (P5) Como gerir projetos de aprendizado de máquina de forma a abordar os principais desafios? Levantamento Design Elaboração do método proposto Fonte: Próprio autor. 40 Ciclo de rigor O Ciclo de rigor abrangeu, principalmente, a fração da revisão bibliográfica, que analisou diversas formas de gestão de projetos. Estudaram-se, no âmbito mais geral da gestão do projeto, as abordagens clássicas, ágeis e híbridas de gestão. No âmbito mais específico, foram explorados diversos métodos de desenvolvimento de projetos de aprendizado de máquina. Esse ciclo tem como intuito gerar uma base teórica para a criação do procedimento para auxiliar na gestão de projetos de aprendizado de máquina. Ciclo de relevância Neste trabalho, o Ciclo de relevância compreende todo o levantamento de oportunidades de uso, lacunas da literatura e potenciais benefícios, de forma a justificar o investimento de tempo no desenvolvimento de um método para auxiliar a implantação de projetos de aprendizado de máquina. Na Introdução, foram levantados os principais motivadores deste estudo, com a exploração dos principais benefícios do aprendizado de máquina, bem como as tendências do mercado e perspectivas. Na revisão bibliográfica, foram apontados os principais desafios do aprendizado de máquina, de forma a direcionar a proposição do método, para a resolução dos problemas identificados previamente. Além disso, a pesquisa foi reforçada com um trabalho de campo, que consistiu na identificação de desafios que não foram abordados na literatura pesquisada. Ciclo de design No Ciclo de design, foi desenvolvido o método propriamente dito. Nesse ciclo, o conhecimento prévio e os objetivos se encontram de forma a possibilitar a criação de uma solução de gerenciamento de projetos voltada para a implantação de soluções de aprendizado de máquina. O método desenvolvido foi avaliado pelos entrevistados e a análise dos resultados foi explorada de forma detalhada, nos capítulos de resultados. Visão geral da metodologia de pesquisa 41 Na Figura 12, abaixo, descrevem-se todas as etapas de pesquisa de forma resumida, desde o levantamento bibliográfico até o desenvolvimento e entrega do método proposto, destacando o elo com os ciclos do Design Science. Também pode ser observada a etapa em que cada pergunta de pesquisa é respondida, bem como a ordem cronológica de atuação em cada etapa. Figura 12 − Passo a passo do processo de pesquisa Fonte: Próprio autor. No Quadro 5, estão detalhadas as etapas da pesquisa, bem como o capítulo onde foi abordado cada assunto. 42 Quadro 5 − Detalhamento do processo de pesquisa Fase Etapa Descrição Capítulo A - Levantamento A1 - Pesquisa bibliográfica: Desenvolvimento de projetos ágeis, clássicos e híbridos Levantamento de métodos de gestão pré-existentes, suas aplicações, particularidades, lacunas e desafios. Revisão da literatura A2 - Pesquisa bibliográfica: Desenvolvimento de projetos de aprendizado de máquina A3 - Análise e identificação de lacunas dos métodos da literatura B - Trabalho de campo B1 - Preparação das entrevistas Seleção da forma de coleta de dados, elaboração do roteiro de entrevistas e descrição do público. Delineamento do trabalho de campo B2 - Entrevistas com especialistas Execução das entrevistas com especialistas. Resultado das entrevistas em profundidade B3 - Compilação e análise dos resultados Organização dos resultados de acordo com critérios demográficos e análise das entrevistas sob a ótica dos desafios para a gestão de projetos de aprendizado de máquina. C - Elaboração do método para gestão de projetos C1 - Desenvolvimento do método, considerando os principais desafios e lacunas Elaboração de um método para gestão de projetos de aprendizado de máquina que endereça as lacunas e desafios explorados nesta pesquisa. Desenvolvimento do método de gestão D - Avaliação do método para gestão de projetos e conclusões D1 - Avaliação do método no contexto dos entrevistados Retorno dos entrevistados, com a avaliação do método proposto, em termos de aplicabilidade e eficácia. Avaliação do método de gestão D2 - Discussão dos resultados Discussão dos resultados, conclusões e oportunidades de pesquisas futuras. ConclusãoD3 - Levantamento de oportunidades de pesquisa Fonte: Próprio autor. 43 3.2.1 Pesquisa bibliográfica Para a pesquisa bibliográfica, foram utilizadas as bases Web of Science, Scopus e Google Acadêmico, pesquisando combinações dos termos “machine learning”, “artificial intelligence”, “data science", “data mining", “management”, “project”, “life cycle", "challenges", “agile”, "hybrid", “pitfalls”, "methodology", “agile stage gate”, “use cases” “case studies”, “implementation”, “perspectives”, "benefits", “scrum”, “definition”, “trends”, "systematic literature review”, “digital transformation”, "waterfall", “framework”, “comparison”, “design science”, “applications, “KPI” e “CRISP-DM”. Dentre os 76 artigos selecionados para compor o referencial teórico da pesquisa, apenas cinco se dedicam a discutir métodos específicos para gestão de projetos de aprendizado de máquina. 3.2.2 Método das entrevistas Com o intuito de detalhar os problemas específicos de projetos de aprendizado de máquina e compará-los aos resultados obtidos em outras pesquisas, foi utilizada a técnica de entrevistas em profundidade por meio de um questionário semiestruturado (Apêndice A). O intuito foi fomentar uma expressão livre das experiências e percepções do entrevistado e facilitar a conservação da atenção e foco do entrevistado no tema central. De acordo com Malhotra (2010), a pesquisa em profundidade proporciona algumas vantagens em relação aos grupos de foco, tais como o aprofundamento do assunto abordado, a atribuição mais pessoal das percepções do entrevistado e o fomento de um ambiente com menor pressão social e maior flexibilidade na condução das pesquisas. As entrevistas foram conduzidas com o auxílio de um questionário semiestruturado composto por perguntas abertas, dando a possibilidade da inclusão de novas perguntas, à medida que novas reflexões sobre o assunto central iam se desenrolando, ou seja, a entrevista seguiu um roteiro com perguntas e temas centrais, mas abriu a possibilidade para discussões não previstas inicialmente. Segundo Boynton e Greenhalgh (2004), questões qualitativas constituem uma forma efetiva de atuação em situações em que não há domínio prévio das expectativas das respostas dos entrevistados De acordo com Easterby, Thorpe e Lowe (2002), a utilização de entrevistas semiestruturadas é recomendada quando existe a necessidade de entendimento das circunstâncias em que o respondente está inserido, quando o assunto é comercialmente sensível ou quando outra forma de abordagem pode causar relutância em discutir o assunto. 44 Estas questões justificam a adoção, neste trabalho, da entrevista em profundidade, com um questionário semiestruturado. 3.2.3 Seleção da amostra de entrevistados Segundo Malhotra (2010), não há a necessidade de utilização de um processo de amostragem probabilística em pesquisas qualitativas, devido às características subjetivas e específicas desse tipo de abordagem. Portanto, a amostra utilizada nesta pesquisa foi do tipo não probabilístico, seguindo os procedimentos prescritos por Brace (2018), de forma a minimizar os vieses nos resultados, com a prioridade de selecionar entrevistados capazes de discutir e avaliar o método de gestão proposto, baseado nas suas experiências prévias com o tema. Quanto à quantidade de entrevistados, foi utilizado um critério de parada baseado na diminuição de novas descobertas conforme as entrevistas foram feitas, ou seja, as entrevistas foram interrompidas quando pararam de surgir informações novas. No Apêndice A, apresenta-se o roteiro seguido pelo entrevistador. Foram realizadas 19 entrevistas, seguidas do envio por e-mail de um protótipo do método proposto para que os entrevistados pudessem avaliá-lo, de acordo com a aplicabilidade e vantagens da utilização. O quadro 6 exemplifica o perfil dos entrevistados. 45 Quadro 6 − Perfil dos entrevistados Entrevistado Ramo da empresa Profissão Experiência no cargo atual Gestor de pessoas? 1 Aviação Analista de TI 17 anos Não 2 Bens de consumo Cientista de dados 1 ano Não 3 Bens de consumo Consultor SAP 23 anos Não 4 Consultoria Gerente de Analytics 2 anos Sim 5 Educação Professor 1 ano Não 6 Educação Coordenador de curso (Desenvolvimento de sistemas) 11 anos Sim 7 Educação Coordenador de curso (Gestão de TI) 9 anos Sim 8 Educação Coordenador de curso (Gestão de TI) 14 anos Sim 9 Energia Cientista de dados 1 ano Não 10 Marketing Analista de dados 2 anos Não 11 Saúde e bem-estar CIO 2 anos Sim 12 Saúde e bem-estar Gerente de dados 3 anos Sim 13 Seguros Coordenadora de Advanced Analytics 2 anos Sim 14 TI Cientista de dados 2 anos Não 15 TI Engenheiro de aprendizado de máquina 2 anos Não 16 TI Engenheiro de aprendizado de máquina 1 ano Não 17 TI CTO 5 anos Sim 18 Têxtil Cientista de dados 2 anos Não 19 Varejo Engenheiro de aprendizado de máquina 2 anos Sim Fonte: Próprio autor. 46 4 RESULTADOS 4.1 ANÁLISE COMPARATIVA DOS MÉTODOS DE DESENVOLVIMENTO Azevedo e Santos (2008) realizaram um comparativo entre os métodos, resumido no Quadro 7 (abaixo), que correlaciona as diversas fases dos métodos de mineração de dados. Nessa comparação, Azevedo e Santos (2008) concluem que o método SEMMA pode ser considerado um uso prático do KDD, uma vez que as etapas do primeiro correspondem às do segundo, e tendo em vista que o SEMMA foi criado pelo instituto SAS considerando-se a utilização prática em conjunto com o software oferecido pela empresa. No que se refere à comparação entre o SEMMA e o CRISP-DM, os autores concluíram que a correspondência entre as etapas não é tão evidente como na comparação entre o KDD e o SEMMA, porém, foram observadas algumas correlações, como na etapa de modelagem, comum aos dois métodos. Por fim, os autores concluem que o SEMMA e o CRISP-DM podem ser vistos como uma implementação do KDD, tal como proposto por Fayyad, Piatetsky-Shapiro e Smyth (1996). Quadro 7 - Comparativo entre métodos, por fases KDD SEMMA CRISP-DM Pré-KDD ------------- Entendimento do negócio Seleção Amostra Entendimento dos dados Pré-Processamento Exploração Transformação Modificação Preparação dos dados Mineração de dados Modelagem Modelagem Interpretação/Validação Avaliação Avaliação Pós KDD ------------- Implantação Fonte: Traduzido de Azevedo e Santos (2008). A mesma comparação entre os três métodos foi realizada por Shafique e Qaiser (2014). Esse estudo também analisou as etapas de cada método e realizou a correspondência entre elas, o que pode ser observado no Quadro 8. Shafique e Qaiser (2014) mencionaram que a maioria dos especialistas e pesquisadores em mineração de dados preferem utilizar o KDD, por ser um método mais completo, dado que as suas etapas são mais detalhadas, a exemplo das etapas de “seleção da atividade adequada de mineração de dados”, “seleção do algoritmo de mineração de dados” e “emprego do algoritmo de mineração de dados”, que no 47 CRISP-DM corresponde a uma única etapa mais genérica de “modelagem”. Além disso, Shafique e Qaiser (2014) consideram o SEMMA uma abordagem mais específica, já que é um método desenhado especificamente para o software SAS enterprise miner, um programa de computador cuja finalidade é a preparação e análise estatística de dados. Quadro 8 - Comparativo entre métodos, por etapas Métodos de aprendizado de máquina KDD SEMMA CRISP-DM Número de etapas 9 5 6 Nome das etapas Desenvolvimento e entendimento da utilização ---------- Entendimento do negócio Criação de um conjunto de dados alvo Amostragem Entendimento dos dadosLimpeza dos dados e pré-processamento Exploração Transformação dos dados Modificação Preparação dos dados Seleção da atividade adequada de mineração de dados Modelo Modelagem Seleção do algoritmo adequado de mineração de dados Emprego do algoritmo de mineração de dados Interpretação dos padrões minerados Avaliação Avaliação Fonte: Traduzido de Shafique e Qaiser (2014). Comparando-se as análises de Shafique e Qaiser (2014) e de Azevedo e Santos (2008), conclui-se que ambas descrevem o SEMMA como um método específico do SAS Institute, empresa que desenvolve programas de computador para armazenamento, preparação e análises de bases de dados. Contudo, observam-se pontos divergentes nas análises: enquanto Azevedo e Santos (2008) consideram que o SEMMA e o CRISP-DM são métodos derivados do KDD, Shafique e Qaiser (2014) concluem que o KDD é mais completo que o CRISP-DM em termos de detalhamento das etapas. Saltz e Suthrland (2019) também realizaram um trabalho de comparação entre métodos, tendo como foco a criação de um método para gestão de projetos, com características do Kanban. Em seu estudo, eles compararam as principais características de métodos ágeis de mercado e propõem um novo método denominado SKI (Structured Kanban Iteration). Um 48 ponto de destaque desta pesquisa foi a prescrição de um método de gestão com foco na orientação de como o trabalho deve ser coordenado, em detrimento da descrição de cada etapa. Essas orientações podem ser observadas no Quadro 9. Quadro 9 - Comparação da forma de atuação de cada método SKI Scrum Kanban CRISP- DM Iteração Baseada na atividade/capacidade Baseada em tempo Sem definição Sem definição Atuação em atividades exploratórias Atua o tempo que precisar na atividade Sem definição Atua o tempo que precisar na atividade Sem definição Iterações, retrospectivas e reviews Baseadas no tempo Após cada sprint Sem definição Sem definição Coordenação nas iterações Fluxo Kanban Sem definição Fluxo Kanban Sem definição Estimativas de esforço Somente para a priorização do backlog Priorização do backlog e do que cabe na sprint Sem estimativa de esforço Sem definição Uso de itens de backlog do produto Sim Sim Sim Sem definição Seleção do backlog Quando há recursos disponíveis (para iniciar uma nova iteração) Quando a sprint termina Quando há recursos disponíveis Sem definição Daily Standup Sim Sim Sem definição Sem definição Roles Mestre do processo, membro do time SKI, Product Owner Mestre do processo, membro do time de desenvolvimento, Product Owner Sem definição Sem definição Fonte: Traduzido de Saltz e Suthrland (2019). Para Saltz e Suthrland (2019), a principal vantagem do SKI é a capacidade de potencializar as melhores práticas dos métodos ágeis, fazendo com que a equipe implemente o processo de gestão de projetos de uma forma mais consistente e padronizada. Essas vantagens são possíveis graças à capacidade do SKI de prover diretrizes claras de como o projeto deve ser gerido, definindo papéis, artefatos e eventos. 49 A partir da revisão bibliográfica, foram identificados pontos de convergência entre os diversos métodos estudados. Com base nesses pontos de convergência, elaborou-se o Quadro 10, que compara os métodos estudados. As fases do projeto podem ter características preditivas (clássica), ou iterativas (ágil), e ambas estão destacadas no quadro por meio das cores das etapas: como explicado na seção de diferenças entre os métodos ágil e Waterfall, nos projetos geridos de forma preditiva, o escopo e o orçamento de todo o projeto são definidos no início, por meio de uma previsão de longo prazo, enquanto os projetos iterativos têm como característica um planejamento a cada ciclo ou sprint. Por exemplo, todas as etapas descritas pelo PMI (2018) são preditivas, pois o desenvolvimento não é feito em ciclos, e as atividades de todo o projeto são planejadas antes do início do desenvolvimento. Isso se aplica também ao KDD de Fayyad, Piatetsky-Shapiro e Smyth (1996). Por outro lado, o CRISP-DM de Chapman et al. (2000) se trata de um método iterativo em ciclos, que permite a mudança do planejamento conforme o software é desenvolvido. Por fim, o método híbrido de Cooper e Sommer (2018) possui tanto etapas preditivas quanto iterativas. A etapa de business case de Cooper e Sommer (2018) é preditiva, já que a decisão de viabilidade financeira ocorre antes do início do desenvolvimento e necessita de uma previsão dos custos e prazos. Já as etapas de desenvolvimento são iterativas, dado que elas ocorrem em ciclos curtos e são planejadas concomitantemente com o desenvolvimento do software. 50 Quadro 10 - Comparativo entre métodos Waterfall Waterfall Ágil Scrum Híbrido KDD SEMMA CRISP-DM PMI (2018) Royce (1987) PMI (2017) Schwaber e Sutherland (2017) Cooper e Sommer (2018) Fayyad, Piatetsky-Shapiro e Smyth (1996) SAS Institute (2020) Chapman et al. (2000) Trabalho anterior ao projeto ------------- ------------- ------------- Ideação Pré-KDD ------------- Entendimento do negócio ------------- ------------- ------------- Conceito ------------- ------------- ------------- ------------- Business Case ------------- ------------- ------------- Início do Projeto ------------- ------------- ------------- ------------- ------------- ------------- ------------- Organização e preparação Requisitos de sistema Requisitos Planning ------------- ------------- ------------- ------------- Requisitos de software ------------- ------------- ------------- ------------- Execução do trabalho Análise Análise Daily Desenvolvimento Seleção Amostragem Entendimento dos dados ------------- Exploração Desenho do programa Desenho ------------- ------------- ------------- ------------- ------------- Pré-processame nto Modificação Preparação de dados Codificação Construção Transformação Mineração de dados Modelo Modelagem Teste Teste Teste Interpretação / Validação Avaliação Avaliação Conclusão do projeto Operação ------------- Review Lançamento Pós-KDD ------------- Implantação ------------- ------------- ------------- Retrospectiva ------------- ------------- ------------- ------------- Preditivo Iterativo Fonte: Adaptado de Azevedo e Santos (2008), Shafique e Qaiser (2014), Saltz e Suthrland (2019) e Cooper e Sommer (2018). 51 4.2 LACUNAS DA LITERATURA A análise do Quadro 10 revela as principais lacunas existentes nos métodos de gestão pesquisados. O método Waterfall do PMI (2018), uma evolução do método proposto por Royce (1987), é amplamente utilizado e bastante completo em termos do detalhamento de cada etapa; no entanto, apresenta uma abordagem preditiva, ou seja, é fundamental que o escopo e as atividades sejam definidos antes do início do projeto, tornando essa abordagem incompatível com projetos de aprendizado de máquina, dadas as características de complexidade e incerteza que esses projetos possuem. O método ágil proposto pelo PMI (2017), assim como o Scrum descrito por Schwaber e Sutherland (2017), tem como base uma abordagem iterativa, o que facilita a adaptação às mudanças que possam ocorrer durante o desenvolvimento do projeto, e, portanto, é mais adequado para projetos de difícil estimativa prévia do escopo. No entanto, esses métodos não foram desenvolvidos especificamente para projetos de aprendizado de máquina e carecem de uma etapa de determinação de viabilidade econômica, o que dificulta a tomada de decisão de investimento. O método híbrido descrito por Cooper e Sommer (2018) soluciona a falta de uma etapa de viabilidade financeira, e, ao mesmo tempo, propõe uma abordagem iterativa nas etapas de desenvolvimento, o que torna essa abordagem atrativa para se constituir a base do método proposto nesta dissertação. No entanto, esse método necessita de adaptações para ser aplicado em um projeto de aprendizado de máquina. Apesar de o método híbrido conter uma etapa de viabilidade financeira, não supera a dificuldade de se estimar os benefícios em projetos de aprendizado de máquina, dado que nesses projetos só é possível determinar a efetividade de um modelo estatístico após a realização de um teste, e, para isso, é necessário que o modelo estatístico esteja desenvolvido. Os custos de desenvolvimento desses projetos também são de difícil estimativa, tendo em vista que dependem de fatores como a qualidade dos dados, infraestrutura existente e disponibilidade das informações (SALTZ; SHAMSHURIN; CROWSTON, 2017). O método CRISP-DM descrito por Chapman et al. (2000), considerado mais completo do que os métodos SEMMA e KDD em termos de detalhamento das etapas, possui uma abordagem específica para projetos de mineração de dados, descrevendo detalhadamente as atividades específicas de projetos dessa natureza; no entanto, diferente do Scrum de Schwaber e Sutherland (2017), o CRISP-DM não possui uma definição das cerimônias e procedimentos de gestão que sustentam o ciclo de desenvolvimento do projeto, ou seja, o CRISP-DM aborda 52 detalhadamente as atividades que constituem um projeto de mineração de dados, mas carece da determinação de como essas atividades podem ser viabilizadas do ponto de vista do gestor do projeto. Além disso, o CRISP-DM não possui uma etapa de determinação da viabilidade econômica do projeto e também é voltado para projetos de mineração de dados. Por fim, o método SKI, proposto por Saltz e Suthrland (2019), detalha de forma inédita como o trabalho deve ser coordenado, definindo papéis, artefatos e eventos com base em métodos ágeis; no entanto, a pesquisa possui algumas limitações. Segundo os próprios autores, a principal limitação da pesquisa foi a realização do teste do método prescrito somente em projetos de pequena duração, composto por equipes de estudantes. Além disso, o método SKI não prescreve as etapas do projeto, impossibilitando a comparação com os demais métodos no quadro 10. 4.3 REALIZAÇÃO DO TRABALHO DE CAMPO Como previamente descrito, a parte prática desta pesquisa se dividiu em três momentos: entrevistas em profundidade, elaboração do método de gestão e avaliação do método de gestão. 4.3.1 Resultado das entrevistas em profundidade As entrevistas foram realizadas via videoconferência entre 23/08/2021 e 29/09/2021, dentro do horário comercial. Foram gravadas e tiveram em média 50 minutos de duração. O roteiro da entrevista foi dividido em três blocos: conhecer o entrevistado e a empresa em que ele trabalha, identificar os principais desafios do cotidiano do entrevistado, e, por fim, identificar os métodos para gestão de projetos utilizados pelos entrevistados. Posteriormente, o modelo proposto foi avaliado pelos entrevistados, a fim de identificar as lacunas e o potencial de utilização. As avaliações foram recebidas entre 03/09/2021 e 04/11/2021. 4.3.1.1 Desafios técnicos e de gestão do aprendizado de máquina O foco central das entrevistas foi identificar os principais desafios de projetos de aprendizado de máquina, para avaliar se existe algum desafio que não tenha sido identificado na literatura (P4). A partir da análise das gravações das entrevistas, foram identificados os três principais desafios relatados por cada entrevistado. Esses desafios foram extraídos do segundo 53 bloco de perguntas do roteiro e também foram identificados ao longo da entrevista conforme as discussões foram se aprofundando. O detalhamento das respostas de cada entrevistado, bem como um trecho representativo de cada entrevista, pode ser verificado no Quadro 11. 54 Quadro 11 – Detalhamento dos desafios levantados nas entrevistas Entrevistado Ramo da empresa Profissão Trecho representativo Desafio 1 Desafio 2 Desafio 3 1 Aviação Analista de TI "A gente não consegue entregar nenhum projeto na data certa [..], por falta de experiência, pela complexidade no trabalho com projetos e pela indefinição do escopo dos integrantes." Pouca previsibilidade de prazo e custo Falta de profissionais com conhecimento técnico adequado Pouco detalhamento dos requisitos do projeto 2 Bens de consumo Cientista de dados "A primeira dificuldade que eu tive foi apresentar (o projeto) para eles. A gente tinha que explicar que não era chute, mas que a gente tinha um embasamento matemático. Levou dois meses até o início do projeto." Baixa interpretabilidade dos modelos Baixa qualidade dos dados Pouca previsibilidade de prazo e custo 3 Bens de consumo Consultor SAP "Normalmente, a especificação do projeto é insuficiente, gerando dificuldade na implantação e na sustentação do projeto. É importante que o conhecimento seja transferido, e a documentação é uma forma." Pouco detalhamento dos requisitos do projeto Falta de profissionais com conhecimento do negócio Pouca dedicação à implementação robusta em produção 4 Consultoria Gerente de Analytics "O cliente não sabe o que quer, [...] por isso é importante detalhar os requisitos do projeto." Pouco detalhamento dos requisitos do projeto Baixa qualidade dos dados Pouca previsibilidade de prazo e custo 5 Educação Professor "O problema é a entrada de dados, que na maior parte das vezes não está formatado do jeito correto, normalizado, ou com uma análise básica se os dados estão enviesados [...] 70% dos problemas são relacionados à qualidade dos dados." Baixa qualidade dos dados Complexidade da solução maior do que a necessária Falta de gestores com conhecimento técnico adequado 6 Educação Coordenador de curso (Desenvolvimento de sistemas) "Nós temos coisas que são mais demoradas do que o normal que se pensa. Diferente do desenvolvimento de um front end, projetos de aprendizado de máquina não são determinísticos e envolvem processamentos massivos de dados." Pouca previsibilidade de prazo e custo Dificuldade para gerar resultados no curto prazo Pouco detalhamento dos requisitos do projeto 7 Educação Coordenador de curso (Gestão de TI) "Normalmente, o principal problema de um projeto é a comunicação, e isso é ainda mais crítico quando a comunicação envolve pessoas que desempenham papéis diferentes." Dificuldade na comunicação entre pessoas com funções diferentes Falta de profissionais com conhecimento técnico adequado Falta de profissionais com conhecimento do negócio 55 8 Educação Coordenador de curso (Gestão de TI) "Existe uma dificuldade na estimativa dos prazos, principalmente quando as áreas de vendas realizam previsões sem profundidade técnica. Em projetos de aprendizado de máquina isso é ainda pior, já que só dá para ver o resultado depois do desenvolvimento." Pouca previsibilidade de prazo e custo Falta de profissionais com conhecimento técnico adequado Pouco detalhamento dos requisitos do projeto 9 Energia Cientista de dados "Os sistemas em escada (monitoramento) em que trabalho têm grande volume de dados, o desafio é a confiabilidade desses dados. [...] Cerca de 10% do código é realmente machine learning, os outros 90% é para inserir em produção." Pouca dedicação à implementação robusta em produção Falta de profissionais com conhecimento técnico adequado Baixa qualidade dos dados 10 Marketing Analista de dados "Um desafio é explicar para as áreas clientes como o modelo funciona, para que eles comprem a solução. Por isso a interpretabilidade é importante." Baixa interpretabilidade dos modelos Governanças e leis de privacidade dificultam o acesso aos dados Falta de gestores com conhecimento técnico adequado 11 Saúde e bem-estar CIO "Como você estrutura uma governança de dados, do ponto de vista de LGPD, que alcance resultados?" Governanças e leis de privacidade dificultam o acesso aos dados Pouco detalhamento dos requisitos do projeto Pouca previsibilidade de prazo e custo 12 Saúde e bem-estar Gerente de dados "Desenvolver é a parte fácil, o difícil é viabilizar o projeto dentro da empresa [..] A gente tem que ter métricas que impactam o business." Pouca previsibilidade de prazo e custo Falta de profissionais com conhecimento técnico adequado Pouco detalhamento dos requisitos do projeto 13 Seguros Coordenadora de Advanced Analytics "Muita gente se diz cientista de dados, e na realidade não é. Também é preciso conhecimento do negócio, para entender o que está fazendo." Falta de profissionais com conhecimento técnico adequado Falta de profissionais com conhecimento do negócio Baixa qualidade dos dados 14 Tecnologia da informação Cientista de dados "O maior desafio foi coletar e realizar a ingestão dos dados na infra disponível." Infraestrutura não atende às necessidades de processamento Baixa qualidade dos dados Falta de profissionais com conhecimento do negócio 15 Tecnologia da informação Engenheiro de aprendizado de máquina "Nenhum processo se encaixa perfeitamente no projeto. Por exemplo: o Kanban ajuda a organizar as atividades, mas não atende às demandas específicas do dia a dia.” Método de gestão incompatível com as características do projeto Falta de profissionais com conhecimento do negócio Pouca produção científica sobre assuntos mais específicos 56 16 Tecnologia da informação Engenheiro de Aprendizado de máquina "O método de gestão segue o Scrum à risca, mas nem sempre o Scrum é adequado. É muito difícil planejar a Sprint na Planning, porque os projetos são mais complexos." Método de gestão incompatível com as características do projeto Pouca produção científica sobre assuntos mais específicos Baixa interpretabilidade dos modelos 17 Tecnologia da informação CTO "O desafio é encontrar profissionais que saibam cruzar sinais, interpretar resultados e entender o que está fazendo, e não só aplicar as bibliotecas." Falta de profissionais com conhecimento técnico adequado Turnover elevado de desenvolvedores Pouca dedicação à implementação robusta em produção 18 Têxtil Cientista de dados "As necessidades do cliente e a concorrência evoluem muito rápido, o que gera um desafio muito grande para acompanhar, principalmente em empresas que não possuem uma infra robusta de dados." Mercado muda mais rápido do que a capacidade de acompanhá-lo Pouca dedicação à implementação robusta em produção Pouca previsibilidade de prazo e custo 19 Varejo Engenheiro de Aprendizado de máquina "A galera jovem não conhece a fundo os fundamentos matemáticos do aprendizado de máquina. Os mais antigos sabem programar, mas não conhecem os padrões modernos." Falta de profissionais com conhecimento técnico adequado Pouca previsibilidade de prazo e custo Pouco detalhamento dos requisitos do projeto Fonte: Próprio autor. 57 A Figura 13 mostra o resultado consolidado do levantamento dos desafios. O percentual do gráfico corresponde à fração dos entrevistados que mencionaram o desafio listado; por exemplo, no caso do desafio “Pouca previsibilidade de prazo e custo”, 47,4% dos entrevistados (9 de 19) apontaram esse desafio como sendo um dos três principais enfrentados no cotidiano de projetos de aprendizado de máquina. Figura 13 − Principais desafios identificados nas entrevistas de profundidade Fonte: Próprio autor. A seguir, é apresentada uma descrição com um compilado do que foi dito pelos entrevistados para cada um dos desafios listados na Figura 14, com o intuito de aprofundar o entendimento dos entrevistados de cada desafio e extrair oportunidades de direcionamento da construção do método proposto por esse trabalho. 58 Pouca previsibilidade de prazo e custo Refere-se à dificuldade de prever em um projeto de aprendizado de máquina os prazos e custos no longo prazo, principalmente devido à incerteza relacionada ao acerto dos modelos estatísticos, que dependem de fatores que muitas vezes não podem ser previstos, tais como a qualidade dos dados e a sua efetividade para a previsão que deseja ser alcançada. Em outras palavras, foi relatado que em projetos de aprendizado de máquina só é sabido o tempo total que será gasto no projeto quando o projeto já foi desenvolvido em quase sua totalidade, dificultando a priorização do projeto, dado que tanto o custo do quanto o seu benefício são difíceis de se estimar. Pouco detalhamento dos requisitos do projeto Trata da falta de documentações que detalham a necessidade do cliente, os objetivos do projeto e as funcionalidades e requisitos necessários para que o projeto gere resultados. Foi reportado que muitas vezes existe retrabalho no desenvolvimento por entendimento falho das necessidades do cliente, o que poderia ser evitado por meio de uma especificação adequada dos projetos. Falta de profissionais com conhecimento técnico adequado É a dificuldade de encontrar no mercado de trabalho profissionais com conhecimento técnico adequado para desenvolver os projetos. Principalmente nas áreas da Ciência de dados, que se refere ao desenvolvimento de modelos estatísticos, e na área de Engenharia de dados, que normalmente se refere à implantação de modelos estatísticos em produção e à preparação dos dados e da infraestrutura. Baixa qualidade dos dados Aborda a dificuldade de acesso a dados com boa qualidade no que diz respeito ao volume necessário para treinar os modelos estatísticos com a precisão esperada. Inclui outras características tais como completude dos dados, limpeza (dados bem-preparados e livres de erros) e consistência. 59 Falta de profissionais com conhecimento do negócio Se refere a profissionais que conhecem as necessidades do cliente, bem como as características, cultura, produtos e processos da área do cliente. Foi muito relatada a necessidade de profissionais de aprendizado de máquina que tenham conhecimento da parte técnica em conjunto com o conhecimento do negócio, para que as soluções sejam tecnicamente consistentes e ao mesmo tempo atendam às necessidades do cliente. Apesar de serem desafios diferentes, a falta de profissionais com conhecimento de negócio tem correlação com o desafio de detalhamento dos requisitos do projeto, dado que ambos abordam o desenvolvimento de uma solução que pode não ser compatível com as expectativas do cliente. Pouca dedicação à implementação robusta em produção Foi relatada a importância de cuidar não só do desenvolvimento do modelo estatístico, mas também dos passos relacionados à implantação do modelo estatístico em produção e sua manutenção. Os relatos apontaram um impacto importante na produtividade da equipe, que tinha que dedicar muito tempo para a manutenção de projetos que não tiveram o cuidado e a atenção necessários na implantação robusta e automatizada na produção. Baixa interpretabilidade dos modelos estatísticos Tem ligação com a dificuldade de atribuir causa e efeito entre as variáveis do modelo estatístico e sua resposta, dificultando o entendimento das partes interessadas e dos gestores que patrocinam o projeto e diminuindo a confiança que essas partes têm no modelo estatístico proposto. É um desafio especialmente importante para os ambientes em que os gestores e partes interessadas não conhecem os conceitos mais gerais de aprendizado de máquina; dessa forma, tem relação com o desafio “Falta d