O engajamento inovador do controle externo com inteligência artificial: modelo de avaliaçãoResumo
A inovação, com a implementação e utilização de ferramentas de Inteligência Artificial (IA), inclusive a generativa (IAG), pode proporcionar impactos positivos no desempenho das entidades privadas ou públicas, nestas últimas inclusos os Tribunais de Contas. Para esses órgãos, a otimização de suas ações converge com seus principais objetivos, especialmente aos voltados para ações de fiscalização. Assim, o presente artigo propõe um modelo de avaliação, composto por indicador com dimensões e critérios específicos que podem ser incluídos ao sistema de avaliação utilizado pelos Tribunais de Contas brasileiros - chamado de Marco de Medição de Desempenho dos Tribunais de Contas do Brasil (MMD-TC) -, que também poderá avaliar o uso de inovações que se relacionam com a utilização de inteligência artificial, incluindo a IAG, nas fiscalizações dos Tribunais de Contas. Para tanto, é apresentada uma pesquisa sobre as características e os avanços nas fiscalizações dos Tribunais de Contas com o uso de IA, indicando como a estrutura do MMD-TC pode apoiar o processo de engajamento com a inovação.
Palavras-chave:
tribunal de contas; inteligência artificial generativa; MMD-TC; modelo de avaliação; modelo avaliativo.
Abstract
Innovation, with the implementation and use of Artificial Intelligence (AI) tools, including generative AI (GIA), can have a positive impact on the performance of private or public entities, including Courts of Auditors. For these bodies, the optimization of their actions converges with their main objectives, especially those focused on oversight actions. Thus, this article proposes an evaluation model, composed of indicators with specific dimensions and criteria that can be included in the evaluation system used by Brazilian Courts of Auditors - called the Performance Measurement Framework for Brazilian Courts of Auditors (MMD-TC) -, which can also evaluate the use of innovations related to the use of artificial intelligence, including GAI, in the audits of the Courts of Auditors. To this end, we present research on the characteristics and advances in the audits of the Courts of Auditors using AI, indicating how the structure of the MMD-TC can support the process of engagement with innovation.
Keywords:
court of auditors; generative artificial intelligence; MMD-TC; evaluation model; assessment model
Resumen
La innovación, mediante la implementación y el uso de herramientas de inteligencia artificial (IA), incluyendo la inteligencia generativa, puede tener impactos positivos en el desempeño de entidades privadas o públicas, incluyendo los tribunales de cuentas. Para estos organismos, optimizar sus acciones converge con sus principales objetivos, especialmente aquellos enfocados en acciones de fiscalización. Por lo tanto, este artículo propone un modelo de evaluación, compuesto por un indicador con dimensiones y criterios específicos que puede incluirse en el sistema de evaluación utilizado por los tribunales de cuentas brasileños, llamado Marco de Medición del Desempeño de los Tribunales de Cuentas de Brasil (MMD-TC), que también puede evaluar el uso de innovaciones relacionadas con el uso de inteligencia artificial, incluyendo la IAG, en las auditorías de los tribunales de cuentas. Para ello, se presenta un estudio sobre las características y avances en las auditorías de los tribunales de cuentas con el uso de IA, indicando cómo la estructura del MMD-TC puede apoyar el proceso de involucramiento con la innovación.
Palabras clave:
tribunal de cuentas; inteligencia artificial generativa; MMD-TC; modelo de evaluación; modelo evaluativo.
1. INTRODUÇÃO
A inovação é uma força motriz para promover o desenvolvimento de um grupo, uma região ou organização. Um exemplo nítido disso é a quarta revolução industrial, um conceito criado na Alemanha em 2011 para descrever uma nova era de avanços tecnológicos e melhorias nos processos produtivos (Drath, 2014). Esse conceito se mostra um desafio para as instituições (Müller & Däschle, 2018), obrigando-as a repensar os negócios atuais para se adaptar às novas demandas (Ibarra et al., 2018).
Mais recentemente, o surgimento do ChatGPT da OpenAI, em 2022, forma de Inteligência Artificial Generativa (IAG), revelou ao mundo a alta velocidade de transformação a que estamos submetidos.
Para as instituições públicas de controle externo, especialmente os Tribunais de Contas, cresce a necessidade de se adaptar aos processos de inovação por meio do estabelecimento de ações mais ágeis, como aquelas que utilizam a Inteligência Artificial (IA), inclusive IAG.
Entre suas possíveis ações, destacam-se as fiscalizações, geralmente de iniciativa própria do ente, avaliadas e definidas com base em princípios como risco, materialidade (Organização Internacional das Entidades Fiscalizadoras Superiores [Intosai], 2017), relevância e oportunidade (Tribunal de Contas da União [TCU], 2016). Essas características tornam as fiscalizações uma abordagem adequada para buscar a inovação.
Desde 2013 esses tribunais passam por uma avaliação nacional bienal denominada Marco de Medição de Desempenho dos Tribunais de Contas do Brasil (MMD-TC), criada por iniciativa da Associação dos Membros dos Tribunais de Contas do Brasil (Atricon), que fornece diretrizes para subsidiar processos de melhoria nos Tribunais de Contas e estabelece critérios de avaliação do desempenho desses órgãos, alinhados com os padrões internacionais da Intosai (sigla em inglês para International Organisation of Supreme Audit Institutions).
Buscando alinhar a necessidade dos referidos tribunais no engajamento no ecossistema da inovação, este artigo tem por objetivo propor um modelo de avaliação da inovação no controle externo com a utilização de IA, incluindo a IAG, nas fiscalizações dos Tribunais de Contas.
Para isso, apresentará uma pesquisa sobre as características e os avanços nas fiscalizações dos Tribunais de Contas com o uso de IA, além de abordar a avaliação das fiscalizações pelo MMD-TC e como essa estrutura pode apoiar o processo de engajamento com a inovação.
2. FUNDAMENTAÇÃO SOBRE INOVAÇÃO
O termo “inovação” vem do latim innovare, que significa fazer algo novo. Na economia, inovação é quando você adiciona valor a uma ideia criativa. Embora a criatividade seja essencial para a inovação, ela por si só não é suficiente, sendo necessários os seguintes requisitos: novidade, mesmo que incremental; aplicação prática e agregação de valor (Figueiredo, 2023).
A necessidade de inovação está cada vez mais presente no cenário profissional, em especial, com os crescentes desafios das empresas e demais entidades após o período da pandemia da COVID-19. Nesse sentido, vem à tona a importância de se possuir um ecossistema de inovação (EI), que segundo Adner (2006) são arranjos colaborativos para potencializar a inovação e atingir a melhor oferta, comumente dotados de tecnologia da informação, incapaz de ser alcançada por uma iniciativa única, como se observa abaixo.
A Figura 1 mostra a necessidade de identificar adequadamente o que é esperado do processo inovativo, como também os riscos relacionados a coordenação, iniciativas/soluções e das integrações dessas soluções em toda a cadeia de valor. Em suma, saber o que se deseja solucionar e qual o alcance esperado.
Ainda de acordo com Mariani et al. (2023), a adoção da IA para a inovação sugerem avanços nos resultados econômicos, nesse caso ligados a desempenho, eficácia e eficiência; resultados competitivos e organizacionais; e resultados de inovação. Dessa forma, a inteligência artificial é adequada para promover a inovação, já que oferece ferramentas poderosas para acelerar o desenvolvimento de novos produtos, serviços e modelos de negócio.
3. O MMD-TC COMO ESTRUTURA DE AVALIAÇÃO DO CONTROLE ExTERNO E OS CRITÉRIOS DE AVALIAÇÃO DAS FISCALIzAÇõES
O MMD-TC tem por objetivo fornecer diretrizes para melhorar o desempenho dos Tribunais de Contas. Essa avaliação ocorre de forma bienal e utiliza um questionário baseado na metodologia Supreme Audit Institutions - Performance Measurement Framework (SAI PMF) da Intosai.
Levando em conta as diferenças regionais, os resultados de cada tribunal são apresentados separadamente, com divulgação geral feita de forma consolidada.
Essa metodologia é a principal ferramenta para avaliar os Tribunais de Contas no Brasil e inclui diretrizes das Normas Brasileiras de Auditoria do Setor Público (NBASP), da Atricon e das Normas Internacionais das Entidades Fiscalizadoras Superiores (International Standards of Supreme Audit Institutions - ISSAIs). Em 2019 a metodologia recebeu certificação ISO 17021 pela Fundação Vanzolini, a única entidade brasileira membro da The International Certification Network (IQNet).
O MMD-TC não apenas mede o desempenho de forma estática, mas também se adapta às novas necessidades e práticas, refletindo a sua conexão com a inovação no setor público.
A estrutura geral do MMD-TC é representada pela Figura 2 abaixo:
De acordo com o Manual de Procedimentos do MMD-TC (Atricon, 2024), a avaliação é dividida em 6 domínios, que juntos abrangem 25 indicadores. Cada indicador é dividido em várias dimensões, cada uma com diferentes critérios de avaliação.
Nos termos do manual, os seis domínios que compõem a estrutura de medição de desempenho versam sobre vários aspectos de desempenho. Em relação às fiscalizações, que são abordadas em mais de um domínio, o domínio C é o que cobre os aspectos mais gerais das fiscalizações e, portanto, se apresenta como adequado para a inserção de parâmetros mais amplos.
3. MÉTODOS E PROCEDIMENTOS
A pesquisa adotou uma abordagem tanto quantitativa quanto qualitativa. A parte qualitativa se baseia na relação entre o mundo objetivo e o subjetivo, no qual a informação não pode ser expressa numericamente. Por outro lado, a pesquisa quantitativa foca em aspectos que podem ser medidos e expressos em números, permitindo a classificação e análise dos dados (Prodanov & Freitas, 2013).
No que diz respeito ao nível de conhecimento, trata-se da elaboração de um modelo avaliativo.
Os dados quantitativos foram tratados por meio de tabulação em planilhas e análise estatística. Para a análise qualitativa, foi utilizada a análise semântica.
As ferramentas empregadas no estudo foram baseadas na matriz de Choguill (2005), conforme detalhado no Quadro 1 abaixo:
Para construção do modelo de avaliação foram pesquisados critérios que podem ser utilizados para caracterização de trabalhos que efetivamente utilizam inteligência artificial. Também, pesquisa acerca das fiscalizações dos Tribunais de Contas com o uso de IA, inclusive IAG, suas características e seus avanços. Com base nesses resultados, foi possível analisar o atual modelo de avaliação do MMD-TC e listar critérios específicos que se relacionam com a utilização de IA - incluindo a IAG - nas fiscalizações.
4. ANÁLISE E DISCUSSÃO DE DADOS
4.1. Uso da inteligência artificial pelos Tribunais de Contas
O Comitê de Tecnologia da Informação (TI) dos Tribunais de Contas do Instituto Rui Barbosa (IRB) e a Atricon realizaram pesquisa sobre a adoção de IA nos Tribunais de Contas do Brasil para os anos de 2023 e 2024, que incluiu em sua abordagem aspectos como tipos de soluções de IA implementadas; estágios de implementação, capacitação e recursos humanos; integração com outros sistemas; e colaboração com entidades parceiras.
De acordo com IRB e Atricon (2024, p. 17), a pesquisa revelou que “60% dos Tribunais de Contas já implementaram soluções de IA em áreas de controle externo, como auditorias e fiscalizações”.
Indicou, também, que a implementação de IA pelos Tribunais de Contas tem como principais objetivos: a detecção de fraude, automação de tarefas (revisão de documentos, verificação de conformidades, análise de grande volume de dados, etc.), redução de custos (associados a trabalhos manuais e relacionados a erros e retrabalhos), e melhoria da eficiência (otimização do tempo de resposta da auditoria e aumento da qualidade dos serviços). O Quadro 2 abaixo apresenta uma evolução dos objetivos dos Tribunais de Contas em dois anos:
COMPARAÇÃO DOS PRINCIPAIS OBJETIVOS PARA A IMPLEMENTAÇÃO DE IA NOS TRIBUNAIS DE CONTAS EM 2023 E 2024
No que se refere aos tipos de soluções de IA e estágios de implementação, o Quadro 3, elaborado a partir da base de dados disponibilizada, traz as seguintes informações:
PRINCIPAIS RESPOSTAS RELACIONADAS ÀS SOLUÇÕES E AOS ESTÁ GIOS DE IMPLEMENTAÇÃO DE IA PELOS TRIBUNAIS DE CONTAS
O quadro revela que está em andamento um processo de amadurecimento dos Tribunais de Contas em lidarem com a IA. Apesar da maioria apresentar projetos em inteligência artificial, grande parte desses projetos possui relação com grandes modelos de linguagens (LLMs) do tipo GPT, ainda sem políticas ou diretrizes específicas para implementação ou uso de IA. Menos da metade desses tribunais realizam iniciativas em colaboração com outras entidades.
A falta de conhecimento técnico ou a dificuldade de realizar contratações se apresentaram como as principais barreiras para implementação de soluções de IA. No quesito capacitação técnica, IRB e Atricon (2024) defendem programas de capacitação contínuos a fim de não limitar a plena utilização das ferramentas de IA.
Quanto à falta de diretrizes, IRB e Atricon (2024) destacam que sem diretrizes claras haverá dificuldade, pelos tribunais, de definir requisitos técnicos e éticos para contratações de IA e para capacitar os auditores e demais servidores.
Em relação à necessidade de atuação com parcerias estratégicas, o que se observa é que o seu fomento tende a possibilitar que os Tribunais de Contas avancem para soluções inovadoras de IA ainda inexistentes ou bem incipientes, como as que utilizam IAG Ativa, que se diferencia da passiva por independer das habilidades de interação do usuário - sendo capaz de realizar diversas tarefas simultâneas tanto para atingir os objetivos operacionais quanto para garantir princípios importantes para as instituições como transparência, ética, rastreabilidade, inclusão, validação humana e processamento de grande volume de dados (Bliacheriene & Araújo, 2024).
4.2. Modelo de avaliação com indicador com dimensões e critérios para o MMD-TC adequados para avaliar as fiscalizações com o uso de inteligência artificial
As fiscalizações representam grande parte das competências dos Tribunais de Contas descritas no art. 71 da Constituição Federal (Constituição da República Federativa do Brasil de 1988), estando diretamente presentes nos incisos IV, V e VI desse artigo e coerentes com robusto normativo elaborado a respeito - como os manuais da Intosai e as NBASP.
Por tratar-se de ações em que a liberdade de planejamento e de escolha das ações predominam, entende-se como salutar otimizar a forma como essas ações são realizadas e, portanto, compõem o ambiente propício para provocar melhorias significativas nas atuações desses órgãos frente a sociedade - coerente com os principais objetivos elencados pelos Tribunais de Contas para implementação da IA, apresentados no Quadro 2 acima.
Assim, vê-se como oportuno propor um modelo de avaliação, sugerindo a inclusão de indicador composto de dimensões e critérios específicos para o MMD-TC que se relacionam com a utilização de IA, incluindo a IAG, nas fiscalizações dos Tribunais de Contas. Dessa forma, o modelo é contemplado na dimensão C do MMD-TC, com a inclusão de mais um indicador avaliativo, conforme proposto no Quadro 4 a seguir:
PROPOSTA DE MODELO AVALIATIVO PARA O MMD-TC QUE SE RELACIONA COM A UTILIzAÇÃO DE INTELIgêNCIA ARTIFICIAL, INCLUINDO A IAg, NAS FISCALIzAÇõES DOS TRIBUNAIS DE CONTAS
O modelo avaliativo fomenta o uso de IA generativa, inclusive IAG ativa, em fiscalizações com foco em detecção de fraude; automação de tarefas com grande volume de dados e operacionais; redução de custos associados a trabalhos manuais, erros e retrabalhos; e melhoria da eficiência, por redução do tempo ou aumento da qualidade - alinhados com os resultados do item 4.1.
Para isso, também estabelece como fundamental que os Tribunais de Contas possuam diretrizes claras para implementação e uso da IA pelos auditores, e, ainda, que esses auditores possuam competência técnica adequada para utilização e análise dos resultados das soluções de IA.
Por fim, propõe-se a potencializar ações colaborativas com outras instituições, sejam públicas ou privadas, como forma de ampliar o potencial de inovação e responder mais agilmente às necessidades atuais.
5. CONSIDERAÇõES FINAIS
Com este artigo buscamos apresentar um modelo avaliativo que visa a proporcionar o fomento da adoção da inovação proporcionada por inteligência artificial em suas práticas operacionais e administrativas, no sistema de controle externo.
Considerando o perfil evolutivo do sistema de avaliação MMD-TC, que prevê sua revisão frequente para incluir ajustes e evoluções que visam a promover a adoção de práticas capazes de aprimorar as ações dos Tribunais de Contas, o modelo proposto apresenta um levantamento teórico e critério de avaliação prontos para validação. Com este tipo de iniciativa espera-se fomentar a adoção dessa nova dimensão de avaliação e que, assim, práticas inovadoras com o uso de IAG sejam não somente identificadas, mas estimuladas e compartilhadas por todo o sistema de controle externo brasileiro.
Por fazer parte de uma metodologia de avaliação de melhoria contínua, a sugestão é pela realização de pesquisas que meçam os resultados deste modelo e, no futuro, estudem e proponham novos itens para compor a avaliação.
Por fim, enfatizamos que fomentar a inovação, por meio da inteligência artificial generativa, objetiva ampliar o potencial de inovação e responder mais agilmente às necessidades atuais do sistema de controle externo e da sociedade brasileira.
-
Relatório de revisão por pares:
Pareceristas:Marco Antonio Carvalho Teixeira (Fundação Getulio Vargas, São Paulo / SP - Brasil) https://orcid.org/0000-0003-3298-8183Um dos pareceristas não autorizou a divulgação de sua identidade.O relatório de revisão por pares está disponível neste link Publons
AGRADECIMENTOS
Agradecemos ao Tribunal de Contas do Estado do Espírito Santo pelo apoio que viabilizou a participação da autora no curso de MBA de Auditoria e Inovação no Setor Público da USP, do qual este artigo é fruto. Também, ao Instituto Rui Barbosa, em parceria com a Universidade de São Paulo, pelo preparo, planejamento e oferta do curso.
DISPONIBILIDADE DE DADOS
Os dados que suportam este estudo derivam de respostas anônimas ao questionário aplicado e contêm informações institucionais sensíveis; por essa razão, não estão disponíveis publicamente. Mediante solicitação razoável aos autores, poderá ser fornecido material agregado que não permita a identificação dos respondentes.
REFERêNCIAS
-
Adner, R. (2006, April). Match Your Innovation Strategy to Your Innovation Ecosystem. Harvard Business Review https://hbr.org/2006/04/matchyour-innovation-strategy-to-your-innovationecosystem
» https://hbr.org/2006/04/matchyour-innovation-strategy-to-your-innovationecosystem -
Associação dos Membros dos Tribunais de Contas do Brasil. (2024). Manual de Procedimentos - MMD-TC, versão 1.0 https://qatc.atricon.org.br/wp-content/uploads/2024/03/Manual-de-ProcedimentosMMD-TC_versao-1.0_11.03.2024.pdf
» https://qatc.atricon.org.br/wp-content/uploads/2024/03/Manual-de-ProcedimentosMMD-TC_versao-1.0_11.03.2024.pdf - Bliacheriene, A. C., & Araújo, L. V. (2024). Inteligência artificial generativa e ativa: desvendando mitos e oportunidades Arténa.
-
Choguill, C. (2005). The research design matrix: A tool for development planning research studies. Habitat International, 29(4), 615-626. https://doi.org/10.1016/j.habitatint.2005.06.001
» https://doi.org/10.1016/j.habitatint.2005.06.001 -
Constituição da República Federativa do Brasil de 1988 (1988). https://www.planalto.gov.br/ccivil_03/Constituicao/Constituicao.htm
» https://www.planalto.gov.br/ccivil_03/Constituicao/Constituicao.htm -
Drath, R. (2014). Industrie 4.0 - eine Einführung Open Automation. https://www.smart-production.de/open-automation/news-detailansicht/nsctrl/detail/News/industrie-4-0-eine-einfuehrung
» https://www.smart-production.de/open-automation/news-detailansicht/nsctrl/detail/News/industrie-4-0-eine-einfuehrung -
Figueiredo, P. N. (2023). Estratégia nacional de inovação: uma breve contribuição para sua efetividade sob a perspectiva de acumulação de capacidade tecnológica. Revista de Administração Pública, 57(5), e2022-0418. https://doi.org/10.1590/0034761220220418
» https://doi.org/10.1590/0034761220220418 -
Ibarra, D., Ganzarain, J., & Igartua, J. I. (2018). Business model innovation through Industry 4.0: A review. Procedia Manufacturing, 22, 4-10. https://doi.org/10.1016/j.promfg.2018.03.002
» https://doi.org/10.1016/j.promfg.2018.03.002 -
Instituto Rui Barbosa & Associação dos Membros dos Tribunais de Contas do Brasil. (2024). Inteligência Artificial nos Tribunais de Contas: Avanços e Desafios https://irbcontas.org.br/wp-content/uploads/2024/09/inteligencia-artificial-nos-tcsavancos-e-desafios-v2.pdf
» https://irbcontas.org.br/wp-content/uploads/2024/09/inteligencia-artificial-nos-tcsavancos-e-desafios-v2.pdf -
Mariani, M. M., Machado, I., Magrelli, V., & Dwivedi, Y. K. (2023, April). Inteligência artificial na pesquisa de inovação: uma revisão sistemática, estrutura conceitual e futuras direções de pesquisa. Tecnovação, 122, 102623. https://doi.org/10.1016/j.technovation.2022.102623
» https://doi.org/10.1016/j.technovation.2022.102623 -
Müller, J. M., & Däschle, S. (2018). Business Model Innovation of Industry 4.0 Solution Providers Towards Customer Process Innovation. Processes, 6(12), 260. https://doi.org/10.3390/pr6120260
» https://doi.org/10.3390/pr6120260 -
Organização Internacional das Entidades Fiscalizadoras Superiores. (2017). ISSAI 100: Princípios fundamentais de auditoria do setor público Intosai. https://portal.tcu.gov.br/data/files/80/04/47/3A/C1DEF610F5680BF6F18818A8/ISSAI_100_principios_fundamentais_auditoria_setor_publico.pdf
» https://portal.tcu.gov.br/data/files/80/04/47/3A/C1DEF610F5680BF6F18818A8/ISSAI_100_principios_fundamentais_auditoria_setor_publico.pdf - Prodanov, C. C., & Freitas, E. C. (2013). Metodologia do trabalho científico: método e técnicas de pesquisa e do trabalho acadêmico (2a ed.). Feevale.
- Tribunal de Contas da União. (2016). Orientações para Seleção de Objetos e Ações de Controle
-
Editora-chefe:
Alketa Peci (Fundação Getulio Vargas, Rio de Janeiro / RJ - Brasil) https://orcid.org/0000-0002-0488-1744
-
Editora-adjunta:
Gabriela Spanghero Lotta (Fundação Getulio Vargas, São Paulo / SP - Brasil) https://orcid.org/0000-0003-2801-1628
Fonte:
Fonte: Atricon (2024, p. 15).