Open-access ANÁLISE DOS INSTRUMENTOS DE AVALIAÇÃO DE CURSOS DE GRADUAÇÃO (2006-2017) DO SINAES SOB A ÓTICA DE DICOTOMIAS DE AVALIAÇÃO

Resumo

O Sistema Nacional de Avaliação da Educação Superior (Sinaes) foi implementado em 2004 e trouxe avanços significativos para a educação superior, propondo uma avaliação ancorada em três pilares principais: a avaliação institucional, a avaliação de cursos de graduação e a avaliação do desempenho dos estudantes. Desde a implementação do Sistema, especificamente em relação ao pilar focado na avaliação de cursos de graduação, vários instrumentos foram implementados, para embasar os atos de autorização, de reconhecimento e de renovação de reconhecimento de cursos, nas modalidades presencial e à distância. Nesse contexto, este artigo propõe, como objetivo geral, analisar os instrumentos de avaliação dos cursos de graduação instituídos pelo Instituto Nacional de Estudos Educacionais Anísio Teixeira (Inep), no período compreendido entre 2006 e 2017, buscando mapear as mudanças ocorridas dentro das concepções e das dicotomias de avaliação: interna ou externa, formativa ou somativa, quantitativa ou qualitativa e integrada ou pontual. No que se refere aos aspectos metodológicos, se realizou uma pesquisa descritiva e, quanto aos procedimentos, foi feita uma análise com base em pesquisa documental. Espera-se, como resultado, que este artigo traga contribuições para o aprimoramento do Sinaes, principalmente no que tange a fornecer subsídios para o Inep para o aperfeiçoamento dos instrumentos de avaliação utilizados para subsidiar os atos de autorização, de reconhecimento e de renovação de reconhecimento de cursos.

Palavras-chave:
avaliação da educação superior; Sistema Nacional de Avaliação da Educação Superior; instrumentos de avaliação.

Abstract

The National Higher Education Evaluation System (Sinaes), implemented in 2004, introduced significant advances to higher education by proposing an evaluation model anchored in three main pillars: institutional evaluation, evaluation of undergraduate programs, and evaluation of student performance. Since the system’s inception (specifically regarding the pillar focused on evaluating undergraduate programs), several instruments have been adopted to support the acts of course authorization, recognition, and renewal of recognition in both on-campus and distance-learning formats. In this context, the present article aims to analyze the undergraduate program evaluation instruments instituted by the National Institute for Educational Studies and Research Anísio Teixeira (Inep) between 2006 and 2017, mapping the changes that have occurred within the underlying concepts and evaluation dichotomies: internal or external, formative or summative, quantitative or qualitative, and integrated or point-in-time. Methodologically, this is a descriptive study based on documentary research. The expected outcome is to contribute to improving Sinaes, chiefly by providing Inep with inputs to refine the evaluation instruments that underpin the acts of course authorization, recognition, and renewal of recognition.

Keywords:
evaluation of higher education; National Higher Education Assessment System; assessment instruments.

Resumen

El Sistema Nacional de Evaluación de la Educación Superior (Sinaes) fue implementado en 2004 y trajo avances significativos para la educación superior, proponiendo una evaluación basada en tres pilares principales: la evaluación institucional, la evaluación de los cursos de grado y la evaluación del desempeño estudiantil. Desde la implementación del Sistema, específicamente en relación con el pilar enfocado en la evaluación de los cursos de grado, se han implementado varios instrumentos para fundamentar los actos de autorización, reconocimiento y renovación del reconocimiento de cursos, tanto en la modalidad presencial como a distancia. En este contexto, este artículo propone, como objetivo general, analizar los instrumentos de evaluación de los cursos de grado instituidos por el Instituto Nacional de Estudios e Investigaciones Educativas Anísio Teixeira (Inep) en el período comprendido entre 2006 y 2017, buscando mapear los cambios ocurridos dentro de las concepciones y dicotomías de evaluación: interna o externa, formativa o sumativa, cuantitativa o cualitativa e integrada o puntual. En cuanto a los aspectos metodológicos, se realizó una investigación descriptiva y, respecto a los procedimientos, se llevó a cabo un análisis basado en investigación documental. Se espera, como resultado, que este artículo aporte contribuciones para el perfeccionamiento del Sinaes, principalmente en lo que respecta a proporcionar insumos para el Inep en el mejoramiento de los instrumentos de evaluación utilizados para sustentar los actos de autorización, reconocimiento y renovación del reconocimiento de cursos.

Palavras clave:
evaluación de la educación superior; Sistema Nacional de Evaluación de la Educación Superior; instrumentos de evaluación.

1 INTRODUÇÃO

Em 2024, o Sistema Nacional de Avaliação da Educação Superior (Sinaes), instituído no Brasil por meio da Lei nº 10.861, de 14 de abril de 2004, completou 20 anos.

O Sinaes foi criado em consonância com o previsto na Lei nº 9.394, de 20 de dezembro de 1996, que estabelece as Diretrizes e Bases da Educação Nacional (LDB) e, também, na Lei nº 10.172, de 09 de janeiro de 2001, que instituiu o primeiro Plano Nacional de Educação (PNE) pós LDB, o qual frisou, em seu artigo 4º, que a União deveria instituir o Sistema Nacional de Avaliação. Importante se faz destacar que a implementação do Sinaes também veio atender a uma das propostas para a educação superior do Plano de Governo do então candidato à Presidência da República Luiz Inácio Lula da Silva, em 2002, que previa a revisão do sistema de avaliação vigente à época, conforme apontam Ristoff e Giolo (2006, p. 194):

Proposta 12:

Rever o atual sistema de avaliação que inclui o Exame Nacional de Cursos - ENC ou Provão - e implantar um sistema nacional de avaliação institucional a partir, entre outras, da experiência do Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB).

Quando de sua criação, a Lei que instituiu o Sinaes definiu, como finalidade deste Sistema:

[...] a melhoria da qualidade da educação superior, a orientação da expansão da sua oferta, o aumento permanente da sua eficácia institucional e efetividade acadêmica e social e, especialmente, a promoção do aprofundamento dos compromissos e responsabilidades sociais das instituições de educação superior, por meio da valorização de sua missão pública, da promoção dos valores democráticos, do respeito à diferença e à diversidade, da afirmação da autonomia e da identidade institucional (Brasil, 2004b).

Nessa perspectiva, enquanto sistema integrado de avaliação, a legislação que criou o Sinaes primava pelo caráter formativo e público da avaliação, bem como pelo respeito à diversidade e valorização da responsabilidade social de Instituições de Educação Superior (IES), sejam universidades, centros universitários, faculdades isoladas, Institutos Federais de Educação, Ciência e Tecnologia (IF) ou Centro Federal de Educação Tecnológica (CEFET), buscando uma integração entre instrumentos que abordem aspectos quantitativos e qualitativos relacionados a três pilares: 1) a avaliação institucional, englobando a avaliação externa e a avaliação interna, esta última gerida pelas Comissões Próprias de Avaliação (CPA) de cada IES; 2) a avaliação de cursos; e 3) a avaliação do desempenho dos estudantes, institucionalizado por meio do Exame Nacional de Desempenho dos Estudantes (Enade).

Em todos os pilares da avaliação proposta pelo Sinaes (avaliação institucional, avaliação de cursos de graduação e Enade), os resultados são aplicados por meio de conceitos, ordenados em uma escala com cinco níveis (sendo cinco, o maior conceito, e um, o menor), a cada uma das dimensões e ao conjunto destas dimensões avaliadas.

Desde a institucionalização do Sinaes, diversos instrumentos para avaliação de cursos de graduação foram implementados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), após aprovação da Comissão Nacional de Avaliação da Educação Superior (Conaes), para subsidiar os atos regulatórios de autorização, de reconhecimento e de renovação de reconhecimento de cursos, nas modalidades presencial e educação à distância (EaD). O primeiro instrumento foi implementado em 2006, ocorrendo a implementação de outros ou novos instrumentos nos anos de 2008, 2010, 2012, 2015 e 2017.

Essa pesquisa, em específico, buscará um olhar mais detalhado sobre o segundo pilar de avaliação do Sinaes, referente à avaliação de cursos de graduação, o qual objetiva a verificação, in loco, por especialistas designados pelo Inep, das condições de educação superior oferecidas pela Instituição aos estudantes, por meio de um instrumento de avaliação que contempla três dimensões: i) A organização didático-pedagógica do curso; ii) O corpo docente e tutorial; e iii) A infraestrutura.

Assim, este artigo propõe, como objetivo geral, analisar os instrumentos de avaliação dos cursos de graduação instituídos pelo Inep, no período compreendido entre 2006 e 2017, buscando mapear as mudanças ocorridas dentro das concepções e das dicotomias de avaliação: formativa ou somativa, quantitativa ou qualitativa, interna ou externa e integrada ou pontual.

No que diz respeito aos aspectos metodológicos, foi conduzida uma pesquisa descritiva, com o intuito de proporcionar uma visão mais aprofundada sobre a temática do artigo, voltada para a avaliação da educação superior. Para isso, quanto aos procedimentos, foi realizada uma pesquisa documental, que envolveu o estudo detalhado dos instrumentos de avaliação implementados entre 2006 e 2017, o que permitiu não apenas identificar e documentar as características essenciais do objeto de estudo, mas também proporcionar uma análise detalhada que favorece a compreensão das nuances e complexidades das dicotomias de avaliação.

2 AS DICOTOMIAS DE AVALIAÇÃO

Nos últimos anos, observa-se que atividades relacionadas às práticas de avaliação se intensificaram tanto no Brasil quanto no mundo. Isso ocorre tanto no contexto das empresas (referente aos processos produtivos, seleção de pessoal e certificações de qualidade, por exemplo), quanto nas áreas ligadas à formação acadêmica, incluindo ensino, pesquisa e extensão. Leite (2015) amplia ainda mais essa ideia, frisando que estamos vivendo tempos de avaliação em todos os setores e segmentos de atividade humana. Complementando, Belloni, Magalhães e Sousa (2001, p. 14) reforçam que “avaliar é uma ação corriqueira e espontânea realizada por qualquer indivíduo acerca de qualquer atividade humana; é, assim, um instrumento fundamental para conhecer, compreender, aperfeiçoar e orientar as ações de indivíduos ou grupos”.

Apesar de não ter surgido nas instituições escolares, a avaliação foi amplamente incorporada em suas práticas, conforme aponta Dias Sobrinho (1997, p. 20):

De todas as instituições sociais e com funções públicas - a função de formação é inegavelmente pública - a universidade é talvez a mais afeita à avaliação, ainda que não necessariamente o faça de uma forma global e integrada como se propõe ser a avaliação institucional. Esta é uma modalidade relativamente recente no mundo e muito mais ainda no Brasil. Sempre se fizeram avaliações de diferentes formas nas instituições educacionais e particularmente nas universidades.

No âmbito da educação, conforme aponta Leite (2005), há dois formatos de avaliação que mais se evidenciam. O primeiro deles se relaciona àquilo que a autora denomina de “avaliação educacional ou da aprendizagem” (Leite, 2005, p. 33), que se preocupa com a aprendizagem de sujeitos ou de grupos com vistas à aquisição de competências (envolvendo conhecimentos, habilidades e atitudes); em suma, essa avaliação foca na análise de desempenho de indivíduos ou grupos, podendo também envolver a avaliação de currículos. O segundo formato se relaciona ao que a autora chama de “avaliação institucional ou de políticas públicas” (Leite, 2005, p. 33), que busca avaliar as instituições como um todo ou as políticas públicas, envolvendo programas, planos e projetos, em seu caráter global e contextualizado.

Em ambos os formatos, a avaliação busca uma melhor compreensão sobre os pontos fortes e pontos fracos dos fenômenos avaliados, de forma que se possam revisar falhas e erros e definir prioridades para uma gestão mais democrática, tanto em âmbito institucional quanto global.

Com base nesses pressupostos, Belloni, Magalhães e Sousa (2001) afirmam que a avaliação é um processo sistemático de análise de uma determinada atividade ou fato, com vistas a melhor compreensão de todas as suas dimensões e suas implicações, buscando o seu aperfeiçoamento. Leite (2005, p.15), por sua vez, reforça que “avaliar não é um ato neutro e universal. Não se avalia tecnicamente uma instituição como a universidade sem, com isto, incidir em um pressuposto político e filosófico sobre concepções de mundo e de sociedade”. Ristoff (2024, p. 83), ainda, trabalha com a premissa de que “avaliar, portanto, não é verificar; é, principalmente, fazer análises criteriosas, estabelecer correlações, contextualizar e produzir inferências e juízos devidamente sustentados na realidade observada”.

Dias Sobrinho (2003) defende que a avaliação deve ser compreendida como uma prática social que envolve múltiplas dimensões, como ética, política e epistemológica. Para o autor, a avaliação deve contribuir para o desenvolvimento humano e social, promovendo o aprimoramento dos processos educativos, a melhoria da qualidade e a democratização do ensino.

Envolto aos conceitos de avaliação, Ristoff (2024) frisa que há um conjunto de dicotomias que abordam os princípios, os objetivos e as metodologias empregadas nos processos avaliativos, sendo que as mais conhecidas são: i) avaliação interna ou avaliação externa; ii) avaliação formativa ou avaliação somativa; iii) avaliação quantitativa ou avaliação qualitativa; e iv) avaliação integrada ou avaliação pontual. O autor também ressalta que outras dicotomias estiveram no bojo das discussões da Comissão Especial de Avaliação (CEA) responsável por coordenar o processo de revisão e (re)organização da sistemática de avaliação que deu origem ao Sinaes, mas que as quatro destacadas nesse artigo foram as que mais demandaram debates e que mais contribuíram para a construção do sistema avaliativo implementado a partir de 2004.

No que tange à dicotomia que se relaciona a avaliação interna ou avaliação externa, Dias Sobrinho (2003) trabalha com a premissa de que a primeira deve contar com a participação ativa da comunidade interna, a qual é responsável por estabelecer os princípios, os objetos de avaliação, os sujeitos, os procedimentos e os usos do processo avaliativo. Dias Sobrinho (2000), ainda, afirma que na avaliação interna, que ocorre por meio da autoavaliação, os avaliadores não são só sujeitos, mas fazem parte do objeto a ser avaliado.

O intuito dessa avaliação é que haja maior compreensão da comunidade acadêmica sobre a instituição, os cursos oferecidos, os programas e os projetos disponibilizados para a sociedade etc. Nesse contexto, todos os dados e informações obtidos por meio da autoavaliação precisam ser consolidados em relatórios oficiais, que devem ser discutidos e aprovados pela comunidade acadêmica.

Já a avaliação externa confirma o sentido de transparência e o caráter público da avaliação, pela participação efetiva dos membros externos da comunidade científica, de órgãos públicos ligados à educação, à ciência e tecnologia e de representantes da sociedade organizada (Dias Sobrinho, 2000). No caso da avaliação externa de cursos de graduação, os avaliadores são docentes de instituições de educação superior (ativos ou aposentados), com titulação de mestrado ou de doutorado, pertencentes ao Banco de Avaliadores do Sistema Nacional de Avaliação da Educação Superior (BASis), gerenciado pelo Inep.

A avaliação externa, como um exame de fora para dentro, pode ser realizada sobre o prisma de analisar e corrigir eventuais erros de percepções produzidos pela avaliação interna, tendo em vista que esta última pode, em alguns casos, estar acostumada às rotinas e processos avaliativos de uma instituição, de um curso etc. (Dias Sobrinho, 2003).

Dias Sobrinho (2000) reforça a ideia de que a avaliação interna fornece as bases para a avaliação externa e esta, por sua vez, fornece subsídios para a execução de novos processos avaliativos internos.

Ainda, importante também destacar, no que se relaciona a esta dicotomia, o exposto no documento base que originou o Sinaes, o qual aponta que:

[...] as ações combinadas de avaliação interna e externa são processos importantes de discussão e reflexão com respeito aos grandes temas de política pedagógica, científica e tecnológica, bem como para tomadas de decisão, buscando o fortalecimento ou redirecionamento de ações (Brasil, 2004a, p. 105).

Já no que se relaciona à segunda dicotomia, referente a avaliação formativa ou avaliação somativa, pode-se afirmar que a avaliação formativa trabalha com a premissa de que o caráter principal da avaliação deve ser o educativo, o qual leva em consideração as diferentes opiniões e posições na interpretação e nos relacionamentos interpessoais (Dias Sobrinho, 2000). Nesse sentido, esta avaliação tende a ser mais participativa.

Para Ristoff (2024), na avaliação formativa as estratégias estão centradas nos processos, com o uso predominante de métodos qualitativos. Essa avaliação tende a ser descritiva e faz análises detalhadas dos pontos fortes e dos pontos fracos do objeto avaliado. Com base nesses pressupostos, este tipo de avaliação tem como princípio basilar verificar o que está e o que não está funcionando bem, sempre ouvindo os sujeitos diretamente envolvidos.

Já a avaliação somativa é realizada para a tomada de decisões sobre o objeto a ser avaliado, como um curso, expressando no final um veredito sobre o seu funcionamento (Ristoff, 2024), seja no âmbito de acesso ao sistema de educação superior (autorização), permanência no sistema (reconhecimento e renovação de reconhecimento) ou encerramento de suas atividades acadêmicas neste sistema. São, assim, utilizadas como mecanismo de informação para a sociedade sobre a situação legal de funcionamento de um curso. A avaliação somativa, geralmente, tem uso predominante de métodos quantitativos e foca mais no resultado.

Tratando da diferença entre as duas formas de avaliação, Ristoff (2024) frisa que na avaliação formativa o que se busca é informação para o objeto avaliado, de forma que os envolvidos possam aperfeiçoar métodos, rotinas e processos. Já a avaliação somativa o que se busca é informação sobre o objeto avaliado, para que agentes externos possam tomar decisões referentes à autorização, ao reconhecimento ou à renovação de reconhecimento de um curso, bem como ao credenciamento ou ao recredenciamento de uma Instituição.

Na terceira dicotomia, que envolve a avaliação qualitativa ou avaliação quantitativa,Ristoff (2024, p. 60) destaca que:

[...] as avaliações implementadas no Brasil nas últimas décadas dos anos 1900 estavam inspirados no modelo anglo-americano - modelo basicamente quantitativo, classificatório e ranqueador - ou no modelo francês e holandês - predominantemente qualitativo, analítico e institucional.

O objetivo da avaliação não deve se resumir a coleta de informações, de mensuração e de quantificação de indicadores ou dimensões de análise de um curso ou instituição, características estas que estão na essência de uma avaliação de cunho mais quantitativo. A avaliação demanda um olhar mais complexo, em que haja também a contextualização do objeto a ser avaliado - curso ou Instituição, por exemplo, entendendo os reflexos desse objeto para/na sociedade, respeitando sua diversidade e suas múltiplas funções, elementos esses que compõem a avaliação qualitativa. No bojo dos estudos sobre avaliação, é comum a compreensão de que enquanto a avaliação quantitativa tende a ser mais objetiva, a avaliação qualitativa tende a ser mais subjetiva, requerendo um olhar mais apurado sobre o que vai ser avaliado.

Na gênese do Sinaes, a CEA destacava que no âmbito da avaliação interna ou da autoavaliação os instrumentos poderiam fazer mais uso de métodos qualitativos, enquanto os instrumentos de avaliação externa teriam que depender mais de quantificações, embora pudessem conter questões abertas e espaços para observações e comentários dos avaliadores. Também se levava em consideração que para designar um método como quantitativo ou qualitativo, deve-se considerar a predominância, e não a exclusividade, de mensurações quantitativas ou de descrições e interpretações (Ristoff, 2024).

No âmbito das avaliações quantitativas e qualitativas, importante também se faz destacar o exposto por Dias Sobrinho (2003, p. 45), que afirma que

[...] privilegiar o qualitativo, dado seu maior potencial educativo, não significa negar o quantitativo e nem estabelecer nenhuma oposição entre eles. Estatísticas, banco de dados, estudos quantitativos constituem uma base sólida para a avaliação. Entretanto, esta abordagem é insuficiente e incapaz de trazer toda a riqueza de significados, se a ela não se aplica reflexões e produções de sentidos através de procedimentos qualitativos.

O documento base para a criação do Sinaes, elaborado pela CEA, também traz elementos sobre a dicotomia avaliação quantitativa e qualitativa, reforçando que:

A complexidade da educação superior, tanto na dimensão institucional quanto na do sistema, requer a utilização de múltiplos instrumentos e a combinação de diversas metodologias. Por exemplo, não cabe mais discutir as falsas aporias do quantitativo e do qualitativo ou do objetivo e do subjetivo, mas sim, utilizar os diversos instrumentos e as distintas perspectivas metodológicas de forma combinada, complementar e de acordo com as necessidades de análise e julgamento (Brasil, 2004a, p. 83).

Na quarta dicotomia, referente a avaliação integral ou avaliação pontual, trabalha-se com a lógica de que nos processos avaliativos deve-se buscar uma análise global da avaliação (avaliação integral) e não apenas o olhar sobre instrumentos isolados de avaliação que não dialoguem entre si (avaliação pontual).

Nesse sentido, Ristoff (2024) levanta a preocupação de que procedimentos pontuais, muitas vezes sem articulação a um programa ou a um conjunto de políticas coerentes, sejam tomados como única e exclusiva possibilidade avaliativa e divulgados os resultados como uma verdade estabelecida. O autor reforça que, antes da implementação do Sinaes, a avaliação executada pelo Ministério da Educação (MEC) “era fragmentada, tópica, produzindo imagens distorcidas da complexidade institucional e dos cursos, vistos e avaliados a partir de dados parciais, incompletos e sem confiabilidade” (Ristoff, 2024, p. 85). Também afirma que esses procedimentos pontuais eram “pseudo-avaliações ou quase-avaliações e não avaliações verdadeiras, por não tocarem ou tocarem apenas tangencialmente nas questões valorativas” (Ristoff, 2024, p. 85).

Para além da integração de instrumentos de avaliação, a avaliação integrada prevê também um relacionamento direto com instrumentos de informação, como o Censo da Educação Superior e o Cadastro de Instituições de Educação Superior. Dias Sobrinho (2000), ao tratar da avaliação integrada, afirma que nela a ênfase deve ser dada aos processos de ensino, pesquisa e extensão, bem como da gestão e infraestrutura, sempre que possível de forma integrada, tendo como referência e dimensão explicativa os fins do objeto de avaliação. Deve-se trabalhar com a premissa que integrar implica interpretar as causas, consequências, contextos e processos do fenômeno que se quer compreender, levando-se em consideração que a qualidade do que está sendo avaliado está mais no conjunto do que em aspectos isolados. Nesse contexto:

A construção de um sistema de avaliação da educação superior dependia, portanto, de uma forma de ver o mundo da educação superior, significava compreendê-lo como um todo, composto por inúmeras partes e inserido num contexto educacional, socioeconômico, cultural e político (Ristoff, 2024, p. 90).

3 OS INSTRUMENTOS DE AVALIAÇÃO DE CURSOS DE GRADUAÇÃO

No âmbito da educação superior brasileira pós-LDB, instrumentos de avaliação in loco de cursos de graduação foram criados, primeiramente, no âmbito da Secretaria de Educação Superior (SESu) e da Secretaria de Educação Média e Tecnológica (SEMTEC), posteriormente denominada Secretaria de Educação Profissional e Tecnológica (SETEC), do MEC. Enquanto a primeira Secretaria ficava responsável pela avaliação de cursos de bacharelado e de licenciatura, a segunda avaliava os cursos superiores de tecnologia. Ainda, no âmbito de cursos ofertados na modalidade educação a distância (EaD), havia interlocução com a Secretaria de Educação a Distância (SEED).

A partir de 2002, por meio da Portaria MEC nº 990, de 02 de abril, o Inep assume o protagonismo da avaliação dos cursos de graduação no Brasil e inicia o processo de realização da Avaliação das Condições de Oferta (ACO), posteriormente denominada de Avaliação das Condições de Ensino (ACE). Essa avaliação tinha como objetivo principal verificar, in loco, por comissão de especialistas designada pelo MEC, a qualidade dos cursos de graduação, focadas em três dimensões: “organização didático-pedagógica” (dimensão 1), “corpo docente” (dimensão 2) e “infraestrutura” (dimensão 3).

Esses processos avaliativos cumpriam, também, a questão da regulação da educação superior, ou seja, os processos que se desencadeavam nos atos autorizativos de um curso (autorização, reconhecimento ou renovação de reconhecimento). Ao final de cada avaliação, a comissão de especialistas atribuía conceitos para cada uma das dimensões avaliadas, bem como um conceito final para o curso, com base nos seguintes critérios: Condições Muito Boas (CMB), Condições Boas (CB), Condições Regulares (CR) e Condições Insuficientes (CI).

Com a implementação do Sinaes, em 2004, entra em vigor a Avaliação de Cursos de Graduação (ACG), em substituição a ACE, mantendo-se no Inep a operacionalização e a condução dos processos avaliativos. De acordo com a Lei que instituiu o Sinaes:

Art. 4º A avaliação dos cursos de graduação tem por objetivo identificar as condições de ensino oferecidas aos estudantes, em especial as relativas ao perfil do corpo docente, às instalações físicas e à organização didático-pedagógica.

§ 1º A avaliação dos cursos de graduação fará uso de procedimentos e instrumentos diversificados, entre os quais, obrigatoriamente, a avaliação externa por comissões de especialistas das respectivas áreas do conhecimento (Brasil, 2004b, 2022).

No âmbito do Sinaes, no pilar referente à avaliação de cursos, foram mantidas as dimensões avaliativas relacionadas à “organização didático-pedagógica” (dimensão 1) e à “infraestrutura” (dimensão 3) e houve uma pequena alteração na dimensão relacionada ao corpo docente, a qual passou, em um primeiro momento, a se chamar “corpo docente, corpo discente e corpo técnico-administrativo” e, posteriormente, passou a incluir a avaliação dos tutores, estes presentes em cursos ofertados na modalidade EaD ou em cursos ofertados na modalidade presencial, mas que possuem parte de sua carga horária composta por atividades realizadas via EaD. Assim, esta dimensão passou a ser denominada, nos instrumentos mais recentes, de “corpo docente e tutorial” (dimensão 2).

Desde sua implementação até os dias atuais, mesmo buscando manter a essência do Sistema, uma série de alterações ocorreram, principalmente, nos instrumentos de avaliação delineados tanto para a avaliação externa das Instituições, quanto para a avaliação de seus cursos de graduação.

Fazendo um recorte especificamente dos instrumentos de avaliação de cursos de graduação, objeto de análise desse artigo, o quadro que segue traz as alterações implementadas, desde a criação do Sinaes até os dias atuais:

Quadro 1
Instrumentos de avaliação de cursos de graduação, por ano, ato regulatório e modalidade

Em atendimento à legislação, todos os instrumentos de avaliação de cursos de graduação implementados a partir de 2006 foram organizados contemplando as três dimensões do Sinaes, a saber: “organização didático-pedagógica”, “corpo docente e tutorial” e “infraestrutura”. Para cada dimensão, foram estabelecidos diversos indicadores, os quais são avaliados com base em critérios de análise pré-definidos e estabelecidos nos respectivos instrumentos. O quadro a seguir traz a quantidade de indicadores que compõe cada dimensão avaliativa dos instrumentos de avaliação implementados de 2006 a 2017.

Quadro 2
Instrumentos de Avaliação de Cursos de Graduação, por dimensão e quantidade de indicadores

Até 2017, os instrumentos possuíam critérios de análise dentro de cada indicador pontuados em escalas crescentes de excelência de qualidade, de 1 a 5, com a seguinte lógica: 1 (não existe), 2 (insuficiente), 3 (suficiente - critério mínimo de qualidade), 4 (muito bom/muito bem) e 5 (excelente). Caso o indicador não se aplicasse à realidade do curso, com embasamento legal dessa não aplicabilidade, dever-se-ia atribuir a rubrica Não se Aplica (NSA). Além disso, para um conjunto determinado de indicadores interrelacionados, havia também espaço para o relato global da categoria de análise por parte da comissão avaliadora, obrigatório, o qual também devia ser feito para a análise global da dimensão. De acordo com o Inep (2015b, p. 37):

Em cada dimensão há um espaço para o relato do avaliador, fato que dá ênfase ao aspecto qualitativo da avaliação. Assim, é por meio das escalas e das descrições dos avaliadores, baseadas nas observações in loco e nos estudos das documentações, que os aspectos objetivo e subjetivo da avaliação se comunicam.

Ainda, esses instrumentos previam uma categoria denominada “Requisitos Legais ou Normativos”, em que a comissão avaliadora deveria analisar um conjunto de itens e apontar se eles eram atendidos ou não pelo curso, ou se não se aplicavam à sua realidade, com base em fundamentação legal.

A partir de 2017, além da organização dos instrumentos de avaliação nas três dimensões previstas no Sinaes, os quais são compostos por um conjunto de indicadores, os critérios de análise para atribuição de conceitos passam a considerar os atributos, considerados como a menor parte de um critério de análise, representando elemento que deve ser verificado no momento de avaliação. Nesse sentido, cada indicador passa a exigir, para a atribuição dos conceitos de 1 a 5, um conjunto de atributos.

O Inep (2018, p. 14), ao tratar da compreensão dos atributos dentro da lógica dos novos instrumentos de avaliação publicados a partir de 2017, ressalta que:

Há casos em que a diferença entre o critério de análise de cada conceito é a quantidade de atributos associados. Em outros, a variação entre critérios de análise se caracteriza pela qualidade do atributo.

Assim, observado que o conceito 3 caracteriza o objeto de avaliação de forma satisfatória, os critérios de análise dos conceitos 4 e 5 foram construídos com uma lógica aditiva.

Seguindo a mesma lógica, em sentido inverso, os critérios de análise dos conceitos 2 e 1 não contemplam plenamente os atributos do conceito 3.

De acordo com o Inep (2015b, p. 36), no âmbito das discussões sobre as alterações nos instrumentos de avaliação ao longo da vigência do Sinaes, alguns aspectos foram diagnosticados nos indicadores e nos critérios de análise, como:

[...] títulos não uniformes, critérios compostos, conceitos diferentes, possibilidades lógicas não contempladas, indicadores de destaque, indicadores distintos, indicadores imprescindíveis, escalas diferenciadas, descritores subjetivos, arredondamento em relação ao conceito final, dentre outros.

Em 2017, as alterações realizadas nos instrumentos trouxeram novos elementos para discussão, como:

[...] legislação pertinente; legislação recentemente instituída; estudos estatísticos; análise de demandas provenientes da sociedade civil organizada e da comunidade acadêmica; metas do PNE; interlocução com os integrantes do Banco Nacional de Avaliadores do Sinaes - BASis; e permanente diálogo entre o Inep e a Seres, que utiliza os instrumentos em sua prática regulatória (Inep, 2017b, p. 7).

4 ANÁLISE DOS INSTRUMENTOS DE AVALIAÇÃO DE CURSOS DE GRADUAÇÃO À LUZ DAS DICOTOMIAS DE AVALIAÇÃO

Nessa seção, busca-se fazer uma análise dos instrumentos de avaliação implementados na era Sinaes, especificamente no período compreendido entre 2006 (publicação do primeiro instrumento de avaliação de curso) e 2017 (publicação dos últimos instrumentos de avaliação de cursos).

Para a análise, foi realizada a leitura de todos os catorze instrumentos, envolvendo os atos regulatórios de autorização, de reconhecimento e de renovação de reconhecimento de curso. A análise se concentrou nos elementos desencadeadores dos instrumentos, na sequência: dimensões; indicadores; critérios de análise; e, especificamente a partir de 2017, atributos.

Na análise referente à dicotomia que se relaciona a avaliação interna ou avaliação externa, apesar de o instrumento de avaliação de cursos de graduação, em sua essência, ser um documento relacionado à avaliação externa, encontram-se elementos que suscitam uma reflexão ou o uso da avaliação interna para embasar os relatos e objetos de avaliação de indicadores. Isso ocorre, de forma mais modesta, nos instrumentos publicados até 2015, e aparece com mais frequência, inclusive nos atributos dos critérios de análise, nos instrumentos publicados em 2017.

Em todos os instrumentos, há a descrição de que a comissão avaliadora deverá, antes da avaliação in loco, conhecer os relatórios de autoavaliação elaborados pela Comissão Própria de Avaliação da IES que oferta o curso avaliado. Além disso, dentre as atividades previstas para a avaliação do curso, há a necessidade de reunião obrigatória com a Comissão Própria de Avaliação.

De 2006 a 2015, os indicadores em que se cobram práticas de autoavaliação enquanto processo necessário para a avaliação externa são ausentes ou bastante incipientes nos instrumentos analisados. Há ausência de indicadores ou critérios de análise sobre autoavaliação nos seguintes documentos: Instrumento de Avaliação do curso de Direito (Inep, 2008b), Instrumento para Autorização de Curso de Medicina (Inep, 2010a), Instrumento para Autorização de Bacharelado e Licenciatura (Inep, 2010b), Instrumento para Autorização de Curso de Direito (Inep, 2010c) e Instrumento para Autorização de Curso Tecnológico (Inep, 2010d).

No primeiro Instrumento de Avaliação de Cursos de Graduação publicado (Inep, 2006), há dois indicadores em que se vislumbram nos critérios de análise processos de autoavaliação: “Articulação da gestão do curso com a gestão institucional” e “Articulação da autoavaliação do curso com a autoavaliação institucional”. Já no Instrumento para Reconhecimento de Curso de Pedagogia (Inep, 2010e) e no Instrumento para Reconhecimento de Curso de Medicina (Inep, 2010f), há um indicador em cada um deles referente à autoavaliação do curso, de forma global. No Instrumento de Avaliação de Cursos (Bacharelado e Licenciatura) (Inep, 2008a), no Instrumento para Renovação de Reconhecimento de Cursos (Inep, 2010g), no Instrumento de Avaliação de Cursos de Graduação Presencial e a Distância (Inep, 2012) e no Instrumento de Avaliação de Cursos de Graduação - Presencial e a Distância (Inep, 2015a) também há apenas um indicador relacionado à autoavaliação, estabelecendo-se como critério máximo de qualidade para este indicador que existam, no curso, de maneira excelente, ações acadêmicas e administrativas implementadas em decorrência da avaliação interna e das avaliações externas (incluindo as avaliações in loco anteriores, o Enade, o Conceito Preliminar de Curso - CPC etc.).

Em 2017, há maior evidência de elementos relacionados à autoavaliação nos instrumentos publicados e utilizados. Além de terem um indicador específico sobre a questão, denominado “Gestão do curso e os processos de avaliação interna e externa”, para a atribuição do conceito 5, seguindo a lógica aditiva de qualidade, diversos indicadores demandam de evidências que comprovem a previsão (no caso do Instrumento de Avaliação para o ato regulatório de autorização) ou a existência (no caso do Instrumento de Avaliação para os atos regulatórios de reconhecimento e de renovação de reconhecimento) de processos de autoavaliação que embasem ações corretivas e de aperfeiçoamento para planejamento de atividades futuras.

Dentre os indicadores que cobram a necessidade de autoavaliação para comprovação de evidências de qualidade, nos instrumentos de avaliação instituídos em 2017, destacam-se: “Atividades de tutoria”; “Conhecimentos, habilidades e atitudes necessárias às atividades de tutoria”; “Ambiente Virtual de Aprendizagem (AVA)”; “Atuação do colegiado de curso ou equivalente”; “Interação entre tutores (presenciais - quando for o caso - e a distância), docentes e coordenadores de curso a distância”; “Acesso dos alunos a equipamentos de informática”; “Laboratórios didáticos de formação básica”; “Laboratórios didáticos de formação específica”; “Núcleo de práticas jurídicas: atividades básicas e arbitragem, negociação, conciliação, mediação e atividades jurídicas reais” (indicador específico para o curso de Direito); e “Ambientes profissionais vinculados ao curso”.

No âmbito da segunda dicotomia, tendo em vista que um dos objetivos da avaliação de cursos de graduação se relaciona diretamente com a regulação (envolvendo os atos de autorização, de reconhecimento e de renovação de reconhecimento de cursos), há preponderância da lógica da avaliação somativa sobre a avaliação formativa. Apesar de existir uma lógica processual na avaliação, com elaboração de um relatório em que são registradas, em cada indicador, justificativas para comprovar as evidências obtidas por meio de análise de documentos, visita às instalações e relatos obtidos em reuniões com os diversos segmentos da comunidade acadêmica (estudantes, professores, tutores, gestores, equipe multidisciplinar, Comissão Própria de Avaliação etc.), esse relatório final não se torna público por parte do Inep para a sociedade, sendo divulgado e registrado em site oficial do MEC apenas o conceito final do curso, com foco maior, portanto, no resultado.

No que se relaciona à terceira dicotomia, referente à avaliação qualitativa ou avaliação quantitativa, destaca-se que, no primeiro instrumento de avaliação publicado e utilizado após a promulgação do Sinaes, em 2006, há prevalência de aspectos qualitativos nas três dimensões voltadas para a avaliação de cursos de graduação: organização didático-pedagógica; corpo docente, corpo discente e corpo técnico-administrativo; e instalações.

Nos documentos publicados entre 2008 e 2015, há um padrão estrutural na organização dos instrumentos de avaliação, havendo predominância de aspectos qualitativos e mais subjetivos na dimensão 1 (organização didático-pedagógica), predominância de métodos quantitativos e mais objetivos na dimensão 2 (corpo docente e tutorial) e um maior equilíbrio entre elementos quantitativos e qualitativos na dimensão 3 (infraestrutura). A exceção se faz aos instrumentos de avaliação para autorização e para reconhecimento de cursos de Medicina (Inep, 2010a; Inep, 2010f), em que há alguns indicadores quantitativos também na dimensão 1.

Levando-se em consideração os Instrumentos de Avaliação instituídos entre 2008 e 2015 acima mencionados, na dimensão 1, relacionada à organização didático-pedagógica, os critérios de análise dos indicadores são mais subjetivos e voltados para a não existência (conceito 1), a insuficiência (conceito 2), a suficiência (conceito 3), a existência de forma muito boa (conceito 4) ou a existência de maneira excelente (conceito 5) de comprovações e evidências que justificam a aplicabilidade dos conceitos para cada indicador.

Especificamente nos elementos quantitativos da dimensão 2, eles estão relacionados a maior objetividade para aplicação de conceitos maiores de qualidade a medida que o curso tenha mais professores com titulação de mestrado e de doutorado, núcleo docente estruturante com professores mais titulados e com mais dedicação ao curso (regime de trabalho de tempo integral ou parcial), maior tempo de experiência docente e de experiência profissional fora do magistério, maior número de professores em tempo integral e parcial e maior número de produções cientificas, culturais, artísticas ou tecnológicas. Há também avaliação mais objetiva e quantitativa em indicadores como: número de disciplinas ministradas pelo corpo docente do curso, número de docentes por vaga ofertada, número de alunos por turma em disciplinas teóricas e práticas etc.

Na dimensão 3, os elementos quantitativos e quantitativos se misturam. No que tange especificamente aos indicadores em que predominam quantificações, destacamse: bibliografia básica (correlacionando número de exemplares, número de vagas ofertadas pelo curso e número de vagas de outros cursos que se utilizam do mesmo acervo), periódicos (número de periódicos assinados e utilizados pelo curso) e equipamentos de informática (correlacionando número de computadores com o número de alunos da Instituição).

Especificamente relacionado ao curso de Medicina, os Instrumentos de Avaliação de 2010, ainda, trazem outros indicadores com avaliação quantitativa, como: quantidade de leitos disponíveis para o desenvolvimento do curso, relação aluno/paciente na integração com o Sistema Único de Saúde (SUS) e quantidade de cursos reconhecidos na área da saúde, na Instituição, com conceito Enade mínimo igual a 4.

Vale destacar, ainda, que nos instrumentos publicados de 2006 a 2015, aspectos qualitativos deveriam também ser registrados no relato global de um conjunto de indicadores ou no relato global de cada dimensão.

A partir de 2017, a lógica dos instrumentos de avaliação é organizada em quase sua totalidade por indicadores qualitativos, nas três dimensões: organização didáticopedagógica; corpo docente e tutorial; e infraestrutura. Para atribuição dos conceitos em cada indicador, estabelece-se um conjunto de atributos necessários dentro dos critérios de análise, conforme já mencionado nesse artigo. Com isso, quanto mais atributos um curso possuir, maior será seu conceito no indicador relacionado. A exceção se faz em três indicadores com análise quantitativa existentes na dimensão 2: Núcleo Docente Estruturante - NDE (cujo conceito também aumenta a medida em que existam mais professores titulados e com maior dedicação em termos de regime de trabalho), titulação e formação do corpo de tutores do curso (em que há maiores conceitos conforme a graduação na área do curso e maior titulação acadêmica) e produção científica, cultural, artística ou tecnológica (em que o conceito atribuído aumenta conforme o número de produções nos últimos três anos de cada professor vinculado ao curso). Também nos instrumentos de avaliação publicados em 2017, há um campo para que os avaliadores façam uma breve análise qualitativa de cada dimensão avaliada.

Na quarta dicotomia, referente a avaliação integral ou avaliação pontual, tendo em vista que os instrumentos de avaliação analisados são relacionados a um dos três pilares do Sinaes, a Avaliação de Cursos de Graduação (ACG), em uma análise preliminar constata-se que, com base nesse aspecto em específico, a avaliação é pontual, tendo em vista que não envolve todo o Sistema. Isso também se confirma tendo em vista que os instrumentos de avaliação de cursos de graduação possuem a inexistência, em alguns períodos temporais, ou pouquíssimos elementos, em outros momentos, de indicadores que relacionam a avaliação de cursos de graduação com os outros pilares do Sinaes. Até 2017, essa correlação, quando existia, era de maneira bastante limitada ou incipiente, ocorrendo apenas no que se relacionava à autoavaliação e ao Enade, estabelecendo, portanto, pouco diálogo dos instrumentos de avaliação de cursos com os demais pilares da avaliação do Sinaes. A partir de 2017, verifica-se uma tendência nos instrumentos de correlacionarem mais a avaliação dos cursos de graduação com outros pilares do Sinaes, principalmente a autoavaliação, a qual é contemplada não apenas em um indicador específico, mas como atributo principal de critério de análise para a atribuição de conceito 5 em diversos indicadores, os quais foram destacados, nesse artigo, quando da análise da dicotomia referente a avaliação interna ou avaliação externa.

Por fim, vale destacar que outro elemento que caracteriza a avaliação pontual é a quase inexistência de correlação dos instrumentos de avaliação com os instrumentos de informação do Ministério da Educação. Ainda, no que tange à publicização dos resultados, há também bastante aproximação da lógica da avaliação pontual, tendo em vista que sua divulgação é definida como uma verdade estabelecida diante do conceito final atribuído.

5 CONSIDERAÇÕES FINAIS

Em seus 20 anos de existência, pode-se afirmar que o Sistema Nacional de Avaliação da Educação Superior (Sinaes) trouxe avanços importantes para o aprimoramento da educação superior no Brasil enquanto política pública, estabelecendo uma sistemática de avaliação estruturada em três pilares centrais: avaliação institucional (englobando a avaliação externa e a autoavaliação), avaliação de cursos de graduação e exame nacional de desempenho dos estudantes.

Especificamente relacionado ao segundo pilar, voltado para a avaliação de cursos de graduação, constata-se que essa se aproximou muito dos processos regulatórios, necessários para a autorização, o reconhecimento e a renovação de reconhecimento de cursos.

Com base na análise realizada sobre os Instrumentos de Avaliação dos Cursos de Graduação implementados no âmbito do Sinaes, no período compreendido entre 2006 e 2017, observou-se que foram instituídos 14 instrumentos, os quais trazem maior ou menor incidência de evidências nas abordagens estudadas, referentes às dicotomias avaliativas: interna/externa, formativa/somativa, qualitativa/quantitativa e integral/pontual.

Destaca-se a importância da integração entre autoavaliação e avaliação externa para promover uma visão mais ampla e contextualizada da qualidade dos cursos de graduação oferecidos no país. Em paralelo, o uso de indicadores e atributos mais qualitativos, a partir de 2017, demonstra um movimento em direção a uma avaliação menos focada apenas em dados quantitativos e mais holística a qual, por sua vez, tende mais à subjetividade e à lógica de interpretação dos avaliadores para a atribuição de conceitos.

Dessa forma, compreende-se que o Sinaes, de modo geral, e os instrumentos de avaliação utilizados para avaliação de cursos de graduação, de modo específico, desempenham um papel fundamental não apenas para a regulação, mas também para o desenvolvimento contínuo e a melhoria da qualidade educacional. Reforça-se, no entanto, a necessidade de que o Inep continue aperfeiçoando esses instrumentos, promovendo uma maior articulação entre os diferentes aspectos da avaliação para uma visão integrada e eficaz da educação superior no país.

Disponibilidade de dados

Os conteúdos subjacentes ao texto da pesquisa estão contidos no artigo.

Referências bibliográficas

  • Editor de seção:
    André Pires
  • Editor de Layout:
    Silmara Pereira da Silva Martins

Datas de Publicação

  • Publicação nesta coleção
    10 Out 2025
  • Data do Fascículo
    2025

Histórico

  • Recebido
    19 Dez 2024
  • Aceito
    17 Jun 2025
  • Revisado
    18 Jul 2025
location_on
Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
E-mail: revistaavaliacao@uniso.br
rss_feed Acompañe los números de esta revista en su lector de RSS
Ir para arriba Notificar error