QUIMIOMETRIA IV. RECONHECIMENTO DE PADRÕES: MÉTODOS DISCRIMINATIVOS E MODELATIVOS. QUANDO UTILIZÁ-LOS E QUAL DELES.

CHEMOMETRICS IV. PATTERN RECOGNITION: DISCRIMINANT AND CLASS MODELLING METHODS. WHEN TO USE THEM AND WHICH ONE.

Resumo

This work is intended to survey a range of supervised pattern recognition methods. The main differences between class modelling and discriminant methodologies are presented. Their advantages and disadvantages are highlighted. Suggestions are given when to use one or another methodology. The discriminant methods MLR-DA (multiple linear regression-discriminant analysis) and PLS-DA (partial least squares-discriminant analysis) are discussed as well as the class modelling SIMCA (soft independent modeling of class analogy) and its variants Mod-SIMCA (modified-SIMCA), Alt-SIMCA (alternative-SIMCA) and DD-SIMCA (data driven-SIMCA). A real example to classify rice samples from China is presented.

INTRODUÇÃO

Este é o quarto artigo de uma série sobre Quimiometria.¹-³ O primeiro,¹ escrito na forma de um tutorial utilizando o software MATLAB, introduziu a análise de componentes principais (PCA, principal component analysis) e os conceitos da calibração multivariada dando enfoque aos métodos de regressão por componentes principais (PCR, principal component regression) e por quadrados mínimos parciais (PLS, partial least squares). O segundo trabalho,² escrito também em forma de tutorial, abordou a área de planejamentos experimentais (DOE, design of experiments). Nele, foram discutidos vários tipos de planejamentos, fazendo uso de planilhas eletrônicas do Excel. Já no terceiro,³ foi feita uma revisão de alguns métodos de análise exploratória, sem a preocupação de construir modelos preditivos. Foi discutido o método de análise de variáveis canônicas de Fisher (CVA, canonical variate analysis), que em sua concepção é um método exploratório mesmo sendo supervisionado e também o método ANOVA-PCA em que a análise de variância ANOVA é combinada com a análise de componentes principais.

A Quimiometria nasceu no início da década de 1970 decorrente da necessidade de desenvolver ferramentas apropriadas para processar o volume e a complexidade das informações digitais adquiridas em nossos laboratórios. Os primeiros trabalhos publicados⁴-¹² tinham como objetivo resolver problemas de classificação, que na época foram designados como “reconhecimento de padrões na Química”. Os ventos sopraram em novas direções nas décadas de 80 e 90, quando foram introduzidos os métodos multivariados e multimodos de regressão.¹³-¹⁶ Uma nova onda de interesse pelos métodos de reconhecimento de padrões teve início há aproximadamente 25 anos com o intuito de avaliar propriedades qualitativas em diferentes áreas como alimentícia, farmacêutica, ciências forenses e biológicas, dentre outras.¹⁷-³⁴ O principal objetivo nesses casos não é a construção de modelos quantitativos para a determinação da concentração de um composto de interesse, mas investigar biomarcadores para o diagnóstico de doenças ou perturbações ambientais, verificar a origem ou autenticidade de produtos industrializados e detectar falhas em processos industriais, dentre outros. Essa reorientação ocorreu devido à popularização dos métodos espectroscópicos (nas regiões do infravermelho próximo, médio e Raman, de fluorescência, ressonância magnética nuclear e espectrometria de massas), das técnicas de separação (cromatografia gasosa, líquida e eletroforese) e de imagens, nos laboratórios de pesquisa e na indústria.

O “reconhecimento de padrões” é uma área da ciência que trata da classificação de objetos dentro de um número de categorias ou classes. O termo “classificação” é usado nesse contexto como a ação de atribuir um objeto a uma dentre as várias classes possíveis com base em uma série de medidas determinadas experimentalmente ou teoricamente calculadas. Por outro lado, o termo “classe”, “grupo” ou “categoria”, se refere a um conjunto de indivíduos (objetos) que apresentam características comuns. “O olho humano é o melhor reconhecedor de padrões”, uma habilidade que sempre impressionou os cientistas. Desde os primórdios da computação, a tarefa de implementar algoritmos que mimetizem essa capacidade humana tem se apresentado como a mais desafiadora e intrigante. Um exemplo interessante de reconhecimento de padrões na Química foi o trabalho do químico russo Dmitri Mendeleev³⁵ há mais de 150 anos atrás, que utilizou propriedades físicas e químicas dos elementos para organizá-los em grupos criando, assim, a primeira versão da Tabela Periódica. A classificação de amostras de chá quanto à sua origem usando métodos espectroscópicos,³⁴ a discriminação de madeiras similares da Amazônia também utilizando métodos espectroscópicos,²⁸ ou a detecção de fungo em mamão com base em seu perfil cromatográfico³¹ são apenas três exemplos dentre muitos em que métodos analíticos são usados para o reconhecimento de padrões.

A ideia central dos métodos supervisionados de reconhecimento de padrões é usar um conjunto de treinamento constituído de objetos de classes conhecidas e representado por uma série de propriedades, para estabelecer algoritmos computacionais que automatizem uma regra de classificação. São denominados supervisionados porque um conjunto de treinamento será o gerenciador, que supervisionará a obtenção de modelos de classificação utilizados para classificar novos objetos.

Um estudo de reconhecimento de padrões é composto essencialmente de três etapas como descrito na Figura 1.

Figura 1
Fluxograma de um estudo supervisionado de reconhecimento de padrões: Dado um conjunto de objetos de classes conhecidas (A, B e C) e descritos por uma série de propriedades, ao selecionar aquelas com características apropriadas, , é possível identificar e delimitar regiões no espaço, correspondentes a cada grupo de objetos

(i) A aquisição das informações experimentais, ou calculadas, que se refere à determinação das características (dos descritores) de um conjunto de objetos selecionados como representativos das três classes, A, B e C, denominado conjunto de treinamento.

(ii) Pré-tratamento dos dados adquiridos, do qual faz parte a seleção das características que são realmente significativas para discriminar ou modelar as classes.

(iii) Utilização dos descritores selecionados para gerenciar a construção e otimização do classificador para a tomada de decisões.

Uma vez que a regra de classificação proposta tenha sido validada, ela pode, então, ser utilizada para atribuir novos objetos a uma dessas classes.

A fim de contextualizar o problema, consideremos o conjunto de objetos de três categorias distintas A, B e C da Figura 1. O problema de classificação pode ser formulado da seguinte maneira: com base nos descritores determinados para esse conjunto de objetos das categorias A, B e C conhecidas, deseja-se encontrar uma regra de classificação que permita classificar novos objetos de uma dessas três classes. Do ponto de vista geométrico, um espaço multivariado de dimensão igual ao número de descritores selecionados (designado como espaço amostral) é gerado, e nele, cada objeto é representado por um ponto. Definir um classificador implica em identificar e delimitar regiões nesse espaço multivariado, correspondentes às classes A, B e C, conforme exemplificado na Figura 1. Se um novo objeto (representado também por um ponto no espaço amostral) se encaixa em uma das regiões predefinidas, ele é atribuído à essa classe. Em termos coloquiais, ele foi reconhecido e aceito pelos membros de tal classe.

O reconhecimento de padrões não supervisionado³ é distinto do supervisionado uma vez que as classes não são conhecidas a priori. Se os objetos se agrupam em regiões do espaço multivariado gerado pelas propriedades medidas, isso ocorre naturalmente. Apesar de fazermos uso dos métodos não supervisionados, nosso enfoque nesse texto se restringe aos métodos supervisionados.

Há uma grande variedade de métodos de classificação disponíveis na literatura. Implícita ou explicitamente todos eles têm o mesmo objetivo, qual seja, identificar regiões no espaço e definir fronteiras que delimitem as diferentes classes. No entanto, é possível agrupá-los em duas famílias distintas: métodos discriminativos e métodos modelativos. Qual a diferença conceitual entre eles? Nos métodos discriminativos, devemos responder à seguinte pergunta ao classificar um objeto: este objeto é da classe A, da B, ou da classe C? Já nos métodos modelativos, a pergunta a ser respondida tem uma conotação diferente: este objeto é da classe A, ou não? Ele é da classe B, ou não? Ele é da classe C, ou não?

Os métodos discriminativos são também denominados de métodos multi-classes e entre eles se encontram os métodos binários ou de duas classes, assim denominados porque a discriminação é no mínimo entre duas classes. A regra de classificação se baseia nas diferenças entre objetos pertencentes a classes distintas. Ela é formulada ao definir fronteiras, tais como as linhas que separam as três classes da Figura 1. O espaço amostral neste caso é dividido em regiões, cada uma correspondente a uma classe específica e, por consequência, a regra de classificação é influenciada pelas medidas realizadas em todas elas. Deve estar bem claro, portanto, que ao construir um modelo de classificação discriminativo é necessário que todas as classes estejam bem representadas e amostradas, e que um novo objeto será classificado em uma e somente uma classe específica do conjunto de treinamento dependendo de que lado da fronteira ele se encontra, i.e., se ele é da classe A, da B ou da C.

Já os métodos modelativos são conceitualmente distintos uma vez que consideram as semelhanças entre os objetos pertencentes a uma dada classe e não as diferenças entre objetos de classes distintas. A regra de classificação é obtida definindo fronteiras fechadas (subespaços), como as elipses da Figura 1, que delimitam respectivamente cada uma das classes. Esses métodos são também conhecidos como métodos de uma classe, uma vez que a fronteira da classe é definida usando única e exclusivamente os seus próprios membros, i.e., cada classe é modelada individualmente. Uma consequência importante dessa abordagem é que se pode definir a regra de classificação para uma dada classe mesmo antes de se coletar os dados ou analisar objetos de outras classes. Ao classificar novos objetos, vamos responder às perguntas: esse objeto é da classe A, ou não? Da classe B, ou não? etc. Assumindo que A seja a classe de interesse, aqueles novos objetos que se encontrarem dentro do subespaço definido para essa classe são compatíveis com as características da mesma e aceitos pelos seus membros. Objetos localizados fora dos limites da classe A não são suficientemente semelhantes àqueles da classe e, portanto, são rejeitados. Havendo mais de uma classe de interesse, cada uma delas tem a sua própria regra de classificação e pode até acontecer uma intersecção dos subespaços quando as classes forem muito semelhantes. Objetos que se encontram na região de sobreposição são compatíveis com ambas as classes. As diferenças fundamentais entre os métodos discriminativos e modelativos serão discutidas na próxima seção.

Há outras maneiras de classificar os métodos supervisionados e uma delas é quanto a serem paramétricos ou não. Os métodos paramétricos, que são tradicionalmente os mais utilizados, assumem que uma distribuição populacional descrita por uma função de densidade de probabilidade (em geral a distribuição normal) está associada a cada classe e seus parâmetros estatísticos são usados ao definir as regras de classificação. Já os métodos não paramétricos (o termo é usado aqui para indicar “livre de distribuição”) não assumem nenhuma forma para as distribuições das populações.

DIFERENÇAS ENTRE OS MÉTODOS DISCRIMINATIVOS E MODELATIVOS

Atribuições ambíguas e detecção de objetos atípicos

Consideremos agora um conjunto de dados constituído de apenas duas classes (A e B) contendo 50 objetos cada uma para o qual construiremos um classificador modelativo cujos resultados se encontram na Figura 2a. Com o intuito de ilustrar a detecção de objetos atípicos ou anômalos, foram incluídos 10 objetos no canto inferior à esquerda dessa figura e que não fizeram parte do conjunto de treinamento. As elipses foram traçadas no nível de 95% de confiança. Note que as duas classes não estão completamente separadas e há uma sobreposição das fronteiras, correspondente à região de indecisão (ou de ambiguidade). Os objetos encontrados nessa região são denominados “ambíguos”, pois são compatíveis com os modelos das duas classes. Isso acontece quando os dados analíticos não são de qualidade suficiente ou quando as técnicas analíticas usadas não são capazes de distinguir adequadamente os objetos ou ainda, quando na realidade não há distinção entre as classes. Três objetos da classe A e três da classe B foram identificados e reconhecidos por ambas as classes. Essas regiões de indecisão são importantes, pois indicam que as duas classes envolvidas não estão completamente separadas com base nos descritores utilizados e ajudam a prevenir classificações errôneas. Nesse nível de confiança, dois objetos da classe B foram incorretamente classificados, uma vez que estão dentro dos limites da classe A e fora dos limites da classe B.

Figura 2
Objetos das classes A e B (50 em cada classe) que estão sendo modeladas e outros 10 que não pertencem a nenhuma das classes e que não fizeram parte do conjunto de treinamento. (a) Abordagem modelativa: as duas classes se sobrepõem ao traçar elipses no nível de 95% de confiança. Um total de 6 objetos (três de cada classe) se encontram na região de ambiguidade. Três objetos extremos da classe A e um da B não foram compatíveis com os modelos propostos para as respectivas classes, mas não foram excluídos do conjunto de treinamento. Os dez objetos que se encontram no canto inferior à esquerda pertencem a uma classe que não está sendo modelada e foram corretamente rejeitados por ambas as classes; (b) abordagem discriminativa: a fronteira que separa as duas classes foi definida pela análise discriminante linear (LDA, linear discriminant analysis). Um objeto da classe A e quatro da B foram incorretamente classificados. Objetos extremos das classes A e B foram corretamente classificados por este método. Na etapa de previsão os 10 objetos que estão mais distantes foram atribuídos à classe B, pois não foi definido um limite máximo de aceitação

Ao contrário, quando um método discriminativo é aplicado a esse mesmo conjunto de dados, todos os objetos são modelados simultaneamente e atribuídos a uma e somente uma classe dependendo do lado da fronteira em que eles se encontram, como mostra a Figura 2b. Ao usar o método discriminativo indicado, dos três objetos das classes A e B que estavam na região de indecisão, um da classe A e dois da B foram incorretamente classificados.

Nos métodos modelativos, os objetos que se encontram fora dos limites do subespaço gerado pelo classificador são rejeitados e classificados como não sendo compatíveis com a classe de interesse. No entanto, em qualquer conjunto de dados é inevitável a presença de objetos intrínsecos da população, mas que apresentam um comportamento ligeiramente distinto dos outros membros da sua classe devido às suas próprias características ou decorrente de erros na aquisição dos dados, de leitura ou de digitação. Por exemplo, em uma população de 100 objetos normalmente distribuídos, espera-se que para α = 0,05 (no nível de confiança de 95%), 5 deles estejam além da fronteira da classe, mas ainda próximos dela e para α = 0,01 deve haver apenas um objeto. Há autores que denominam tais objetos “extremos” e, em princípio, eles não devem ser excluídos do conjunto de treinamento. Na Figura 2a, três objetos pertencentes à classe A e um da classe B se encontram além das respectivas fronteiras e, portanto, foram considerados como extremos segundo esse nível de confiança. Além dos objetos extremos, pode haver aqueles com comportamentos distintos dos restantes, simplesmente pelo fato de não pertencerem à distribuição de população da classe de interesse. Tais objetos são denominados “anômalos” ou “atípicos” e não se encaixam em nenhuma das classes pré-definidas, pois não são compatíveis com nenhuma delas e devem ser removidos do conjunto de treinamento. Os objetos atípicos não devem ser confundidos com objetos extremos, embora muitas vezes seja difícil distinguir entre ambos. Ao contrário, os métodos discriminativos irão atribuir os objetos extremos e atípicos a uma das classes pré-definidas, de acordo com as fronteiras determinadas pelo classificador, como mostrado na Figura 2b. Assim, os quatro objetos extremos que se encontravam fora dos limites das classes na Figura 2a, foram corretamente classificados ao se aplicar um classificador discriminativo (Figura 2b).

Ao classificar novos objetos, pode haver, dentre eles, alguns como os 10 que não foram incluídos no conjunto de treinamento e que se encontram distantes das elipses de confiança na Figura 2. Ao usar um método modelativo (Figura 2a), tais objetos serão rejeitados pelas duas classes envolvidas, formando um grupo à parte. Se um método discriminativo for empregado para definir o classificador, tais objetos serão incorretamente classificados como sendo da classe B (Figura 2b). A esta altura já deve estar claro para o leitor que os métodos modelativos são mais versáteis que os discriminativos uma vez que a detecção de objetos não pertencentes a nenhuma das classes pré-definidas bem como de objetos extremos é uma característica intrínseca de tais métodos. Hoje é possível encontrar algumas modificações nos métodos discriminativos no sentido de definir um limite máximo de aceitação para garantir a exclusão de objetos que estejam muito distantes do centro da classe.

Influência de classes alternativas

Progressivamente se torna mais frequente a necessidade de lidar com problemas de “classes únicas” que consideram simplesmente a classe de interesse. Já foi mencionado anteriormente que havendo uma classe específica de interesse, o foco principal está nela e a regra de classificação deve ser construída usando unicamente os seus dados. Nestas circunstâncias, se quer se cogita em aplicar um método discriminativo, pois, por definição, a discriminação é, no mínimo, entre duas classes, necessitando, portanto, dos dados de pelo menos uma classe alternativa para definir a regra de classificação. Mesmo havendo uma classe alternativa, a dificuldade na aplicação dos métodos discriminativos se relaciona à representatividade dessa classe, pois em geral se dispõe de conjuntos incompletos e mal representados. Considerando que a classe A da Figura 2a seja a classe de interesse e B seja a classe alternativa, ao construir o modelo para essa classe, ele não é influenciado quando a composição da classe alternativa sofre variações. Os limites, a forma, e o tamanho da classe A permanecem os mesmos. No entanto, quando um método discriminativo é aplicado para construir o modelo de classificação, uma ligeira variação na composição da classe alternativa pode ser o suficiente para causar uma mudança na regra de classificação. A Figura 3 mostra claramente que a fronteira se move quando a classe alternativa é modificada e, além disso, como nos métodos discriminativos o pré-processamento é global (ver seção “Pré-processamento”), a distribuição dos objetos da classe A também é modificada fazendo com que as previsões futuras deixem de ser confiáveis. Em resumo, as regras de classificação definidas pelos métodos discriminativos podem ser tendenciosas devido à incorporação de informações incompletas das classes alternativas. Nessas condições os métodos modelativos são mais confiáveis, uma vez que produzem uma caracterização não tendenciosa da classe de interesse.

Figura 3
Mudança na regra de classificação, ao usar o método discriminativo, causada pela variação na composição da classe alternativa B que está mal representada. Não só a fronteira, mas a distribuição dos objetos da classe A também muda em decorrência do pré-processamento global. (a) Representação original da classe B; (b) classe B com uma composição ligeiramente diferente. Ao se aplicar o método modelativo os limites (forma e tamanho) da classe A não são afetados (ver a Figura 2a)

Avaliação das regras de classificação: tabelas de contingência e figuras de mérito

Uma vez encontrada a regra de classificação, a tabela de contingência, também chamada de matriz de classificação ou matriz de confusão (confusion matrix) é usada para resumir os resultados encontrados ao se aplicar a regra de classificação. Vamos retornar novamente à Figura 2 para ilustrar as diferenças nos resultados, oriundas do uso das duas metodologias: discriminativa e modelativa.

A Tabela 1 apresenta a matriz de confusão, que resume os resultados da classificação ao se aplicar a metodologia discriminativa enquanto a Tabela 2 consiste em três sub-tabelas quando o método modelativo é aplicado, sendo uma para a classe A, outra para a classe B e uma terceira referente às duas classes combinadas. Na Tabela 3 foi incluída a identificação dos verdadeiros positivos, VP, que são os objetos da classe A, considerada como sendo a classe em estudo e que foram corretamente identificados pelo método discriminativo (veja Tabela 1). Os verdadeiros negativos, VN, são os objetos da classe alternativa B, i.e., objetos que não são da classe em estudo e que foram corretamente identificados como não sendo. Os falsos negativos, FN, são objetos da classe A e que foram incorretamente classificados como não sendo e os falsos positivos, FP, são objetos da classe alternativa que foram incorretamente classificados como sendo da classe A.

Tabela 1
Tabela de contingência das classes definidas na Figura 2b, utilizando-se a metodologia discriminativa. O conjunto de dados compreende 50 objetos das classes A e B além de 10 objetos que não fizeram parte do conjunto de treinamento

Método discriminativo
	Verd A	Verd B	Não é A, B
Prev A	49	4	-
Prev B	1	46	10

Tabela 2
Tabelas de contingência das classes definidas na Figura 2a ao se usar a metodologia modelativa. O conjunto de dados compreende 50 objetos das classes A e B além de 10 objetos que não fizeram parte do conjunto de treinamento

Métodos modelativos
Classe A
	Verd A	Não é A	Não é A, B
Prev A	47	5	-
Não Prev A	3 extremos	45	10 anômalos
Classe B
	Não é B	Verd B	Não é A, B
Não Prev B	47	3 (1 extremo)	10 anômalos
Prev B	3	47	-
Classes A e Classe B combinadas
	Verd A	Verd B	Não é A, B
Prev A	44	2	-
Prev B	0	44	-
Não Prev A, B Extremos e Anômalos	3 extremos	1 extremo	10 anômalos
Ambíguos	3	3

Tabela 3
Identificação dos verdadeiros positivos/negativos e falsos positivos/negativos referentes à Tabela de contingência do método discriminativo

	Verd A	Verd B
Prev A	VP	FP
Prev B	FN	VN

Os resultados apresentados na Tabela 1 indicam que o modelo discriminativo classifica corretamente 49 objetos da classe A e 46 da classe B. Um dos objetos da classe A foi classificado como sendo de B e quatro de B como sendo de A. Por outro lado, na previsão, os 10 objetos extra foram atribuídos à classe B. Considerando A como a classe de interesse, temos 49 VP, 46 VN, 1 FN e 4 FP. Ao usar um método modelativo, cujos resultados estão na Tabela 2, obtém-se dois modelos de classificação de uma única classe e é visível que os resultados da tabela de contingência referentes ao modelo da classe A não são os mesmos da classe B e que ambos diferem daqueles obtidos pelo método discriminativo. Os resultados da Tabela 2 para a classe A indicam que ela reconheceu 5 objetos da classe B (5 FP) e deixou de identificar os 3 objetos extremos da sua própria classe (3 FN). Quanto ao modelo da classe B, três objetos não foram reconhecidos pelos pares (2 incorretamente classificados e 1 extremo) enquanto três objetos da classe A foram reconhecidos por essa classe. Os 10 objetos distantes foram corretamente rejeitados por ambas as classes. Por último, o modelo combinado das duas classes apresenta resultados diferentes dos individuais inclusive, com uma opção a mais, referente aos objetos com classificação ambígua. Para a classe A, verifica-se que três objetos estão na região ambígua e três são extremos. Para a classe B, dois objetos foram incorretamente classificados como sendo de A, um foi classificado como extremo por estar fora da elipse de confiança e três estão na região de ambiguidade. Portanto, os resultados das Tabelas 1 e 2 não podem ser diretamente comparados.

Os resultados das tabelas de confusão podem ser usados para determinar as figuras de mérito, que são parâmetros de qualidade calculados para a classe de interesse. Por exemplo, para a classe A, a sensibilidade, Sen, também conhecida como taxa de verdadeiros positivos, é uma medida de quão bem o modelo de classificação é capaz de reconhecer seus membros, Sen = 100 × VP/I_A = 94%, sendo que I_A é o número de objetos da classe A. A especificidade, Spe, ou a taxa de verdadeiros negativos é a sua capacidade em identificar objetos que não são da sua classe e que foram corretamente classificados, Spe = 100 × VN/I_B = 90%, em que I_B é o número de objetos da classe B. Note que a sensibilidade é estimada somente com os objetos da classe de interesse enquanto a especificidade considera somente os objetos da classe alternativa. Para os métodos modelativos, existe uma figura de mérito extra que é a taxa de classificação não-conclusiva, Ncon. Esse parâmetro considera os objetos extremos da classe de interesse (extremosA) e aqueles que se encontram na região de ambiguidade (ambiguosA), Ncon = 100 × (extremosA + ambiguosA)/I_A = 12%. Nessa Expressão, extremosA são objetos extremos da classe A que se encontram fora dos limites da classe e não foram atribuídos a nenhuma outra classe e ambiguosA são objetos da classe A que se encontram dentro dos limites da classe, mas também foram reconhecidos por outra classe.

Independência dos modelos

Do ponto de vista matemático, uma distinção fundamental entre os métodos modelativos e discriminativos está relacionada à independência das regras de classificação. A análise discriminante linear, LDA, é o método linear mais popular e a regra de classificação para duas classes A e B resulta em fronteiras que são combinações lineares dos descritores originais, cujas formas geométricas são, uma reta no espaço 2D, um plano no espaço 3D ou uma hiper-superfície no espaço multidimensional. Nesse método, calcula-se a distância de cada um dos objetos de uma classe ao centro da mesma, com a peculiaridade de que a distância do objeto i pertencente à classe A ao centro da sua classe, D_iA, não é a tradicional distância Euclideana mas, a distância de Mahalanobis,³ calculada conforme a Expressão 1. Uma Expressão análoga é utilizada para a classe B.

(1) $$D_{iA}=\sqrt{{({\mathbf{x}}_i-{\bar{\mathbf{x}}}_A)}^{\mathrm{T}}{\mathbf{S}}^{-1}({\mathbf{x}}_i-{\bar{\mathbf{x}}}_A)}$$

Nessa Expressão, x_i é o vetor coluna com as medidas experimentais desse objeto; ${\bar{\mathbf{x}}}_A$ representa o centroide da classe A e S é a matriz de variância-covariância global, calculada incluindo todos os objetos das duas classes, A e B. É importante ressaltar que a matriz S é a mesma para as duas classes.

Ao contrário da análise LDA, o método de análise discriminante quadrática, QDA (quadratic discriminant analysis), pode ser visto como um classificador modelativo. A distância de Mahalanobis que será usada para delimitar a classe A é dada pela Expressão 2 na qual S_A é a matriz de variância-covariância específica dessa classe.

(2) $$D_{iA}=\sqrt{{({\mathbf{x}}_i-{\bar{\mathbf{x}}}_A)}^{\mathrm{T}}{\mathbf{S}}_A^{-1}({\mathbf{x}}_i-{\bar{\mathbf{x}}}_A)}$$

Ao comparar as Expressões 1 e 2 vê-se que ambas dependem do centroide da classe, ${\bar{\mathbf{x}}}_A$; a diferença é que enquanto na Expressão 1 usa-se uma única matriz S global para as duas classes, na Expressão 2, cada classe tem a sua própria matriz de variância-covariância, (S_A e S_B). Consequentemente, a regra de classificação que define as fronteiras das classes gera hiper-superfícies mais complexas para separar as regiões no espaço multidimensional dos descritores. Por exemplo, para os métodos modelativos bidimensionais a fronteira de decisão pode ser uma elipse ou uma parábola.

Assumindo que as classes são normalmente distribuídas, pode-se converter o quadrado da distância de Mahalanobis em um nível de confiança usando a distribuição χ² e definir fronteiras ao redor de cada classe a uma dada distância crítica de Mahalanobis. Ao considerar um método discriminativo (por exemplo LDA), como todos os objetos das classes A e B foram utilizados para o cálculo da matriz de variância-covariância global, as duas elipses traçadas a um dado nível de confiança têm o mesmo volume (variância) e a mesma orientação (covariância), como se pode ver na Figura 4a. Pelo fato de se ter uma única matriz de variância-covariância global para todas as classes, os métodos de classificação discriminativos não podem ser usados como classificadores modelativos, capazes de modelar cada classe individualmente.

Figura 4
Elipses de confiança de duas classes representadas por duas variáveis. (a) Método discriminativo. A matriz S de variância-covariância (volume-orientação) é a mesma para as duas classes; (b) Método modelativo. Cada classe tem a sua própria matriz de variância-covariância

A distância de Mahalanobis ao centroide da classe no método QDA (bem como nos modelativos) também pode ser convertida em um limite de confiança ou probabilidade, assumindo que as classes sejam normalmente distribuídas. Uma vez que cada classe tem a sua própria matriz de variância-covariância, as elipses de confiança têm volume (variância) e orientação (covariância) característicos da classe em questão, i.e., são fronteiras reais fechadas ou não que delimitam cada classe como mostrado na Figura 4b.

Pré-processamento

Uma última diferença operacional entre os métodos discriminativos e modelativos diz respeito ao pré-processamento aplicado às colunas da matriz de dados, i.e., aos descritores (variáveis). No caso do método ser discriminativo, os dados de todos os objetos (incluindo todas as classes) devem ser pré-processados globalmente, uma vez que todas as classes são modeladas simultaneamente. Já para os métodos modelativos, existe a opção de pré-processar cada classe localmente.

Quando as variáveis têm diferentes unidades ou quando a faixa de variação dos dados é grande, recomenda-se o autoescalamento, igualando o impacto de cada uma delas e, assim, minimizamos a influência de uma variável dominante em análises posteriores. O pré-processamento mais frequente quando se trata de dados espectrais é a centragem na média. O efeito causado pelo autoescalamento nesses casos é que todos os comprimentos de onda terão igual peso na análise dos dados, não importando se eles representam um pico, um espalhamento ou simplesmente um ruído de linha de base, o que não é aconselhável. Outro pré-processamento bastante utilizado é o escalamento de Pareto, recomendado quando os picos mais intensos são menos suscetíveis ao ruído. Este escalamento reduz a importância de valores altos, mas não tão drasticamente quanto no autoescalamento, fazendo com que a estrutura dos dados se mantenha parcialmente inalterada.

SOBRE O TIPO DE MÉTODO QUE DEVE SER ADOTADO PARA A OBTENÇÃO DE UMA REGRA DE CLASSIFICAÇÃO: SE DISCRIMINATIVO OU MODELATIVO

A Tabela 4 apresenta um resumo das principais características dos métodos de classificação discriminativos e modelativos.

Tabela 4
Resumo das características individuais dos métodos discriminativos e modelativos

Métodos discriminativos	Métodos modelativos
Requerem no mínimo duas classes	descrevem uma única classe de cada vez
O espaço global é dividido em diferentes regiões, de acordo com o número de classes	definem caixas fechadas cuja forma e tamanho dependem do método utilizado
A posição e características das fronteiras são influenciadas por todas as classes	as fronteiras da classe de interesse não são influenciadas por objetos pertencentes a outras classes
Definem uma região aberta para cada classe e não produzem regiões ambíguas pois as previsões são unívocas: os objetos são atribuídos a uma e somente uma classe	os espaços definidos para as diferentes classes podem se superpor produzindo uma região na qual os objetos são compatíveis com mais de uma classe (região ambígua)
Não possibilitam a detecção de objetos anômalos (uma vez que cada sub-região corresponde a uma classe), a menos que tenha sido definido um limite máximo de aceitação para cada classe	uma porção do domínio global pode estar vazia. Objetos encontrados nessa região não são compatíveis com nenhuma das classes modeladas por serem anômalos ou extremos
As colunas da matriz de dados só podem ser pré-processadas globalmente	as colunas da matriz de dados podem ser pré-processadas local ou globalmente

Um ponto importante a ser considerado ao definir uma estratégia de classificação é se o problema que está sendo investigado permite optar por métodos discriminativos ou modelativos. Por definição, os métodos discriminativos só podem ser aplicados a problemas com duas ou mais classes predefinidas. O principal requisito, e até certo ponto uma limitação, é que eles são apropriados quando o objetivo é a diferenciação entre classes significativamente definidas e muito bem amostradas, i.e., quando houver um conjunto de treinamento representativo para cada classe. Um exemplo típico é a discriminação entre produtos similares originados de processos industriais diferentes, como a diferenciação de uma polpa de tomate armazenada em diferentes tipos de embalagem. Outro exemplo é a discriminação de grãos de café quanto ao grau de torra. Nesses casos, a aplicação dos métodos discriminativos é apropriada e pode ser até vantajosa, uma vez que eles consideram a informação de todas as classes simultaneamente, permitindo uma definição eficiente dos classificadores. Entretanto, em geral, as classes alternativas são mal definidas, heterogêneas e muito provavelmente não são bem representadas uma vez que nem sempre é possível coletar objetos representativos de todos os cenários possíveis como, por exemplo, todos os tipos de adulteração de um combustível ou um produto alimentício. A aplicação dos métodos discriminativos nessas condições irá produzir regras de classificação tendenciosas uma vez que que elas são fortemente dependentes dos objetos das classes alternativas (como vimos na Figura 3). Sendo possível definir e amostrar as classes alternativas adequadamente de tal forma que elas sejam representativas, as estratégias discriminativas podem ser aplicadas com sucesso.

Quando o foco está em uma única classe de interesse e o objetivo é verificar a conformidade de objetos com as características dessa classe, deve-se optar pelos métodos modelativos. A classe de interesse deve estar adequadamente definida e representada e além dela deve existir pelo menos uma classe alternativa constituída de objetos que não satisfazem os requisitos dessa classe alvo. Os métodos modelativos já são tradicionalmente usados em outras áreas de pesquisa há algum tempo, mas seu uso na química ainda é limitado e em muitos casos superado pelos métodos discriminativos. Uma possível explicação para esta escolha é que existe uma tendência generalizada entre os químicos de considerar qualquer problema analítico como quantitativo, dando preferência ao uso dos métodos discriminativos mais familiares como MLR-DA e PLS-DA. Os métodos modelativos são aplicados com sucesso no controle de qualidade de processos para detecção de anomalias onde o produto dentro das especificações define a classe de interesse que é bem definida e representada, enquanto os produtos fora das especificações constituem a classe alternativa. Esses métodos são também indicados para os trabalhos de autenticação em que o modelo de classificação construído com objetos autênticos é usado para testar a autenticidade de um novo objeto independentemente de algum adulterante que tenha sido eventualmente utilizado.

O uso dos métodos modelativos é sugerido quando for necessária a inclusão de novas classes de treinamento. Isso evita repetir todo o processo de modelagem para todas as classes cada vez que um novo grupo é introduzido. Ele é recomendado também quando a regra de classificação for usada para classificações em que pode haver objetos de uma classe não treinada, ou com perfil aberrante devido a erros experimentais, pois o método selecionado deve ser capaz de detectar tais objetos e classificá-los como outliers. Existem na literatura modificações e refinamentos nos métodos discriminativos de modo a aproximá-los dos métodos modelativos. Por exemplo, o uso do método PLS-DA em que valores de influência (leverage) ou T² de Hotelling e resíduos Studantizados ou Q são utilizados para a detecção de outliers³⁶ e identificação de objetos de classes não treinadas. Ambos os termos serão definidos posteriormente.

MÉTODOS SUPERVISIONADOS DE RECONHECIMENTO DE PADRÕES

Dentre os métodos supervisionados discriminativos, destacamos aqui os mais utilizados pelos químicos: a análise canônica, CVA (canonical variate analysis); os métodos de análise discriminante linear, LDA, e quadrática, QDA, o método do k-ésimo vizinho mais próximo, kNN (k^th nearest neighbor) e os métodos inversos de regressão linear múltipla, MLR-DA (multiple linear regression-discriminant analysis) e PLS-DA (partial least squares-discriminant analysis).

Quanto aos métodos modelativos, destaca-se o método original de modelagem flexível e independente por analogia de classes SIMCA (soft independent modeling of class analogy) e as variações SIMCA-modificado (Mod-SIMCA, modified-SIMCA), SIMCA-alternativo (Alt-SIMCA, alternative-SIMCA) e SIMCA-guiado pelos dados (DD-SIMCA, data driven-SIMCA). Além desses, podemos citar os métodos UNEQ (unequal dispersed classes)³⁷ e SVM (support vector machine),³⁸ que também são utilizados pelos químicos.

A seguir, serão discutidos os métodos de reconhecimento de padrões discriminativos mais utilizados na Química, MLR-DA e PLS DA e o método modelativo SIMCA, com algumas de suas variações, que consideramos as mais interessantes.

Métodos discriminativos (multiclasses)

MLR-DA e PLS-DA

MLR-DA e PLS-DA são métodos em que a regra de classificação é formulada através de uma regressão inversa de Y em X.

(3) $$Y=XB+E$$

Nessa Expressão X (I × J) é a matriz de dados já pré-tratada e pré-processada; B (J × L) é a matriz dos coeficientes de regressão em que L é o número de classes; E (I × L) é a matriz de erros nas respostas e Y (I × L) é a matriz resposta codificada, que consiste em um vetor y para cada classe. Para um modelo com as três classes (L = 3), e um total de I objetos (I = I₁ + I₂ + I₃), a matriz Y tem dimensões (I × 3) sendo que os objetos da primeira classe têm todos eles as seguintes coordenadas y₁ = [1 0 0], i.e., o valor um (1) é atribuído aos objetos pertencentes a essa classe, e o restante é igual a zero. Já as colunas 2 e 3 da matriz Y, representam os objetos das classes 2 e 3, nas quais os objetos são designados por y₂ = [0 1 0] e y₃ = [0 0 1], respectivamente, como indicado na Figura 5a. Uma alternativa interessante, quando se trata de duas classes, é utilizar uma única variável dependente representada pelos números +1 para os objetos de uma classe e -1 para aqueles da outra classe (Figura 5a). A matriz B contém os coeficientes de regressão; um vetor b para cada classe e é obtida, para o método MLR-DA, minimizando da soma quadrática dos resíduos como indicado na Expressão 4.

Figura 5
(a) Representação da matriz e vetor de regressão codificados para uso dos métodos de regressão PLS2-, MLR- ou PLS1-DA; (b) fluxograma do método de regressão PLS1

(4) $$\mathbf{B}={\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{Y}$$

Os valores da variável dependente estimados pelo modelo final não são necessariamente os números inteiros zero (0) e um (1), mas valores reais que estão próximos desses números. Por isso estabelece-se um valor de corte entre zero e um para delimitar as duas classes.

A vantagem deste método é que ele é livre de viés e a grande desvantagem é que o cálculo da matriz inversa, (X^TX)^-1, só pode ser feito quando o número de descritores for menor do que o número de objetos e, além disso, a correlação entre eles (descritores) não pode ser alta. Para resolver este problema, pode-se utilizar métodos que são baseados na compressão dos dados como o método de regressão por quadrados mínimos parciais, PLS, que também tem as suas desvantagens. Uma delas é que, ao fazer a projeção dos dados em um subespaço de dimensão reduzida, os modelos passam a ser tendenciosos (não são livres de viés), e o critério de minimização da soma quadrática dos resíduos já não é mais o mesmo do método MLR. Outra desvantagem é sua complexidade: a matemática envolvida no cálculo das variáveis latentes é relativamente maior, e a construção dos modelos de regressão bilineares é, por natureza, mais complexa.

PLS-DA (em especial a variante PLS2) é hoje o método de classificação discriminativo mais utilizado na Química e em várias áreas científicas tais como genômica e metabolômica. O trabalho pioneiro abordou o problema de duas classes usando o método PLS e foi publicado em 1987 por Ståhle e Wold³⁹ no primeiro exemplar do Journal of Chemometrics. Dezesseis anos depois Barker e Rayens⁴⁰ introduziram formalmente PLS-DA como um método de reconhecimento de padrões.

Diferente de MLR-DA, no método PLS não existem restrições quanto ao número ou correlação entre os descritores uma vez que é feita a compressão dos dados em variáveis latentes ao construir o modelo de regressão. A Figura 5b ilustra as etapas envolvidas na construção de um modelo de classificação de duas classes aplicando o método PLS1.

Os métodos discriminativos discutidos aqui assumem a priori uma distribuição normal multivariada N(μ, σ²) para a população de cada classe em que μ representa o centroide e σ² é a sua matriz de variância-covariância. As fronteiras das classes são determinadas pela teoria Bayesiana que afirma que “um objeto é atribuído à classe para a qual ele tem a maior probabilidade de pertencer”.¹⁵

Com o propósito de esclarecer como se faz o uso correto do método PLS-DA, é necessário ressaltar a frequente ocorrência de um erro comum, especialmente das áreas de metabolômica e proteômica, na apresentação de gráficos dos escores resultantes da construção dos modelos de classificação. Westerhuis et al.⁴¹ e mais tarde Kjeldahl e Bro⁴² chamaram a atenção para o fato, mas o erro ainda é comum. Para exemplificar este fato, usaremos um conjunto de dados simulado constituído de 120 objetos sendo 60 da classe A e 60 da classe B para os quais foram calculados 300 descritores aleatórios (variando entre zero e um). Visualizando a Figura 6a, o leitor pode ver que não há tendências na distribuição dos dados originais e é exatamente o que se observa no gráfico de escores ao fazer a análise de componentes principais (Figura 6b). Foi então construído um modelo de classificação com o método PLS-DA utilizando como resposta o vetor y contendo 60 elementos iguais a +1 para os objetos da classe A e 60 elementos iguais a -1 correspondentes aos objetos da classe B, e 2 variáveis latentes, VL. A Figura 7 apresenta os gráficos de escores das duas primeiras variáveis latentes e assim, os autores concluem em seus artigos que os resultados obtidos foram excelentes. No entanto, é comum não estarem cientes de que esses resultados podem ser enganosos e totalmente tendenciosos. Como verificar a confiabilidade do modelo proposto? Uma maneira simples seria comparar os valores dos coeficientes de determinação da calibração e da validação, R² e Q², que nesse exemplo são 0,93 e 0,013, respectivamente, para o modelo com duas variáveis latentes. O coeficiente R² nos indica quão bem os dados se ajustam ao modelo proposto enquanto Q² está relacionado à sua capacidade preditiva, uma vez que foi determinado durante a validação cruzada do modelo, removendo uma amostra por vez. Ambos os parâmetros devem ser próximos, pois desejamos um modelo com bom ajuste e que faça boas previsões. Os resultados da Figura 8a mostram que os dados se ajustam bem ao modelo obtido, mas sua capacidade preditiva é péssima (Figura 8b), como era de se esperar para um conjunto de dados aleatórios. Para entender porque isso acontece, devemos rever como os escores são calculados: a primeira etapa da construção do modelo PLS consiste em determinar a direção w de máxima covariância entre X e y e a seguir, calculam-se os escores, obtidos pela projeção de X ao longo da direção de máxima covariância (etapa 2 da Figura 5b). Os vetores de escores das variáveis latentes seguintes são todos ortogonais (T_A^TT_A é diagonal), explicam a máxima variância residual e têm a máxima covariância com y (etapa 3 da Figura 5b). Lembrando que os valores de y são valores codificados que forçam a discriminação dos objetos (iguais ±1 para duas classes), é natural que os escores descrevam esse comportamento.

Figura 6
Gráficos de um conjunto de dados aleatórios simulados variando de zero a 1. São 60 objetos da classe A (○) e 60 da classe B (□), cada um representado por 300 descritores aleatórios. (a) Gráfico dos 20 primeiros descritores; (b) escores de PC1 versus PC2

Figura 7
Gráfico de escores das duas primeiras variáveis latentes (VL1 versus VL2) do modelo PLS-DA construído com duas variáveis latentes. São 60 objetos da classe A (○) e 60 da classe B (□)

Figura 8
Gráficos de um conjunto de dados aleatórios simulados variando de zero a 1. São 60 objetos da classe A (○) e 60 da classe B (□). (a) Respostas codificadas das classes (± 1) versus valores previstos na calibração para o modelo PLS-DA construído com 2 VL; (b) respostas codificadas (± 1) versus valores previstos na validação cruzada para o modelo PLS-DA construído com 2 VL

Concluindo, não se deve utilizar gráficos de escores das variáveis latentes, a menos que se mostre que o modelo de classificação proposto tem uma boa capacidade preditiva, R² ≈ Q².

Métodos modelativos (de uma classe)

SIMCA original e suas variantes: Mod-SIMCA, Alt-SIMCA e DD-SIMCA

Inicialmente, deve-se esclarecer o significado da sigla SIMCA, “modelagem flexível e independente por analogia de classes”. Segundo Brereton⁴³ e Pomerantsev,⁴⁴ esse é um método flexível (soft modeling) porque permite a sobreposição de duas classes. Já Vitale et al.⁴⁵ argumentam que o método é flexível (soft ≡ empirical) porque os modelos são de caráter empírico, construídos principalmente de observações e medidas extraídas do comportamento global do sistema. O método é independente, pois cada classe é modelada de forma genuinamente independente e individual. Finalmente, o enfoque do método é a similaridade e a analogia entre objetos de uma determinada classe e não as diferenças entre eles, como nos métodos discriminativos.

No método SIMCA e suas variantes, a obtenção da regra de classificação para uma classe qualquer, i.e., a definição de uma “caixa” que recobre toda a classe, consiste em duas etapas. Na primeira etapa, a análise de componentes principais é aplicada ao conjunto de treinamento da classe em estudo (de interesse) e o modelo matemático é estabelecido ao selecionar o número de fatores, A, necessários para descrevê-la. Define-se assim o subespaço dos escores. Na segunda etapa, é definida uma distância ortogonal (DO) de cada objeto a esse subespaço e a regra de decisão que delineia as fronteiras da classe de interesse é formulada. É nessa etapa que, em geral, os métodos se diferem. A construção do modelo de classificação é iniciada considerando a matriz dos dados do conjunto de treinamento X (I × J) da classe de interesse já pré-tratada nas linhas e pré-processada nas colunas. Ao aplicar a análise de componentes principais, X é decomposta no produto de duas matrizes (escores T e pesos L) indicadas na Expressão 5 e então truncada, de tal forma que X_A (I × J) é a matriz X reconstruída com A apenas fatores e é a matriz correspondente à a-ésima componente principal.

(5) $$\begin{array}{rl}& {\Rsh }^{\mathbf{E}=\sum _{a=A+1}^{K\le min(l,l)}{\mathbf{t}}_a{\mathbf{l}}_a^{\mathrm{T}}}\\ \mathbf{X}={\mathbf{T}}_A{\mathbf{L}}_A^{\mathrm{T}}+\mathbf{E}=& {\mathbf{X}}_A+\mathit{E}\\ & ↳{\mathbf{X}}_A={\mathbf{T}}_A{\mathbf{L}}_A^{\mathrm{T}}=\sum _{a=1}^A{\mathbf{t}}_a{\mathbf{l}}_a^{\mathrm{T}}\end{array}$$

A matriz de resíduos E (I × J) define o subespaço ortogonal descrito pelas (K - A) componentes principais consideradas como irrelevantes ao fazer a compressão dos dados para a dimensão A, i.e., que vão de A + 1 até que o posto K da matriz X seja atingido K ≤ min{I, J}. O vetor de resíduos do objeto i,é a i-ésima linha da matriz de resíduos e está descrito na Expressão 6. Ele é ortogonal ao subespaço dos escores e representa a distância Euclideana do objeto i a esse subespaço.³

(6) $${\mathbf{e}}_i^{\mathrm{T}}={\mathbf{x}}_i^{\mathrm{T}}({\mathbf{I}}_J-{\mathbf{L}}_A{\mathbf{L}}_A^{\mathrm{T}})$$

Conforme a metodologia originalmente proposta por Wold,⁴⁶ esses dois subespaços são tratados independentemente. Com respeito ao subespaço dos escores gerado pelas A componentes principais, elas são delimitadas uma a uma usando a coordenada do vetor de escores com o maior valor absoluto, o desvio quadrático médio dos escores em cada PC e t_α que é o valor tabelado da distribuição t de Student com I graus de liberdade no nível de confiança α. Um múltiplo do desvio padrão dos escores foi adicionado ao valor absoluto do escore máximo de cada PC com o objetivo de aumentar a sensibilidade do modelo.¹⁵

Para delimitar o espaço ortogonal, Wold⁴⁶ propôs dois parâmetros na forma de desvio padrão residual: s_i, para o cálculo da distância ortogonal, DO_i, de cada objeto ao subespaço dos escores e s₀, o desvio-padrão residual global, que representa a distância genérica de todos os objetos do conjunto de treinamento ao subespaço dos escores da classe de interesse, como indicado na Expressão 7.

(7) $$\begin{array}{c}D{O}_i=s_i^2=\frac{{\mathbf{e}}_i^T{\mathbf{e}}_i}{(J-A)}=\frac{\sum _{j=1}^J{e}_{ij}^2}{(J-A)}\mathrm{e}\\ s_0^2=\frac{\sum _{i=1}^I\sum _{j=1}^J{e}_{ij}^2}{(I-A-1)(J-A)}=\frac{\sum _{i=1}^I{s}_i^2}{(I-A-1)}\end{array}$$

Nessas expressões, e_ij é o resíduo do i-ésimo objeto na j-ésima variável (Expressão 6), I é o número de objetos do conjunto de treinamento e A é o número de fatores selecionados para descrever o subespaço dos escores. Os termos no denominador, (J - A) e (I - A - 1)(J - A), se referem ao número degraus de liberdade. Convém ressaltar que DO_i nessa Expressão é o quadrado da distância Euclideana, e_i^Te_i, ponderada pelo número de graus de liberdade, (J - A).

Um objeto i é representativo da sua classe quando s_i² for comparável a s₀². Considerando que os parâmetros s_i² e s₀² seguem a distribuição χ² e a razão entre eles, $F_i=\frac{s_i^2}{s_0^2}$, segue uma distribuição F_{(J-A),(I-A-1)(J-A)}, o valor calculado F_i para cada objeto pode ser comparado com o valor crítico, $F_{crit,1-\alpha }^{-1}$, correspondente ao percentil superior (1 - α) da distribuição cumulativa inversa, F^-1. Este é o valor máximo de F, para que um objeto seja classificado nessa classe. Podemos então definir estatisticamente a fronteira no subespaço ortogonal da classe de interesse, s_lim,α, de acordo com a Expressão 8. Essa versão do método SIMCA delimita cada PC do subespaço dos escores, mas a regra de classificação não considera o subespaço dos escores para delimitar a classe como um todo; somente o subespaço ortogonal por meio do desvio padrão residual global.

(8) $$F_{crit,1-\alpha }^{-1}=\frac{s_{lim,\alpha }^2}{s_0^2}\Rightarrow s_{lim,\alpha }^2=F_{crit,1-\alpha }^{-1}{s}_0^2$$

A regra de classificação é então definida da seguinte maneira: um novo objeto p é aceito pela classe em estudo (de interesse) se e somente se a sua distância ortogonal é menor ou igual ao valor limite, $s_p^2\le s_{\text{lim},\alpha }^2$.

SIMCA modificado

Um avanço natural do método proposto por Wold⁴⁶ é o SIMCA modificado, Mod-SIMCA, que delimita a classe de interesse utilizando ambas as distâncias: (1) a ortogonal que é dada pela distância do objeto i do conjunto de treinamento ao modelo das PC e (2) de i ao centro da classe de interesse, dentro do subespaço dos escores. A distância ortogonal é o próprio desvio padrão residual como no método de Wold. No subespaço dos escores, ao invés de delimitar as componentes principais uma a uma, foi proposto considerar o quão distante a projeção de i está do centróide da classe, DS_i, utilizando a distância de Mahalanobis que já foi introduzida na Expressão 1 e em função dos escores na Expressão 9 onde λ_a é o autovalor correspondente à a-ésima componente principal. A grande vantagem dessa estratégia é que os vetores de escores são, por definição, ortogonais e a covariância entre eles é nula.

(9) $$D{S}_i={\mathbf{x}}_i^{\mathrm{T}}(\mathbf{V}\mathbf{a}\mathbf{r}{)}^{-1}{\mathbf{x}}_i={\mathbf{t}}_i^{\mathrm{T}}{\left(\frac{1}{I-1}{\mathbf{T}}^{\mathrm{T}}\mathbf{T}\right)}^{-1}{\mathbf{t}}_i=\frac{1}{(I-1)}\sum _{a=1}^A\frac{t_{ia}^2}{{\lambda }_a}$$

Outra estatística comum para determinar a significância de distâncias multivariadas é T² de Hotteling, especialmente quando assumimos que a média é conhecida e a incerteza está majoritariamente na variância.

(10) $$D{S}_i=T_i^2=\frac{I}{(I+1)}\left({\mathbf{x}}_i^{\mathrm{T}}{\mathrm{Var}}^{-1}{\mathbf{x}}_i\right)$$

É visível a semelhança entre T_i² de Hotteling e a distância de Mahalanobis, D_i².

(11) $$T_i^2=\frac{I}{(I+1)}{D}_i^2$$

Elipsoides de confiança podem ser traçados no subespaço dos escores aplicando a distância de Mahalanobis e a distribuição χ² ou a estatística T² de Hotelling em que $T^2\frac{(I-A)}{A(I-1)}$ segue aproximadamente uma distribuição F_A,(I-A) com A graus de liberdade no numerador e (I - A) no denominador. O valor limite de T² para um dado nível de probabilidade α é dado pelo valor crítico correspondente ao percentil superior (1 - α) da distribuição cumulativa inversa, F^-1, conforme indicado na Expressão 12. É comum utilizar a relação entre T² e a distância de Mahalanobis correspondente a para determinar o limite da classe de interesse no subespaço dos escores (também na Expressão 12).

(12) $$\begin{array}{c}D{S}_{\alpha ,lim}=T_{lim,\alpha }^2=\frac{A(I-1)}{(I-A)}{F}_{crit,1-\alpha }^{-1}\text{ou}\\ D{S}_{\alpha ,lim}=D_{\alpha ,lim}^2=\frac{(I+1)}{I}\frac{A(I-1)}{(I-A)}{F}_{crit,1-\alpha }^{-1}\end{array}$$

Resumindo, o método SIMCA modificado usa dois valores críticos para delimitar a área de aceitação da classe de interesse: a distância ortogonal é delimitada tal como no método de Wold (Expressão 8) e distância de Mahalanobis correspondente à estatística T² de Hotteling (Expressão 12) é usada para delimitar o subespaço dos escores. Resta então formular a regra de decisão para a classificação de novos objetos. Como essas duas distâncias são consideradas individualmente, a regra mais simples seria aceitar um objeto p como membro da classe se e somente se as estatísticas, $D{S}_p=T_p^2\text{e}D{O}_p=s_p^2,$, são simultaneamente iguais ou menores que os respectivos valores limites, para valores críticos no nível de confiança (1 - α).

(13) $$D{S}_p\le D{S}_{\text{lim},\alpha }\text{e}D{O}_p\le s_{\text{lim},\alpha }^2$$

Os resultados obtidos podem ser visualizados por meio de um gráfico de DS = T² versus DO = s² como mostrado na Figura 9. Nesse gráfico, objetos que se encontram dentro das fronteiras foram aceitos como membros da classe enquanto aqueles que estão fora, foram rejeitados. O objeto p₄ foi rejeitado por estar fora do limite ortogonal, embora esteja dentro do limite da classe no subespaço dos escores. Já p₅ foi rejeitado porque se encontra fora do limite no subespaço dos escores, apesar de satisfazer o requisito de estar dentro do limite no no subespaço ortogonal.

Figura 9
Gráfico da distância dos objetos no subespaço dos escores, DS = T², e ortogonal. (DO = s²) da classe de interesse em um modelo SIMCA modificado. As linhas tracejadas, vertical e horizontal, representam as distâncias limites no subespaço dos escores e ortogonal ( e ), respectivamente. O objeto p₃ está fora dos limites e foi rejeitado. Foram incluídos nesta figura, mais dois objetos, p₄ e p₅ que também foram rejeitados pela classe de interesse

A desvantagem dessa versão do método SIMCA é o fato de que duas distâncias e dois valores críticos devem ser satisfeitos simultaneamente fazendo com que o número de objetos incorretamente rejeitados seja maior que o esperado e a sensibilidade do modelo se torna prejudicada. Esse problema pode ser resolvido empregando uma combinação de ambas as distâncias, como veremos a seguir.

SIMCA alternativo

Esta variação do método SIMCA será discutida aqui por ser a metodologia implementada no software PLS_Toolbox (Eigenvector Research, Wenatchee, WA, USA) para Matlab software (MathWorks, South Natick, MA, USA), muito utilizado pelos químicos. Alt-SIMCA apresenta duas inovações sendo que uma delas é a definição do subespaço ortogonal que será delimitado usando a estatística Q e a outra é que as duas distâncias, DO e DS, são combinadas em um único parâmetro. O subespaço dos escores é definido pela distância de Mahalanobis de maneira semelhante ao que acabamos de ver e os limites de confiança desse subespaço são dados pela estatística T² de Hotteling, baseado na definição da distribuição cumulativa inversa, S_lim,α, de acordo com a Expressão 12 considerando A e (I - A) graus de liberdade. Quanto à distância ortogonal do i-ésimo objeto do conjunto de treinamento, também conhecida na literatura como parâmetro Q_i, ela é calculada conforme indicado na Expressão 14.

(14) $$D{O}_i=Q_i={\mathbf{e}}_i^T{\mathbf{e}}_i={\mathbf{x}}_i^{\mathrm{T}}(\mathbf{I}-{\mathbf{L}}_A{\mathbf{L}}_A^{\mathrm{T}}){\mathbf{x}}_i=\sum _{a=A+1}^{K\le min(I,J)}{\mathit{t}}_{ia}^2$$

A formulação utilizada para o cálculo da distância ortogonal limite, Q_lim,α, é totalmente distinta da que vimos anteriormente pois é baseada em critérios muito utilizados para a detecção de falhas e objetos não conformes no controle estatístico de processos multivariados.⁴⁷,⁴⁸ A estatística Q pode ser escrita como uma combinação linear de estatísticas χ² e um procedimento comum, e adequado na grande maioria dos casos, é a aproximação introduzida por Jackson e Mudholkar.⁴⁹

Para entender melhor como a distribuição Q é obtida, vamos usar o fato que o traço da matriz X^TX, $\mathrm{tr}\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)=\sum _{a=1}^{K\le min(I,J)}{\lambda }_a=\sum _{a=1}^A{\lambda }_a+\sum _{a=A+1}^K{\lambda }_a$, onde K é o número total de componentes. A aproximação proposta no método SIMCA alternativo é adequada especialmente quando os autovalores referentes aos resíduos, λ_A+1 até λ_K, são pequenos e numerosos.

O valor limite para a distância ortogonal DO é dado pela Expressão 15,

(15) $$D{O}_{lim,\alpha }=Q_{lim,\alpha }={\theta }_1{[1+\frac{{\theta }_2{h}_0(h_0-1)}{{\theta }_1^2}+\frac{z_{crit,1-\alpha }^{-1}\sqrt{2{\theta }_2{h}_0^2}}{{\theta }_1}]}^{\frac{1}{h_0}}$$

na qual ${\theta }_k=\sum _{a=A+1}^K{\lambda }_a^k$ para k = 1, 2, 3 e $h_0=1-\frac{2{\theta }_1{\theta }_3}{3{\theta }_2^2}$.

Nessa aproximação, ${\theta }_1=\sum _{a=A+1}^K{\lambda }_a$ é a soma dos autovalores, ${\theta }_2=\sum _{a=A+1}^K{\lambda }_a^2$ é a soma do quadrado dos autovalores; ${\theta }_3=\sum _{a=A+1}^K{\lambda }_a^3$ é a soma dos autovalores ao cubo das últimas (K - A) componentes principais e $z_{\text{crit},1-\alpha }^{-1}$ é o valor crítico correspondente ao percentil superior (1 - α) da distribuição cumulativa inversa normal padrão, z^-1.

Como mencionado no início dessa seção, uma das inovações do método SIMCA alternativo consiste na combinação das distâncias DS e DO em um único parâmetro. Para fazer essa combinação, é necessário que ambas as distâncias estejam na mesma escala e assim cada uma foi dividida pelo respectivo valor limite, DO_lim,α = Q_lim,α e DS_lim,α = T_lim,α². Como DS e DO são ortogonais entre si, a distância total, D_i, de uma observação i do conjunto de treinamento ao centroide da classe pode ser dada pela soma das razões das distâncias como indicado na Expressão 16. Esse objeto é representativo da classe se a sua distância ao centroide é $\le \sqrt{2}$.

(16) $$D_i=\sqrt{{\left(\frac{D{S}_i}{D{S}_{lim,\alpha }}\right)}^2+{\left(\frac{D{O}_i}{D{O}_{lim,\alpha }}\right)}^2}\le \sqrt{2}$$

Porque “$\sqrt{2}$”? Essa regra de classificação provém do fato de que os dois termos da Expressão 16 se tornam iguais a 1 quando DS_i e DO_i são iguais aos respectivos valores limite, DS_lim,α e DO_lim,α. Isto é, o objeto se encontra nas fronteiras dos subespaços dos escores e ortogonal. Essa é uma regra bem flexível, pois um objeto pode ser reconhecido pela classe mesmo tendo um valor de DS maior que o valor limite caso esteja próximo do subespaço dos escores, i.e., no caso em que DO é bem menor que DO_lim,α e vice-versa.

A regra de classificação para novos objetos p é então definida como: p será reconhecido pela classe de interesse se e somente se a sua distância ao centroide da classe, calculada de acordo com a Expressão 17 em que DS_p = T_p² e DO_p = Q_p, for $\le \sqrt{2}$.

(17) $$D_p=\sqrt{{\left(\frac{D{S}_p}{D{S}_{lim,\alpha }}\right)}^2+{\left(\frac{D{O}_p}{D{O}_{lim,\alpha }}\right)}^2}\le \sqrt{2}$$

Os resultados podem ser visualizados por meio de gráficos de DS/DS_lim,α versus DO/DO_lim,α, como indicado na Figura 10a. O objeto que havia sido rejeitado anteriormente (Figura 9) foi aceito por este método.

Figura 10
(a) Gráfico de DS/DS_lim versus DO/DO_lim para a classe de interesse de um modelo SIMCA alternativo; (b) comparação dos métodos Mod-SIMCA e Alt-SIMCA. O objeto p₄ que havia sido rejeitado pelo método Mod-SIMCA está dentro dos limites e, portanto, foi aceito pelo método alternativo ao contrário do objeto p₅ que foi rejeitado por ambos os modelos

Para encerrar esta seção, a Figura 10b será utilizada para fazer uma comparação entre os métodos Mod- e Alt-SIMCA com o intuito de enfatizar algumas diferenças entre eles. As linhas tracejadas horizontal e vertical representam os limites no método Mod-SIMCA, $\frac{s_{lim}^2}{D{O}_{lim}}=1$ quando DS = 0 e $\frac{T_{lim}^2}{D{S}_{lim}}=1$ quando DO = 0, respectivamente e o semicírculo de raio igual a $\sqrt{2}$ representa a fronteira da classe de interesse de acordo com o método Alt-SIMCA cujos limites são $\frac{DS}{D{S}_{lim}}=\sqrt{2}$ quando DO = 0 e $\frac{DO}{D{O}_{lim}}=\sqrt{2}$ quando DS = 0.

Considerando a Figura 10b, a classificação obtida pelos dois métodos é a mesma para todos os objetos que se encontram na região sem sombra em que estão os objetos p₁ e p₂, i.e., eles são aceitos por ambos os métodos. Objetos que se encontram na área cinza claro são aceitos pelo método alternativo porque estão abaixo do limite $\sqrt{2}$ enquanto o SIMCA modificado rejeita esses objetos por estarem além dos limites no subespaço ortogonal e/ou dos escores, que é o caso do objeto p₄. Na região cinza escuro se encontram os objetos que são rejeitados por ambos os métodos (objetos p₃ e p₅), podendo ser extremos ou pertencentes a outras classes que não estão sendo modeladas.

Ambas as metodologias têm vantagens e desvantagens. O uso do teste F para a comparação das variâncias residuais das classes no método SIMCA modificado é mais direto do que a estatística Q, mas a sua desvantagem é que são calculados dois valores críticos e as duas estatísticas devem ser satisfeitas individualmente e simultaneamente, diminuindo assim a sensibilidade do modelo. Já no método SIMCA alternativo, o uso das distâncias ponderadas permite que ambas (DS e DO) contribuam igualmente para a regra de decisão. No entanto, o uso de duas distribuições e limites diferentes pode implicar que mais suposições e aproximações sejam feitas, especialmente no que se refere à definição dos graus de liberdade.

Essa combinação de estatísticas T² e Q não é a única opção. Recentemente foi proposta uma nova variação do método SIMCA que combina estatísticas χ², que é o método DD-SIMCA que será discutido na próxima seção.

SIMCA guiado pelos dados

Por último vamos introduzir a metodologia DD-SIMCA proposta mais recentemente por Pomerantsev.⁵⁰-⁵² Nesse método, a sigla DD se refere à análise guiada pelos dados (data driven), como veremos mais adiante. Semelhante ao método alternativo, a distância do objeto i à classe de interesse é dada pela combinação das duas contribuições DS e DO em um único parâmetro. A grande inovação introduzida é o limite estatístico para a detecção de objetos anômalos (outliers). Com respeito ao subespaço dos escores, a distância de cada objeto ao centro da classe é dada pela influência (leverage), h_i, e a distância no subespaço ortogonal é dada pela soma quadrática dos resíduos como no método alternativo (Expressão 14), ambas indicadas na Expressão 18. Comparando a influência e a distância de Mahalanobis da Expressão 9, a diferença é apenas o número de graus de liberdade, (I - 1).

(18) $$D{S}_i=h_i=t_i^{\mathrm{T}}{\left({\mathrm{T}}_A^T{\mathrm{T}}_A\right)}^{-1}{\mathrm{t}}_i=\sum _{a=1}^A\frac{t_{ia}^2}{{\lambda }_a}\text{e}D{O}_i=Q_i={\mathrm{e}}_i^T{\mathrm{e}}_i$$

Como DS_i e DO_i são somas quadráticas, elas podem ser aproximadas pelas distribuições χ²(N_DS) e χ²(N_DO), em que N_DS e N_DO são os respectivos números de graus de liberdade. A distribuição χ² requer que os valores médios das somas quadráticas sejam iguais aos números de graus de liberdade e para satisfazer esse requisito, DS_i e DO_i devem ser divididos pelos seus valores médios, $\overline{DS}$ e $\overline{DO}$, e multiplicados pelos números de graus de liberdade como indicado na Expressão 19.

(19) $$N_{DS}\frac{D{S}_i}{\overline{DS}}\text{e}{N}_{DO}\frac{D{O}_i}{\overline{DO}}$$

Nas versões anteriores do método SIMCA, os números de graus de liberdade eram determinados com base na dimensão do conjunto de dados e o número de PC usado para modelar o subespaço dos escores. No método DD-SIMA eles são valores empíricos estimados por meio dos valores médios ($\overline{DS}$ e $\overline{DO}$) e dos desvios padrões (s_DS e s_DO) das respectivas distâncias como indicado na Expressão 20 e este é o motivo pelo qual o método é designado como “guiado por dados” (data driven, DD). Como o número de graus de liberdade deve ser um número inteiro, toma-se o número inteiro mais próximo do valor calculado.

(20) $${\hat{N}}_{DS}=2{\left(\frac{\overline{DS}}{s_{DS}}\right)}^2\text{e}{\hat{N}}_{DO}=2{\left(\frac{\overline{DO}}{s_{DO}}\right)}^2$$

Sabendo que as duas distâncias indicadas na Expressão 19 são ortogonais entre si e seguem distribuições ${\chi }^2\left({\hat{N}}_{DS}\right)$ e ${\chi }^2\left({\hat{N}}_{DO}\right)$, a distância total D_i do i-esimo objeto do conjunto de treinamento ao centroide da classe de interesse é a soma das duas (Expressão 21) e deve seguir uma distribuição χ² com $({\hat{N}}_{DS}+{\hat{N}}_{DO})$ graus de liberdade.

(21) $$D_i={\hat{N}}_{DS}\frac{D{S}_i}{\overline{DS}}+{\hat{N}}_{DO}\frac{D{O}_i}{\overline{DO}}$$

A distância total D_i pode ser comparada com o valor crítico correspondente ao percentil superior (1 - α) da distribuição cumulativa inversa, χ^-2, e assim define-se na Expressão 22 a distância limite que será empregada como a regra de decisão.

(22) $$D_{\text{lim},\alpha }={\chi }_{\text{crit,}(1-\alpha ,{\hat{N}}_{DS}+{\hat{N}}_{DO})}^{-2}$$

O objeto i do conjunto de treinamento será atribuído à classe de interesse se e somente se

(23) $$D_i\le D_{\text{lim},\alpha }$$

Objetos do conjunto de treinamento ou de previsão que não satisfazem essa condição acima são rejeitados pelos membros da classe de interesse por estarem fora das fronteiras, podendo ser extremos ou anômalos.

Os resultados podem ser visualizados em um gráfico linear de $\frac{D{O}_i}{\overline{DO}}$versus$\frac{D{S}_i}{\overline{DS}}$ conforme mostrado na Figura 11a. De acordo com as Expressões 21 e 22, $\frac{D{S}_i}{\overline{DS}}$ varia de zero quando o objeto se encontra no centroide da classe até $\frac{D_{\text{lim},\alpha }}{N_{DS}}$ e os respectivos valores de $\frac{D{O}_i}{\overline{DO}}$ podem ser calculados pela Expressão $\frac{1}{N_{DO}}(D_{lim,\alpha }-N_{DS}\frac{D{S}_i}{\overline{DS}})$. Na Figura 11a, o objeto p₄ foi aceito como membro da classe enquanto os objetos p₃ e p₅ foram rejeitados.

Figura 11
Gráfico dos limites nos subespaços dos escores e ortogonal para a classe de interesse de um modelo DD-SIMCA. (a) Gráfico $DS/\overline{DS}$ versus $DO/\overline{DO}$ quando o limite de aceitação é linear; (b) gráfico de $\log (1+DS/\overline{DS})$ versus $\log (1+DO/\overline{DO})$. Há dois limites nesse gráfico; o de aceitação da classe de interesse (----) e o limite para detecção de objetos anômalos (----). A área entre os dois limites pertence aos objetos extremos. Nessa versão do método SIMCA, o objeto p₄ foi aceito pelos membros classe. O objeto p₅ foi classificado como extremo e o objeto p₃ foi classificado como anômalo sendo então rejeitado

Como mencionado anteriormente, a grande contribuição desse método é a proposição de um valor limite para a detecção de objetos anômalos, o que para um conjunto de treinamento com I objetos e um limite de significância γ, é dado pelo valor crítico da distribuição cumulativa inversa ${\chi }_{\text{crit,}(1-\gamma {)}^{1/I}}^{-2}$ de acordo com a Expressão 24. Note que essa função percentil depende tanto do valor selecionado de quanto γ do número de objetos no conjunto, I.

(24) $$D_{\text{lim},\gamma }^{\text{out}}={\chi }_{\text{crit.}((1-\gamma {)}^{1/I},N_h+N_v)}^{-2}$$

Sugere-se que o nível de significância γ seja menor que o limite de significância α usado para a definir regra de decisão; por exemplo, se α = 0,05, então γ pode ser definido como 0,01.

Em resumo, no método DD-SIMCA a classe de interesse é delimita por duas fronteiras paralelas sendo que uma delas é o limite de aceitação da classe que foi definido na Expressão 22 e a outra é o limite para a detecção de outliers que acabamos de definir na Expressão 24. A área localizada entre os dois limites corresponde à região de objetos extremos.

Um objeto p é considerado anômalo quando

(25) $$D_p>D_{\text{lim},\gamma }^{\text{out}}={\chi }_{\text{crit.}((1-\gamma {)}^{1/I},N_h+N_v)}^{-2}$$

As distâncias e os limites críticos também podem ser visualizados em gráficos de $\log (1+DS/\overline{DS})$versus$\log (1+DO/\overline{DO})$ como indicado na Figura 11b. Ao incluir o limite de detecção de amostras anômalas p₅, é visível que é um objeto extremo.

CONSIDERAÇÕES FINAIS

Um aspecto crucial na construção de modelos de classificação quando se utiliza tanto os métodos discriminativos como PLS-DA quanto os modelativos como SIMCA é a otimização do número de fatores A (variáveis latentes ou componentes principais, respectivamente) a serem incluídos na construção dos modelos. Ao variar o número de fatores no modelo proposto, modifica-se a sua capacidade preditiva, a qual pode ser avaliada pelas figuras de mérito sensibilidade e especificidade, discutidas na seção “Avaliação das regras de classificação: tabelas de contingência e figuras de mérito”. Para o cálculo de ambos os parâmetros, são necessários dois conjuntos de dados sendo um deles o conjunto de treinamento e o outro, o conjunto de validação. O conjunto de treinamento é utilizado para construir vários modelos com diferentes números de fatores e a seguir, o conjunto de validação é utilizado para calcular os erros na previsão e, por fim, as figuras de mérito. O modelo ótimo é aquele que apresenta um melhor compromisso entre a sensibilidade e a especificidade. Caso o número de objetos seja pequeno, uma alternativa plausível é o uso de métodos de re-amostragem como a validação interna cruzada ou bootstrapping.⁵³ Na validação interna cruzada, um ou mais objetos são excluídos do conjunto de treinamento e posteriormente utilizados para a validação. São construídos modelos com diferentes valores de A e a validação é feita com os objetos excluídos. Esse procedimento tende a produzir resultados super-otimísticos uma vez que os conjuntos de treinamento e validação não são totalmente independentes. Entretanto, eles têm sido utilizados rotineiramente na construção de modelos de classificação. Outra opção para otimizar o número de fatores dos modelos é a utilização das curvas ROC (receiver operating characteristic).⁵⁴

Vale a pena chamar a atenção para o fato de que quando se aplica os métodos modelativos a conjuntos de dados constituídos apenas da classe de interesse (não existe a classe alternativa), os conjuntos de treinamento e de validação contêm apenas objetos da classe de interesse e o número de fatores ótimo será aquele que produz a maior sensibilidade durante a validação do modelo.

Para encerrar, alertamos que havendo objetos anômalos no conjunto de treinamento, eles devem ser identificados e removidos, pois podem alterar significativamente o modelo.

EXEMPLO

Para ilustrar os métodos discutidos neste trabalho, será utilizado um conjunto de dados da literatura⁵⁵ contendo 151 amostras de arroz de 3 países distintos (72 da Índia, 20 do Vietnam e 59 da China), para as quais foram determinados 47 minerais pela técnica de ICP MS. Foram excluídos 8 minerais (elementos repetidos e Cromo). A matriz de dados X (151 × 39) foi autoescalada e separada em dois conjuntos utilizando o método HCA (hierarchical cluster analysis) com a distância Euclidiana e agrupamento de Ward. Três amostras anômalas, uma da China e duas da Índia, foram identificadas e removidas do conjunto de treinamento (foram utilizadas como teste na validação ou previsão). As dimensões das matrizes analisadas são as seguintes: X (115 × 39) para o treinamento e X (36 × 39) para a previsão ou validação sendo 18 da Índia, 5 do Vietnam e 13 da China.

Serão apresentados aqui os resultados obtidos pelos métodos discriminativo (PLS-DA) e modelativos (Alt-SIMCA e DD-SIMCA), selecionando a China como a classe de interesse, X (46 × 39).

Os dados foram autoescalados e o modelo de classificação obtido ao aplicar o método PLS-DA com três variáveis latentes apresentou coeficientes de determinação R² = 0,95 e Q² = 0,92 na validação interna cruzada excluindo uma amostra por vez. A Figura 12a mostra os valores codificados versus previstos na validação, confirmando a capacidade preditiva do modelo proposto. Nestas circunstâncias, o gráfico de escores das variáveis latentes pode ser informativo e está disponível na Figura 12b. As elipses foram traçadas no nível de 95% de confiança. As figuras de mérito, sensibilidade e especificidade, na validação cruzada foram de 100% e a seguir o modelo foi usado para a previsão das amostras do conjunto de previsão, X (36 ×39). Note que excetuando as amostras anômalas, que foram removidas do conjunto de treinamento e incluídas no conjunto de previsão, todas as outras foram corretamente previstas pelo modelo proposto, como pode ser visto na Figura 12c.

Figura 12
Resultados do modelo de classificação PLS-DA para a classe de interesse China. (a) Respostas codificadas (0, 1) versus valores previstos na validação interna cruzada; (b) escores das duas primeiras variáveis latentes (VL1 versus VL2). As elipses foram traçadas no nível de 95% de confiança; (c) valores previstos durante a validação cruzada para as 115 amostras e os valores previstos das 36 amostras do conjunto de validação externa (ou previsão). Em destaque estão as três amostras anômalas que foram removidas do conjunto de treinamento (duas da Índia e uma da China)

A seguir foram construídos modelos de classificação utilizando os métodos modelativos Alt-SIMCA e DD-SIMCA para a classe China. O conjunto de treinamento consiste em 46 amostras da China, X (46 × 39); as 36 amostras utilizadas anteriormente para previsão no modelo discriminativo PLS-DA serão utilizadas para validar o modelo e as 69 amostras restantes para previsão (54 da Índia e 15 do Vietnam). Os dados foram autoescalados e 3 componentes principais se mostraram adequadas para descrever o subespaço dos escores. Os limites das classes foram definidos com 99% de confiança (α = 0,01 e γ = 0,005 para o modelo DD-SIMCA). Os resultados obtidos na construção e validação dos modelos estão nas Figuras 13a e 13b. As figuras de mérito foram ligeiramente diferentes nos dois métodos. A sensibilidade do modelo construído com o conjunto de treinamento foi 95,7% com dois falsos negativos (○) para o modelo Alt-SIMCA (Figura 13a). Essa Figura foi ampliada e estão visíveis apenas as amostras que se encontram mais próximas dos limites da classe (1 do Vietnam e 9 da Índia). Por outro lado, a sensibilidade do modelo DD-SIMCA (Figura 13b) foi de 97,8% com apenas um objeto extremo, (○). Durante a validação, a especificidade foi de 100% em ambos os modelos uma vez que não há falsos positivos. Quanto à sensibilidade na validação, (Figuras 13a e 13b), há dois falsos negativos, (⁕), pois duas amostras da China não foram reconhecidas por ambos os modelos. No entanto, uma delas é uma das amostras anômalas excluídas do conjunto de treinamento e assim, a sensibilidade na validação é igual a 91,7%. Uma vez que os modelos foram validados, pode-se proceder à previsão das amostras restantes da Índia e da China. Os resultados se encontram nas Figuras 13c e 13d. Para facilitar a visualização e comparação dos dois métodos, os resultados da Figura 13c estão no mesmo formato daqueles obtidos pelo método DD-SIMCA e que estão na Figura 13d, i.e., em um gráfico de $\log (1+DS/D{S}_{lim})$versus$\log (1+DO/D{O}_{lim})$. As amostras anômalas foram excluídas dos gráficos, pois estavam distantes do modelo da classe China. Os resultados obtidos pelos dois métodos, Alt-SIMCA e DD-SIMCA, são muito similares e em ambos os casos, duas amostras do Vietnam, (⁕), foram classificadas como sendo da China totalizando assim, dois falsos positivos.

Figura 13
Resultados dos modelos de classificação modelativos para a classe China. (a) Resultados para o modelo Alt-SIMCA. Há dois falsos negativos no conjunto de treinamento (○) e dois no conjunto de validação (⁕) sendo que um deles se refere à amostra anômala que havia sido removida do conjunto de treinamento; (b) resultados para o modelo DD-SIMCA. Há uma amostra extrema no conjunto de treinamento (○. Duas amostras (⁕) foram incorretamente previstas sendo que uma delas é a amostra anômala. Em destaque estão três amostras anômalas que também haviam sido removidas do conjunto de treinamento (duas da Índia e uma do Vietnam); (c) resultados da previsão das amostras da Índia e Vietnam obtidos pelo modelo Alt-SIMCA em gráfico de $\log (1+DS/D{S}_{lim})$ versus $\log (1+DO/D{O}_{lim})$. Duas amostras do Vietnam (⁕) foram reconhecidas como sendo da China; (d) resultados da previsão das amostras da Índia e Vietnam obtidos pelo modelo DD-SIMCA. Duas amostras do Vietnam (⁕) foram reconhecidas como sendo da China

Comparando os resultados obtidos ao se aplicar o método discriminativo e os métodos modelativos à classe China, pode-se dizer que:

(i) Se o objetivo é discriminar a classe China das outras duas, o método PLS-DA é uma boa opção, pois maximiza a separação das classes e, como pode ser visto, produziu um modelo com 100% de sensibilidade e especificidade tanto na construção do modelo quanto na validação (as três amostras destacadas já eram anômalas nos dados originais). A vantagem de se usar o método discriminativo PLS-DA nesse caso é que ele considera as informações das três classes simultaneamente, permitindo uma definição mais eficiente da regra de classificação.

(ii) Nos métodos modelativos aplicados, a classe China foi modelada individualmente, possibilitando a exploração da sua estrutura interna e proporcionando uma identificação mais fidedigna das amostras atípicas (extremos e anômalas). Se o objetivo é testar a autenticidade de uma amostra externa, os métodos modelativos são indicados, pois para que ela seja aceita, o seu perfil deverá ser compatível ao perfil dos membros da classe China.

CONCLUSÕES

Nesse artigo foram apresentados os conceitos básicos dos métodos de classificação ou de reconhecimento supervisionado de padrões. Foram enfatizadas as diferenças entre os métodos modelativos e discriminativos, as características de cada um, e quando se deve optar por uma ou outra metodologia.

Foram discutidos em detalhes os métodos discriminativos de regressão MRL e PLS-DA. Quanto aos métodos modelativos, foi dada ênfase aos métodos SIMCA. Foram discutidos em detalhes os métodos: SIMCA original, SIMCA-modificado, SIMCA-alternativo e SIMCA guiado pelos dados (DD-SIMCA). Foram feitas algumas considerações sobre a otimização/validação dos modelos de classificação propostos. E, para finalizar, foi apresentado e discutido um exemplo real em que foram aplicados o método PLS-DA, Alt-SIMCA e DD-SIMCA.

DECLARAÇÃO DE DISPONIBILIDADE DE DADOS

Os dados utilizados foram extraídos do material suplementar de Quinn et al.⁵⁵

AGRADECIMENTOS

A autora agrade ao CNPq pela bolsa de professor pesquisador e ao Isaac F. Moraes pelo desenho do Graphical Abstract.

REFERÊNCIAS

• ¹ Ferreira, M. M. C.; Antunes, A. M.; Melgo, M. S.; Volpe, P. L. O.; Quim. Nova 1999, 22, 724. [Link] acessado em maio 2026
  » Link
• ² Teófilo, R. F.; Ferreira, M. M. C.; Quim. Nova 2006, 29, 338. [Link] acessado em maio 2026
  » Link
• ³ Ferreira, M. M. C.; Quim. Nova 2022, 45, 1251. [Crossref]
  » Crossref
• ⁴ Jurs, P. C.; Kowalski, B. R.; Isenhour, T. L.; Reilly, C. N.; Anal. Chem. 1969, 41, 690. [Crossref]
  » Crossref
• ⁵ Kowalski, B. R.; Jurs, P. C.; Isenhour, T. L.; Reilly, C. N.; Anal. Chem. 1969, 41, 695. [Crossref]
  » Crossref
• ⁶ Kowalski, B. R.; Bender, C. F.; J. Am. Chem. Soc. 1972, 94, 5632. [Crossref]
  » Crossref
• ⁷ Wold, S.; J. Chromatogr. Sci. 1975, 13, 525. [Crossref]
  » Crossref
• ⁸ Wold, S.; Pattern Recognition 1976, 8, 127. [Crossref]
  » Crossref
• ⁹ Geladi, P.; Esbensen, K.; J. Chemom. 1990, 4, 337. [Crossref]
  » Crossref
• ¹⁰ Esbensen, K.; Geladi, P.; J. Chemom. 1990, 4, 389. [Crossref]
  » Crossref
• ¹¹ Wold, S.; Chemom. Intell. Lab. Syst. 1995, 30, 109. [Crossref]
  » Crossref
• ¹² Wold, S. Em 40 Years of Chemometrics - From Bruce Kowalski to the Future; Lavine, B. K.; Brown, S. D.; Booksh, K. S., eds.; American Chemical Society: Washington, DC, 2015, cap. 1. [Link] acessado em maio 2026
  » Link
• ¹³ Geladi, P.; Kowalski, B. R.; Anal. Chim. Acta 1986, 185, 1. [Crossref]
  » Crossref
• ¹⁴ Martens, H.; Næs, T.; Multivariate Calibration; Wiley: Chichester, 1989.
• ¹⁵ Ferreira, M. M. C.; Quimiometria: Conceitos, Métodos e Aplicações; Ed. Unicamp: Campinas, 2015.
• ¹⁶ Smilde, A.; Bro, R.; Geladi, P.; Multi-Way Analysis: Applications in the Chemical Sciences; Wiley: Chichester, 2004.
• ¹⁷ Biancolillo, A.; Marini, F.; Front. Chem. 2018, 6, 576. [Crossref]
  » Crossref
• ¹⁸ Brereton, R. G.; Jansen, J.; Lopes, J.; Marini, F.; Pomerantsev, A.; Rodionova, O.; Roger, J. M.; Walczak, B.; Tauler, R.; Anal. Bioanal. Chem. 2018, 410, 6691. [Crossref]
  » Crossref
• ¹⁹ Efenberger-Szmechtyk, M.; Nowak, A.; Kregiel, D.; Crit. Rev. Food Sci. Nutr. 2018, 58, 1747. [Crossref]
  » Crossref
• ²⁰ García-Pérez, P.; Becchi, P. P.; Zhang, L.; Rocchetti, G.; Lucini, L.; Trends Food Sci. Technol. 2024, 147, 104481. [Crossref]
  » Crossref
• ²¹ Sena, M. M.; Rocha, W. F. C.; Braga, J. W. B.; Silva, C. S.; Urbas, A. Em Comprehensive Chemometrics, vol. 4, 2^a ed.; Brown, S.; Tauler, R.; Walczak, B., eds.; Elsevier: Amsterdam, 2020, cap. 6.
• ²² Augusti, R.; Fulgencio, A. C. C.; Nogueira, H. M.; Gomes, J. C. L.; dos Santos, L. B.; de Macedo, A. N.; Porto, B. L. S.; Sena, M. M.; Almeida, M. R.; Trends Food Sci. Technol. 2024, 147, 104480. [Crossref]
  » Crossref
• ²³ Dupont, M. F.; Elbourne, A.; Cozzolino, D.; Chapman, J.; Truong, V. K.; Crawford, R. J.; Latham, K.; Anal. Methods 2020, 12, 4597. [Crossref]
  » Crossref
• ²⁴ Olivieri, A. C.; Microchem. J. 2022, 181, 107701. [Crossref]
  » Crossref
• ²⁵ Duarte, J. M.; Sales, N. G. S.; Braga, J. W. B.; Bridge, C.; Maric, M.; Sousa, M. H.; Gomes, J. A.; Talanta 2022, 240, 123154. [Crossref]
  » Crossref
• ²⁶ de Castro, J. S.; Rodrigues, C. H. P.; Bruni, A. T.; J. Chem. Inf. Model. 2020, 60, 2100. [Crossref]
  » Crossref
• ²⁷ Rodrigues, C. H. P.; Bruni, A. T.; Quim. Nova 2021, 44, 553. [Crossref]
  » Crossref
• ²⁸ Soares, L. F.; da Silva, D. C.; Bergo, M. C. J.; Coradin, V. T. R.; Braga, J. W. B.; Pastore, T. C. M.; Quim. Nova 2017, 40, 418. [Crossref]
  » Crossref
• ²⁹ da Silva, T. T. P.; Máquina, A. D. V.; Durans, A. F. F.; da Costa, L. G.; Pinto, F. G.; Garrett, T. J.; Borges Neto, W.; Quim. Nova 2025, 48, e-20250018. [Crossref]
  » Crossref
• ³⁰ Faria, A. V.; Macedo Jr., F. C.; Marsaioli, A. J.; Ferreira, M. M. C.; Cendes, F.; Braz. J. Med. Biol. Res. 2011, 44, 149. [Crossref]
  » Crossref
• ³¹ Terra, L. R.; Queiroz, S. C. N.; Terao, D.; Ferreira, M. M. C.; J. Chemom, 2020, 34, e3244. [Crossref]
  » Crossref
• ³² Correia, R. M.; Cunha, P. H.; Agnoletti, B. Z.; Pereira, L. L.; Partelli, F. L.; Filgueiras, P. R.; Lacerda Jr., V.; Romão, W.; Quim. Nova 2022, 45, 392. [Crossref]
  » Crossref
• ³³ Gomes, A. A.; Diniz, P. H. G. D.; Fernandes, D. D. S.; Ríos-Reina, R.; Azcarate, S. M.; Špánik, I.; Food Chem. 2025, 486, 144531. [Crossref]
  » Crossref
• ³⁴ Fechner, D. C.; Martinez, R. A.; Hidalgo, M. J.; Gomes, A. A.; Pellerano, R. G.; Goicoechea, H. C.; Chemom. Intell. Lab. Syst. 2024, 251, 105156. [Crossref]
  » Crossref
• ³⁵ Bensaude-Vincent, B.; Br. J. Hist. Sci. 1986, 19, 3. [Crossref]
  » Crossref
• ³⁶ Martins, J. P. A.; Ferreira, M. M. C.; Quim. Nova 2013, 36, 554. [Link] acessado em maio 2026
  » Link
• ³⁷ Derde, M. P.; Massart, D. L.; Anal. Chim. Acta 1986, 184, 33. [Crossref]
  » Crossref
• ³⁸ Burges, C. J. C.; Data Mining and Knowledge Discovery 1998, 2, 121. [Crossref]
  » Crossref
• ³⁹ Ståhle, L.; Wold, S.; J. Chemom. 1987, 1, 185. [Crossref]
  » Crossref
• ⁴⁰ Barker, M.; Rayens, W.; J. Chemom. 2003, 17, 166. [Crossref]
  » Crossref
• ⁴¹ Westerhuis, J. A.; Hoefsloot, H. C. J.; Smit, S.; Vis, D. J.; Smilde, A. K.; van Velzen, E. J. J.; van Duijnhoven, J. P. M.; van Dorstene, F. A.; Metabolomics 2008, 4, 81. [Crossref]
  » Crossref
• ⁴² Kjeldahl, K.; Bro, R.; J. Chemom. 2010, 24, 558. [Crossref]
  » Crossref
• ⁴³ Brereton, R. G.; J. Chemom. 2011, 25, 225. [Crossref]
  » Crossref
• ⁴⁴ Pomerantsev, A. L.; Chemometrics in Excel; John Wiley & Sons, Inc.: Hoboken, 2014, cap. 11.
• ⁴⁵ Vitale, R.; Cocchi, M.; Biancolillo, A.; Ruckebusch, C.; Marini, F.; Anal. Chim. Acta 2023, 1270, 341304. [Crossref]
  » Crossref
• ⁴⁶ Wold, S.; Sjostrom, M. Em Chemometrics Theory and Application; Kowalski, B. R., ed.; American Chemical Society: Washington, DC, 1977, cap. 12, p. 243. [Crossref]
  » Crossref
• ⁴⁷ Nomikos, P.; MacGregor, J. F.; Technometrics 1995, 37, 41. [Crossref]
  » Crossref
• ⁴⁸ Wise, B. M.; Gallagher, N. B.; J. Process Control 1996, 6, 329. [Crossref]
  » Crossref
• ⁴⁹ Jackson, J. E.; Mudholkar, G. S.; Technometrics 1979, 21, 341. [Crossref]
  » Crossref
• ⁵⁰ Pomerantsev, A. L.; J. Chemom. 2008, 22, 601. [Crossref]
  » Crossref
• ⁵¹ Pomerantsev, A. L.; Rodionova, O. Y.; J. Chemom. 2020, 34, e3250. [Crossref]
  » Crossref
• ⁵² Kucheryavskiy, S.; Rodionova, O. Y.; Pomerantsev, A.; J. Chemom. 2024, 38, e3556. [Crossref]
  » Crossref
• ⁵³ Efron, B.; Ann. Stat. 1979, 7, 1. [Link] acessado em maio 2026
  » Link
• ⁵⁴ Brown, C. D.; Davis, H. T.; Chemom. Intell. Lab. Syst. 2006, 80, 24. [Crossref]
  » Crossref
• ⁵⁵ Quinn, B.; McCarron, P.; Hong, Y.; Birse, N.; Wu, D.; Elliott, C. T.; Ch, R.; Food Chem. 2022, 386, 132738. [Crossref]
  » Crossref

Editado por

• Editora Associada responsável pelo artigo:
  Gisele S. Lopes

Datas de Publicação

• Publicação nesta coleção
  27 Jul 2026
• Data do Fascículo
  2026

Histórico

• Recebido
  09 Fev 2026
• Aceito
  25 Abr 2026
• Publicado
  19 Maio 2026