Uma abordagem baseada em análise relacional grey para a avaliação de programas de pós-graduação brasileiros em mestrado em administração de empresas
Pauli A. A. Garcia
pauliadriano@id.uff.br
Universidade Federal Fluminense – UFF, Volta Redonda, Rio de Janeiro, Brasil
Fernanda A. de C. Duim
fernanda.duim@gmail.com
Universidade Federal Fluminense – UFF, Niterói, Rio de Janeiro, Brasil
RESUMO
O desenvolvimento educacional no Brasil tem sido influenciado pelas políticas governamentais, especialmente as direcionadas ao ensino superior. Para avaliar a eficácia dessas políticas, é necessário avaliar a qualidade do ensino oferecido, particularmente no que se refere à educação pública. Neste contexto, tem havido muitas iniciativas para novos programas de pós-graduação. Para serem credenciados, esses programas devem ser aprovados pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), parte do Ministério da Educação. Entre os muitos critérios considerados pela CAPES, a produção acadêmica é a mais importante. Muitos trabalhos que propõem abordagens para classificar os programas da faculdade com base na produção bibliográfica da faculdade foram publicados; entre estes, destacam-se os baseados na análise envoltória de dados. O presente trabalho utiliza abordagem baseada em análise relacional grey. Outra diferença é que a informação é considerada em um programa de mestrado ainda não credenciado, ou seja, que ainda precisa ser avaliado pela CAPES. Uma classificação é estabelecida para este programa em relação aos já credenciados juntamente com uma maneira de identificar os pontos de melhoria e um fator de melhoria para cada atributo considerado. Os resultados indicam que a abordagem é eficiente em relação àquela baseada na análise tradicional de envoltória de dados e sugere áreas para pesquisas futuras nesse campo.
Palavras-chave: Análise relacional grey; Avaliação educacional; Análise multicritério.
INTRODUÇÃO
O papel da educação como elemento chave para aliviar muitos problemas sociais nacionais é cada vez mais reconhecido no Brasil. O governo brasileiro está atualmente buscando modificar suas políticas em vários níveis escolares. Este esforço requer melhores maneiras de avaliar os programas educacionais, para permitir que os políticos com poder de decisão tomem decisões conscientes (Leite et al., 2006).
Particularmente em nível superior, a avaliação do desempenho educacional é geralmente focada nos resultados. Isto é ainda mais importante na avaliação de programas de pós-graduação. Levando em conta o tradicional dito "publicar ou perecer", o objetivo principal dos pesquisadores associados aos programas de mestrado e doutorado é atualmente dirigido a publicações definitivas, isto é, na escrita de livros, capítulos de livros ou trabalhos em revistas científicas. Outros fatores são considerados além da produtividade; no entanto, a produção científica é o principal critério (Leite et al., 2006; Moreira, 2008).
Um número significativo de novas universidades surgiu devido ao plano atual de Reestruturação Universitária (REUNI) e ao plano de divulgação do acesso ao ensino superior nos arredores das principais cidades do país, ampliando assim o número de professores necessários para recompor o quadro profissional das faculdades. É natural que, nesse processo de crescimento, professores e administradores se sintam motivados a expandir seus programas para, além de oferecer cursos de graduação, desenvolver também programas de pós-graduação. Logicamente, essas iniciativas começam com o estabelecimento de programas de mestrado, e depois com a expansão para programas de doutorado. No entanto, esses novos programas serão inevitavelmente avaliados em relação aos existentes e seu desempenho será comparado com o dos programas tradicionais de referência (Martins, 2002; Moreira, 2008).
Devido a esta necessidade de identificar programas de referência, vários trabalhos propuseram abordagens alternativas diferentes das que estão em uso pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Entre essas abordagens, os destaques são aqueles baseados na análise envoltória de dados (DEA) (Meza et al., 2003; Lins et al., 2004; Mello et al., 2008; Lobianco et Meza, 2008). Esses trabalhos identificam programas de referência em seus respectivos campos acadêmicos, baseados particularmente em aspectos associados à produtividade. Diferentes abordagens baseadas em SWOT (Neves et Costa, 2006a) e ELECTRE (Miranda et Almeida, 2004; Neves et Costa, 2006b) também são propostas; no entanto, as baseadas em DEA são considerados as mais apropriadas para lidar com esse tipo de problema.
A identificação de referenciais entre os programas de pós-graduação e a avaliação de seu desempenho não são assuntos novos; no entanto, a análise da inserção de um programa ainda não acreditado em um determinado campo é novidade. As contribuições deste trabalho para pesquisa sobre a avaliação de programas de pós-graduação são: (i) identificação de pontos de melhoria; e (ii) o posicionamento de um novo programa, ou seja, de um programa pendente de avaliação para credenciamento pela CAPES, em relação aos programas já aprovados. Outra diferença em relação às abordagens tradicionais utilizadas é o emprego da análise relacional grey (ARG) para classificar os programas de pós-graduação. De um ponto de vista computacional, a abordagem baseada em ARG é mais eficiente do que a abordagem tradicional da DEA.
O artigo está organizado em cinco seções, incluindo esta introdução. A segunda seção apresenta os conceitos de ARG e a estrutura para avaliar programas de pós-graduação com base nela. A terceira seção apresenta os dados considerados na análise e os resultados obtidos. A quarta seção discute e compara a classificação dos programas em análise entre ARG e DEA. A quinta seção apresenta a conclusão.
TEORIA GREY
A teoria dos sistemas grey foi proposta pelo professor Julong Deng (1982). A ideia por trás dessa teoria é que os dados, tais como as características operacionais, mecanismos, estruturas e comportamento de um determinado sistema, são tidos como deterministas e parcialmente conhecidos. O comportamento do sistema é explorado por análises relacionais e construção de modelos (Lin et al., 2003; Wu et al., 1984 apud Chang et al., 2001).
Tradicionalmente, um sistema totalmente desconhecido, sem dados, é representado por uma "caixa preta". Em contraste, um sistema, sobre qual informação completa está disponível, é considerado como uma "caixa branca". Finalmente, os sistemas com dados incompletos são chamados de sistemas grey. Os elementos grey são aqueles com informações incompletas, e uma relação grey é uma relação com informações incompletas (Liu et Lin, 2006).
O objetivo do presente trabalho é estabelecer relações grey por meio de ARG.
Análise Relacional Grey
Como técnica de medição, a ARG visa determinar a relação entre observações de referência e observações de comparação (ou padrão). Esta relação é estabelecida por meio de coeficientes relacionais grey (CRG) e grau de relacionamento grey (GRG) (Huang et Lee, 2004; Lin et al., 2009).
Considere um conjunto de observações , onde
é uma observação de referência e
são as observações a serem comparadas com ele. Cada observação
tem n atributos e é denotada por
. Geralmente, todos os atributos devem ser processados antecipadamente para normalizar seus valores. Essa normalização é feita da seguinte maneira:
1 – Se o atributo da série for do tipo quanto maior melhor, então a normalização é realizada de acordo com a seguinte fórmula:
Aqui é o valor do atributo j associado à série i e
é o valor normalizado do atributo j da série p. Esta formulação mede a eficácia do limite superior.
2 – Se o atributo for do tipo quanto menor melhor, então a normalização é realizada de acordo com a seguinte fórmula:
Assim como na primeira formulação, é o valor do atributo j associado à série i e
é o valor normalizado do atributo j da série p. Esta formulação mede a eficácia do limite inferior.
3 – Se o atributo é quanto mais próximo da referência melhor, então a normalização é realizada da seguinte forma:
A normalização apresentada na fórmula (3) significa que quanto mais próximo do valor do atributo da série comparativa é o valor pré-especificado, ; mais perto de 1 será o valor normalizado.
Após este processo preliminar de normalização de cada atributo de cada série, o CRG é calculado, da seguinte forma:
onde é tradicionalmente considerado igual a 0,5 (Deng, 1982; Zuo, 1995), i = j = 1, 2, ..., m e k = p = 1, 2, ..., n.
O CRG pode ser visto como o grau de semelhança entre o atributo p da série i e o atributo p da série padrão. Quanto mais perto de um, maior é a semelhança e quanto mais perto de zero, menor é a semelhança.
Depois que os coeficientes relacionais são calculados para cada atributo de cada série, o próximo passo é calcular o grau relacional grey (GRG), conforme mostrado abaixo.
onde é o peso associado ao coeficiente relacional k, lembrando que para cada série haverá um coeficiente relacional para cada atributo. Portanto, os pesos
refletem a importância de cada atributo k e
.
Desta forma, a série que possui o grau relacional grey mais alto é classificada como maior do que as demais. Com base nesse conceito, é estabelecido um ranking entre os programas de pós-graduação avaliados pela CAPES.
CLASSIFICAÇÃO DO PROGRAMA DE PÓS-GRADUAÇÃO COM BASE EM ARG
Como mencionado, o objetivo deste artigo é apresentar uma abordagem diferente para classificar os programas de pós-graduação credenciados pelo CAPES, especificamente um ranking baseado na produtividade acadêmica desses programas.
De acordo com a discussão sobre ARG, a seguinte configuração é usada para analisar os programas de pós-graduação:
a) Cada programa é considerado uma série;
b) A série padrão é estabelecida com base nos melhores atributos de todas as séries;
c) Os atributos considerados para cada série são os apresentados nas tabelas comparativas fornecidas pela CAPES em relação à produção bibliográfica.
Os elementos da produção bibliográfica considerados pela CAPES (2007) são: (i) artigos completos publicados em periódicos técnicos ou científicos; (ii) livros e capítulos de livros.
Os artigos periódicos são ainda classificados, com base no quadro comparativo de 2004, 2005 e 2006, como: (i) Internacional A, B e C; (ii) Nacional A, B e C; e (iii) Locais A, B e C.
Livros e capítulos têm a seguinte subclassificação: (i) texto completo; (ii) capítulos; (iii) coleções; e (iv) artigos curtos, como em enciclopédias e outros livros de referência, entre outros.
Todos os dados acima mencionados foram fornecidos pela CAPES (2007), com base na avaliação trienal.
A partir dos programas recomendados pela CAPES, consideramos apenas os títulos de mestrado acadêmico. A razão para este filtro é que o programa pendente de credenciamento é um programa de mestrado em administração de empresas. Devido a isso, não seria coerente estabelecer comparações com programas de doutorado estabelecidos ou programas de mestrado profissional.
Os programas considerados são apresentados na Tabela 1 abaixo, juntamente com os critérios adotados para classificar os programas.
Tabela 1. Informações sobre os programas de mestrado
Fonte: Os autores o adaptaram da CAPES (2007)
Na tabela acima, os membros da faculdade estão relacionados ao número de professores permanentes no programa; o critério Dissertações está relacionado ao número de dissertações apresentadas nos três anos estudados (2004, 2005 e 2006); Periódicos internacionais refere-se ao número de artigos publicados em periódicos internacionais durante esse período; Os periódicos brasileiros referem-se à quantidade de artigos publicados em periódicos brasileiros no período; Periódicos locais refere-se à quantidade de artigos publicados em periódicos com circulação local; e Capítulos de livros e outros refere-se ao número de livros, capítulos, artigos de referência curtos, coleções, etc. publicados no período. A última linha (em amarelo) corresponde ao novo programa cujos organizadores pretendem registrá-lo com CAPES, buscando obter credenciamento.
De acordo com a metodologia apresentada, primeiramente, os dados da Tabela 1 tinham que ser normalizados para cada programa considerado uma unidade de observação.
Para o critério dos Membros da Faculdade, o modo de normalização foi quanto mais próximo de cinco foi a relação entre Dissertações e Membros da Faculdade, melhor o programa, o que significa a aplicação da equação (3). Para os outros critérios, a normalização foi do tipo quanto maior melhor, o que significa aplicação da equação (1). A Tabela 2 apresenta os números normalizados para cada série.
A normalização realizada para a relação dissertação/professor baseou-se em nossa crença de que cinco alunos por conselheiro de faculdade são uma proporção ótima. No entanto, este valor de referência pode ser alterado como adequado, dependendo do programa e das circunstâncias.
Tabela 2. Dados normalizados
Fonte: Os autores
A partir dos dados normalizados, os coeficientes relacionais grey foram então calculados de acordo com a equação (3). A Tabela 3 mostra esses coeficientes para cada critério de cada série. Quanto mais perto de 1 é o GRG, mais próximo do critério associado à série em análise é o critério alvo associado à série padrão.
Tabela 3. coeficientes relacionais grey
Fonte: Os autores
O próximo passo foi usar os coeficientes relacionais grey para calcular os graus relacionais grey de cada série com a série padrão. Neste momento inicial, o GRG foi calculado de acordo com a equação (4), considerando os pesos como iguais, ou seja, sem fazer qualquer distinção em relação à importância de cada atributo. Com base nesse pressuposto, os programas de pós-graduação foram classificados como se vê na Tabela 4.
Esta tabela mostra o grau relacional grey. Quanto mais perto ele é para 1, mais próximo do programa é o programa padrão, cujos atributos normalizados são todos iguais a 1. Isso permitiu classificar os programas.
De acordo com o ranking mostrado acima, o programa pendente de apresentação para acreditação estaria em oitavo lugar. Obviamente, esta análise baseia-se no critério da produção bibliográfica, considerando que a importância de cada tipo de produção é a mesma, significando o mesmo peso. Este esquema de ponderação também foi considerado no trabalho de Lobianco et Meza (2008). No entanto, isso não prejudica a proposta apresentada neste artigo, como é esclarecido na próxima seção, que discute os resultados obtidos. Observe que, se alguém pretende considerar a importância de cada tipo de produção bibliográfica, pode-se fazer isso considerando diferentes pesos na equação 5, ou seja, pode-se considerar valores diferentes para .
Tabela 4. grau relacional grey e ranking do programa
RESULTADOS E DISCUSSÕES
A Tabela 5 compara a classificação obtida por análise relacional grey com a estabelecida pela CAPES, sem considerar o novo programa. Nesta tabela, as classificações foram obtidas com base na pontuação dada pela CAPES aos programas. Como pode ser visto, existem muitos programas com a mesma pontuação. Portanto, o critério da média das classificações vinculadas foi utilizado para estabelecer a posição dos programas com os mesmos resultados.
Uma análise da correlação entre as classificações obtidas pelos dois métodos produziu um coeficiente de correlação de Spearman de , considerado uma correlação fraca.
Uma possível explicação para esta fraca correlação entre os rankings é que a CAPES considera outros fatores, de natureza mais subjetiva, para atribuir pontuações aos programas. No entanto, apesar das diferenças nos rankings, os coeficientes relacionais grey mostram o quanto os atributos de cada programa precisam melhorar para atingir os valores atribuídos ao programa padrão, caracterizados pela série padrão.
Tabela 5. Ranking emparelhado (CAPES x )
Fonte: Os autores
Por exemplo, em relação aos níveis dos critérios para o novo programa, especificamente os índices normalizados, a melhoria necessária para atingir os índices da série padrão é mostrada pelos fatores na Tabela 6.
Tabela 6. Fatores de critérios de melhoria para o novo programa.
*O fator em questão para os Membros da Faculdade é 1.62 se se considerar que o número de alunos permanecerá igual a 18
A interpretação desses fatores é a seguinte: para cada um dos critérios apresentados na Tabela 6, para que o novo programa corresponda ao programa padrão, cada um de seus critérios de produção deve ser multiplicado pelo fator correspondente. Por exemplo, no caso do número de publicações em revistas internacionais, a produção do novo programa terá que subir 2,67 vezes. A mesma interpretação é realizada para os outros critérios.
Comparação com a abordagem baseada em DEA
O objetivo principal para realizar esta comparação é porque a DEA é a abordagem amplamente considerada para alcançar a análise do programa de pós-graduação (Lins et Meza, 2000; Meza et al. 2003; Lins et al., 2004; Mello et al. 2006, Mello et al., 2008; Lobianco et Meza, 2008).
A técnica DEA, desenvolvida por Charnes et al. (1978), é uma abordagem baseada em programação linear destinada a calcular a eficiência máxima da unidade de tomada de decisão (DMU) em análise. Essa eficiência máxima é uma medida relativa, não absoluta. Em outras palavras, ela é calculada em relação a todas as DMU em análise. O modelo tradicional é conhecido como CCR devido às iniciais de seus inventores, Charnes, Cooper e Rhodes (Lins et Meza, 2000).
onde é o nível de saída y de DMU k,
é o nível de entrada x de DMU k,
é o peso atribuído ao resultado y,
é o peso atribuído à entrada x, e
é a medida de eficiência de DMU 0, i.e., da DMU sob análise.
O modelo representado pela fórmula (5) é aplicado quantas vezes houver DMU em análise. Para mais detalhes sobre modelos DEA, consulte Charnes et Cooper (1990).
O modelo acima foi aplicado aos programas apresentados na Tabela 1, considerando o número de professores como fator de entrada e os respectivos valores de produção de literatura como fator de saída (Lobianco et Meza, 2008). O resultado é mostrado na Tabela 7. Nesta tabela, os programas mais eficientes são classificados mais alto do que os outros. Em outras palavras, os programas com eficiência igual a 100% são chamados de programas de referência e estão na fronteira de eficiência. Os outros programas estão dentro, ou envolvidos por esta fronteira de eficiência.
Tabela 7. Nível de eficiência do DEA
Fonte: Os autores
A Tabela 8 mostra os resultados da comparação dos rankings obtidos pela DEA, sem considerar a presença do novo programa, contra as classificações estabelecidas pelo CAPES.
Tabela 8. Posição emparelhada (CAPES vs. DEA)
Source: The authors
Como apresentado anteriormente, os rankings foram estabelecidos considerando os laços, para facilitar a análise estatística baseada em rankings. Das classificações estabelecidas para os programas, o coeficiente de correlação de Spearman pode ser calculado entre as classificações. Para os dados da Tabela 8, esse coeficiente é . Isso significa que há uma fraca correlação entre os rankings obtidos pela DEA e os estabelecidos pela CAPES (Sheskin, 2004).
A Tabela 9 mostra a comparação das classificações, considerando agora a presença do novo programa em ambos os casos (análise de envoltória de dados e análise relacional grey).
Tabela 9. Posição emparelhada (DEA vs. ARG)
Fonte: Os autores
Finalmente, realizou-se o teste de sinais apresentado por Montgomery et Runger (2003). O resultado obtido foi . Uma comparação desse valor com o valor da tabela para α = 0,05 e n = 27 para um teste unilateral mostrou um valor crítico de 8. Como o valor calculado é maior do que o valor crítico, a hipótese nula não pode ser rejeitada, ou seja, não se pode dizer com 95% de confiança que as duas abordagens usadas para classificar o mestrado em programas de administração de empresas produzem resultados diferentes. Em outras palavras, as duas abordagens são estatisticamente iguais. O coeficiente de correlação entre as duas classificações foi
, que é considerada uma boa correlação.
CONCLUSÕES
Os resultados obtidos pela análise relacional grey mostraram-se coerentes com a abordagem de análise de envoltória de dados. No entanto, em termos de complexidade computacional, a análise relacional grey é mais simples e requer menos custo computacional. A razão é que, para a DEA, um modelo de programação linear deve ser resolvido para cada DMU em análise. Por outro lado, a análise relacional grey utiliza exclusivamente procedimentos de normalização.
Outro fator que merece ser mencionado é que todos os atributos em nossa análise foram ponderados igualmente. Na técnica de análise envoltória de dados, apresentada por Lobianco et Meza (2008), diferentes pesos são considerados no modelo de acordo com as necessidades da DMU em análise. Ou seja, se um dos atributos contribui mais para uma determinada DMU para que seja considerado mais eficiente, esse atributo receberá maior ponderação do que o outro que pode ter uma contribuição negativa. Este latte pode ser desconsiderado na análise, ou seja, o modelo pode considerar um peso igual a zero.
Na classificação DEA, o novo programa foi considerado 100% eficiente. Isso pode estar relacionado à distribuição dos pesos ao resolver os problemas de programação linear. Os modelos tradicionais tendem a não pesar os atributos que prejudicam o desempenho da DMU em análise. Nesses casos, o modelo tende a atribuir um peso de zero a esses atributos, como mencionado acima. Em contraste, ao estabelecer a análise relacional grey para este caso, todos os atributos considerados foram igualmente ponderados. No entanto, isso pode ser modificado se houver informações sobre a importância relativa de cada atributo a ser considerado na análise.
Outros estudos baseados em DEA com outros modelos foram realizados, incluindo: (i) avaliação cruzada (Meza et al., 2003), (ii) retornos variáveis à escala (Faria et al., 2008) e (iii) restrição de pesos (Mello et al., 2006). As propostas desses modelos pretendem fornecer resultados que incorporem características importantes, tais como: (i) distinção dos pesos associados a diferentes tipos de publicação; (ii) variação em termos de número de professores como uma possível variação de escala; (iii) o tempo de existência como sendo uma possível variação de escala; e (iv) maior poder discriminatório de distribuição da DMU por meio de avaliação cruzada. Estes são alguns exemplos associados às diferentes utilizações possíveis de outros modelos baseados em DEA. No entanto, esses modelos tendem a se tornar mais complexos à medida que mais características são incorporadas e outras deficiências podem ser endereçadas a eles. Obviamente, os modelos DEA têm muitos problemas que podem levar a análises importantes. Apesar disso, para uma abordagem inicial simples, a ARG pode ser considerada um método alternativo para ajudar facilmente nesse tipo de tomada de decisão.
REFERÊNCIAS
Chang, C. L.; Liu, P. H.; Wel, C. C. (2001), “Failure mode and effects analysis using grey theory”, Integrated Manufacturing Systems, Vol. 12, No. 3, pp. 211-216.
Charnes, A.; Cooper, W. W. (1990), “Data Envelopment Analysis”, Operational Research, Vol. 90, pp. 641-645.
Coordenação de Aperfeiçoamento de Pessoa de Nível Superior – CAPES (2007). Planilhas Comparativas Trienal. Disponível em: www.capes.gov.br. Acesso em 12 dez. 2009.
Deng, J. L. (1982), “Control problems of grey systems”, Systems & Control Letters, Vol. 5, pp. 288-294.
Deng, J. L. (1989), Introduction to grey system theory, USA: The Journal of Grey System, vol.1, nº.1, pp.1-24. Disponível em: http://portal.acm.org. Acesso em: 13 ago. 2009.
Faria, F. P.; Jannuzzi, P. M.; S. S. J. (2008), “Eficiência dos gastos municipais em saúde e educação: uma investigação através da análise envoltória no estado do Rio de Janeiro”, Revista de Administração Pública, Vol. 42, pp. 155-177.
Huang, C. C.; Lee, H. M. (2004), “A grey-based nearest neighbor approach for missing attributes value prediction”, Applied Intelligence, Vol. 20, pp. 239-252.
Leite, M. F. B. et al. (2010), Métodos quantitativos na avaliação da Capes: uma pesquisa bibliográfica. FACEF Pesquisa, Vol. 9, No. 2, pp. 166-174, Disponível em: http://periodicos.unifacef.com.br/index.php/facefpesquisa/article/view/73. Acesso em: 20 mai. 2010.
Lin, Y. H; Lee, P. C.; Chang, T. P. (2009), “Practical expert diagnosis model based on the grey relational analysis technique”, Expert Systems with Application, Vol. 36, pp. 1523-1528.
Lin, Y., Chen, M.; Liu, S. (2003), “Theory of grey systems: Capturing uncertainties of grey information”, Kybernets, Vol. 33, pp. 196-218.
Lins, M. E.; Meza, L. A. (2000), “Análise Envoltória de Dados e perspectivas de integração no ambiente do apoio à decisão”, COPPE/UFRJ, Rio de Janeiro, RJ.
Lins, M. P. E.; Almeida, B.; Bartholo Junior, R. S. (2004), “Avaliação de desempenho na pós-graduação utilizando a Análise Envoltória de Dados: o caso da Engenharia de Produção”, Revista Brasileira de Pós-Graduação, Vol. 1, pp. 41-56.
Liu, S; Lin, Yi (2006). Grey information: theory and practical applications. Springer, London, UK.
Lobianco, A. T. M.; Meza, L. A. (2008), “Uma proposta para determinação de rankings no ensino superior utilizando a análise envoltória de dados”, Anais do XL SBPO, João Pessoa, PB, 2-5 set., 2008.
Martins, C. B. (2002), “A Formação do Sistema Nacional de Pós-Graduação”, In: Soares, M. S. A. (coord.), A Educação Superior no Brasil, Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, Brasília, pp. 70-87.
Mello, J. C. C. B. S.; Gomes, E. G.; Meza, L. A. et al. (2006), “Engineering Post-Graduate Programmes: A quality and productivity analysis”, Studies in Education Evaluation, Vol. 32, pp. 136-152
Mello, M. H. C. S.; Mello, J. C. C. B. S.; Meza, L. A. (2008), “Modelos DEA para avaliar a atratividade dos cursos de Engenharia da UFF”, Anais do XXVIII ENEGEP, Rio de Janeiro, RJ, 13-16 out. 2008.
Meza, L. A.; Gomes, E. G.; Neto, L. B.; Coelho, P. H. G. (2003), “Avaliação do ensino nos cursos de pós-graduação em engenharia: um enfoque quantitativo da avaliação em conjunto”, Engenvista, Vol. 5, pp. 41-49.
Miranda, C. M. G.; Almeida, A. T. (2004), “Visão multicritério da avaliação de programas de pós-graduação pela CAPES: O caso da área Engenharia III baseado nos métodos Electre II e MAUT”, Gestão e Produção, Vol. 11, pp. 51-64.
Montgomery, D. C.; Runger, G. C. (2003). Applied Statistics and Probability for Engineers. John Wiley & Sons, New York.
Moreira, N. P. (2008), Análise da eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo. Dissertação de mestrado em Administração, Universidade Federal de Viçosa, Viçosa. Disponível em: <http://www.tede.ufv.br/tedesimplificado/tde_ arquivos>. Acesso em: 07 mai. 2010.
Neves, R. B.; Costa, H. G. (2006a), ”Swot, electre tri e sistemas de avaliação da CAPES”, Anais do XXVI ENEGEP, Fortaleza, CE, 9-11 out. 2006.
Neves, R. B.; Costa, H. G. (2006b), “Avaliação de programas de pós-graduação: proposta baseada na integração Electre Tri, SWOT e sistema CAPES”, Sistema & Gestão, Vol. 1, pp. 276-298.
Sheskin, D. J. (2004). Handbook of Parametric and Nonparametric Statistical Procedures. (3rd ed.). Chapman & Hall/CRC, New York.
Wu, H. H.; Deng, J. L.; Wen, K. L. (1984). Introduction to Grey Analysis, Kao-L., Taiwan.
Zuo, F (1995), “Determining method for grey relational distinguished coefficient”, ACM SIGICE Bulletin, Vol. 30, pp. 22-28.
Recebido: 20 Ago. 2014
Aprovado: 20 Set. 2017
DOI: 10.20985/1980-5160.2017.v12n4.806
Como citar: Garcia, P.A.A.; Duim, F.A.C. (2017), “Uma abordagem baseada em análise relacional grey para a avaliação de programas de pós-graduação brasileiros em mestrado em administração de empresas”, Sistemas & Gestão, Vol. 12, No. 4, pp. 391-400, disponível em: http://www.revistasg.uff.br/index.php/sg/article/view/806 (acesso dia mês abreviado. ano).