O Princípio da Entropia Máxima

Abstract

Muitos métodos baseados na entropia de Shannon (1948) são cada vez mais utilizados em várias áreas cientíÞcas, nomeadamente na econometria, na economia e nas Þnanças. Na aplicação e desenvolvimento da entropia e suas variantes são de realçar as noções de incerteza, de informação e de "distância" ou "divergência" entre distribuições como principais tópicos no desenvolvimento estatístico, sendo de referenciar os trabalhos realizados por Kullback, Akaike, Shannon, Hartley, Golan e Reny. No âmbito da econometria os principais contributos têm sido dados por Maasoumi, White, Granger, Robinson, Racine (Maasoumi, 1993), SooÞ (1997), Ebrahimi e SooÞ (1999) e Zellner (1996). De acordo com o princípio da entropia máxima e mínima informação é possível encontrar a distribuição de probabilidade que mais se adequa aos dados, na qual é minimizado o uso inadvertido de qualquer tipo de informação que não a explicitamente disponível, podendo ser encarado como um ramo da inferência estatística (Maasoumi, 1993). Este método foi inicialmente formulado por Gibbs após observação de que na termodinâmica a entropia num sistema fechado, aumenta continuamente até atingir um valor máximo de desorganização e incerteza. Em 1948 Shannon apresenta a entropia como medida de “não-informação” ou informação perdida, demonstrando que um sistema fechado, ao qual não é injectada informação, tende para um estado de entropia máximo. Deste modo, o Princípio da Entropia Máxima pretende a maximização da entropia numa função de distribuição. Esta função de distribuição será aquela que menos restringe a incerteza, a missing information, logo será uma função de distribuição mais livre e ampla (Shannon, 1948).