Colaboração em massa ou amadorismo em massa? Um estudo comparativo da qualidade da informação científica produzida utilizando os conceitos e ferramentas wiki

Abstract

Esta tese pretende contribuir para uma melhor compreensão do fenómeno Wiki enquanto sistema de gestão de conhecimento agregador do conhecimento privado e aferir o grau de confiabilidade da informação criada através da colaboração em massa, anónima e gratuita, por contraponto à abordagem tradicional. Para tal, é desenvolvido um estudo comparativo entre a Wikipédia e a Enciclopédia Britânica de modo a aferir a qualidade dos repositórios de conhecimento por estas produzidos, permitindo, assim, tirar conclusões sobre a eficácia dos modelos de negócio que estão por detrás. É utilizada uma amostra aleatória representativa do universo composto pelos artigos que integram as duas enciclopédias, tendo cada par sido previamente descaracterizado e posteriormente avaliado por um perito proficiente na área do conhecimento em que este se insere. Paralelamente, foi recolhida uma pequena amostra que, por conveniência, apenas integra artigos sobre gestão, sendo cada par de artigos avaliado por vários peritos de modo a determinar a incerteza associada a termos várias avaliações do mesmo artigo e aplicá-la às avaliações efectuadas por apenas um perito. Concluiu-se que a qualidade média dos artigos da Wikipédia analisados era superior à dos seus pares e que esta diferença era estatisticamente significativa. Foi realizado um inquérito junto da academia em que se constatou que as fontes de informação tradicionais eram utilizadas, como primeira abordagem na busca de informação, por uma minoria, e que a confiança nestas fontes era substancialmente maior do que a depositada na informação obtida através da Wikipédia. Esta percepção da qualidade e os resultados diametralmente opostos da avaliação desta numa prova cega reforça a isenção do painel de avaliadores. Apesar de a amostra escolhida ser representativa do universo a estudar, os resultados obtidos dependeram da opinião pessoal dos avaliadores e dos critérios escolhidos, pelo que a reprodutibilidade das conclusões deste estudo, utilizando outro painel de avaliadores, não pode ser garantida, não sendo, no entanto, motivo suficiente para rejeitar liminarmente os resultados obtidos a partir de mais de meio milhar de avaliações. Esta tese é, assim, uma tentativa de ajudar a clarificar o tema e contribuir para uma melhor percepção da qualidade de uma ferramenta, utilizada diariamente por milhões, da colaboração em massa que a alimenta, e do software colaborativo que a suporta; ABSTRACT: With this PhD dissertation, we intend to contribute to a better understanding of the Wiki phenomenon as a knowledge management system which aggregates private knowledge. We also wish to check to what extent information generated through anonymous and freely bestowed mass collaboration is reliable as opposed to the traditional approach. In order to achieve that goal, we develop a comparative study between Wikipedia and Encyclopaedia Britannica with regard to accuracy, depth and detail of information in both, in order to confront the quality of the knowledge repository produced by them. That will allow us to reach a conclusion about the efficacy of the business models behind them. We will use a representative random sample which is composed by the articles that are comprised in both encyclopedias. Each pair of articles was previously reformatted and then graded by an expert in its subject area. At the same time, we collected a small convenience sample which only integrates Management articles. Each pair of articles was graded by several experts in order to determine the uncertainty associated with having diverse gradings of the same article and apply it to the evaluations carried out by just one expert. The conclusion was that the average quality of the Wikipedia articles which were analysed was superior to its peers’ and that this difference was statistically significant. An inquiry was conducted within the academia which certified that traditional information sources were used by a minority as the first approach to seeking information. This inquiry also made clear that reliance on these sources was considerably larger than reliance on information obtained through Wikipedia. This quality perception, as well as the diametrically opposed results of its evaluation through a blind test, reinforces the evaluating panel’s exemption. However much the chosen sample is representative of the universe to be studied, results have depended on the evaluators’ personal opinion and chosen criteria. This means that the reproducibility of this study’s conclusions using a different grading panel cannot be guaranteed. Nevertheless, this is not enough of a reason to reject the study results obtained through more than five hundred evaluations. This thesis is thus an attempt to help clarifying this topic and contributing to a better perception of the quality of a tool which is daily used by millions of people, of the mass collaboration which feeds it and of the collaborative software that supports it.