Estudo da performance de leitura/pesquisa em Sistemas de Gestão de Bases de Dados row-oriented e column-oriented em diferentes ambientes de execução

Abstract

Tem-se assistido, nos últimos anos, a um aumento considerável no recurso a data warehouses que manipulam enormes quantidades de dados mantendo elevada capacidade para responder a análises e pesquisas ad-hoc. Muitas das soluções actuais para data warehouses baseiam-se em Sistemas de Gestão de Bases de Dados Relacionais com arquitecturas clássicas, designadas por row-oriented. Recentemente surgiram sistemas adoptando o paradigma column-oriented que, em certos casos, apresentam um desempenho com ordens de grandeza superiores. Neste trabalho estuda-se sistematicamente a performance nas operações em data warehouses suportadas por sistemas row-oriented (PostgreSQL e MySQL) e data warehouses suportadas por sistemas column-oriented (MonetDB e ICE). Utilizando o padrão Star Schema Benchmark são efectuadas medições em diferentes ambientes de execução, fazendo variar parâmetros tais como a escala e o CPU. As diferentes medições são armazenadas num data warehouse sendo este explorado por técnicas convencionais e técnicas de Data Mining. Como resultado obteve-se uma caracterização das situações em que o recurso a uma arquitectura column-oriented é mais, ou menos, favorável, face a uma arquitectura row-oriented, no contexto dos data warehouses. As diferentes medições são armazenadas num data warehouse sendo este explorado por técnicas convencionais e técnicas de Data Mining. Como resultado da análise obteve-se uma caracterização das situações nas quais uma arquitectura é mais favorável face à outra, no contexto dos data warehouses. SBSTRACT: There has been, in recent years, a considerable increase in the use of data warehouses that handle massive amounts of data while maintaining high capacity to respond to analysis and ad-hoc queries. Many of the current solutions for data warehouses are still based on classical database management systems architecture, designated by row-oriented. Recently the column­ oriented paradigm has been exploited and implemented in several database systems, revealing in some cases a performance orders of magnitude higher. ln this work, a systematic query performance study is conducted on data warehouses supported by row-oriented database systems (PostgreSQL and MySQL) and data warehouses supported by column-oriented database systems (MonetDB and ICE). Using the Star Schema Benchmark measures are performed under different execution environments, varying parameters like scale and CPU. The different measurements are stored in a data warehouse which is then explored by conventional techniques and Data Mining techniques. As a result of the analysis we obtained a characterization of the situations in which an architecture is more favorable compared to the other, in the context of data warehousing.