DATA WAREHOUSE - requisitos para uma arquitetura

Autor: Carlos Alberto Sowek

Após ter sido definida a construção de um Data Warehouse pela sua corporação, estabelecendo quais os objetivos bem como tendo o aval do nível gerencial, um dos passos além de modelar os requisitos que compõem a solução, é verificar onde vai ficar e como vai ser acessado o Data Warehouse. Neste sentido colocamos algumas perguntas que devem ser levadas em consideração para a definição do ambiente:

1. Em qual tipo de banco de dados serão armazenados os dados?

  • Relacional.
  • Multidimensional.
  • Objeto relacional.

2. Quais as plataformas de hardware a serem usadas?

  • MPP (Massively Parallel Processing).
  • SMP (Symmetric Multiprocessing).
  • SP (Single-processor).

3. Quais as ferramentas para ajudar a construir o ambiente de Data Warehouse?

  • Gerenciamento de metadados.
  • Transformação, limpeza e carga.
  • Construção de EIS e DSS.
  • Data mining.
  • Acesso a web.
  • OLAP no desktop.
  • ROLAP no server.
  • Detecção de eventos, agentes e alertas.

4. Como será liberado o dado para o usuário final?

  • Ferramentas de visualização.
  • Planilhas.
  • Banco de dados desktop.
  • Relatórios impressos.
  • Aplicações especializadas.

5. O banco de dados a ser adquirido é para o ambiente:

  • Corporativo?
  • Corporativo e Departamental?
  • Corporativo, Departamental e Remoto?

6. Qual o número de usuários?

  • Com acesso ao SGBD.
  • No uso da ferramenta OLAP.
  • Acesso via Web.
  • Fazendo data mining.

Tendo respondidas estas questões, o passo seguinte é definir os requisitos que compõem o edital, no caso de ser um órgão público e ter que fazer uma licitação para aquisição dos produtos para compor uma arquitetura de Data Warehouse.

A seguir, mostramos alguns requisitos a serem considerados na questão de aquisição de um SGBD (Sistema Gerenciador de Banco de Dados) e de uma ferramenta de transformação dos dados do ambiente legado para o ambiente de Data Warehouse. Os requisitos a serem abordados são de uma forma geral, não estão enfatizando nenhuma forma de implementação em particular. Com certeza, à medida que for entrando nos detalhes técnicos de seu ambiente e da sua solução, vão existir novos requisitos a serem acrescentados e outros a serem melhor definidos.

Requisitos para um SGBD

Devemos considerar as seguintes características:

  • Processar "queries" mais rápido que num banco de dados tradicional.
  • Usar estruturas de índices eficientes além do B-Tree.
  • Suportar processadores SMP e/ou MPP.
  • Ter arquitetura multithreaded.
  • Suportar o padrão SQL-92 entry level ( no caso de buscar solução aberta, não proprietária).
  • Permitir atualizações em batch.
  • Ter arquitetura otimizada para operações de suporte à decisão somente para leitura.
  • Suportar a criação e carga de novos índices.
  • Sumarizar dados dinamicamente, sem necessidade de armazenar dados agregados.
  • Suportar chaves compostas.
  • Gerenciar eficientemente dados de tamanho variável.
  • Organizar fisicamente os dados numa visão ótima para diferentes formas de acesso.
  • Suportar grandes e diversas demandas da rede.
  • Executar consultas massivas.
  • Permitir a distribuição dos dados.
  • Explorar os processadores disponíveis no hardware.
  • Implementar os VLDB´s.
  • Paralelizar todas as operações.

Requisitos para uma Ferramenta de Transformação

Estas ferramentas devem ter as seguintes características:

  • Suportar várias fontes de dados e plataformas escolhidas.
  • Entender os tipos de dados e fazer a conversão necessária para povoar a plataforma do ambiente analítico.
  • Capturar mudanças no ambiente operacional.
  • Suportar múltiplos tipos de transformação tais como: integração, decodificação e agregação, e assim por diante.
  • Adicionar novas transformações de forma automática.
  • Garantir a integridade do dado.
  • Armazenar metadados em um modo aberto e acessível ao usuário.

Referências Bibliográficas:

WATERSON, Karen. Attention, data-mart shoppers. Byte, Peterborough, v.22, n.7, p.73-78, July 1997.