BANCO DE DADOS
Criação de ETLs:
Uma transformação registra o passo-a-passo de como a extração ou leitura de uma fonte de informação é realizada.
É a transformação que opera sobre os dados.
Ela pode conter:
- Leitura de dados de uma tabela, de um banco de dados ou de arqvuivos TXT;
- Seleção de campos específicos de uma tabela;
- Concatenação de valores de dois campos distintos de uma tabela;
- Divisão de valores contidos em um único campo gerando dois ou mais novos campos ou linhas;
- Merge de dados de tabelas contidas em bancos de dados diferentes;
- Merge de dados originados em tabelas, arquivos XML, TXT ou CSV, entre outras fontes de dados;
- Aplicação de expressões regulares em texto para limpeza.
Se não houver uma adequada preparação de dados, não será possível extrair conhecimento, pois os dados estarão em estado bruto.
Cabe ao preparador de dados executar várias atividades para tornar os dados brutos em informações relevantes para a criação dos KPIs ou Sistema de Gestão.
Os processos de coletar, limpar, normalizar e combinar dados para análise, são os pontos de partida comum para diversos projetos que visam a descoberta de conhecimento.
Tunning de instruções SQL com Baixo Desempenho:
Muitos administradores de banco de dados atribuem a arquitetura física do servidor como uma das causas diretas do rendimento da execução de consultas e resolvem estes problemas ajustando as características próprias do servidor como aumento do tamanho da memória RAM, número de processadores, o tipo do sistema de arquivos, entre outros.
No entanto, a maioria dos problemas de rendimentos não estão unicamente relacionados à arquitetura física do servidor.
Na maioria das vezes eles estão na forma como desenvolvemos as consultas.
Assim, sua análise para posterior ajuste é essencial.
Devemos analisar:
- O código fonte para localizar erros de sintaxe;
- Obter um plano de execução;
- Executar o script com base no plano elaborado.
A medida que um banco de dados cresce, um assunto inevitável é a melhora da performance de uma consulta SQL.
Em muitos casos aquela consulta que funcionava muito bem para 1.000 registros, não possui mais o mesmo comportamento para 10.000 registros, pior ainda se a expectativa é que o banco possa ter 100.000 registros.
Em alguns momentos ouvimos a frase: “Se estiver funcionando, está bom!”. Esta velha máxima não funciona mais.
Vivemos na era da informação, a todo momento estamos consumindo e gerando dados.
Utilizamos dados para traçar as melhores rotas, para comunicar com os nossos amigos, para fazer previsões, para identificar tendências, para gerar indicadores, entre outras aplicações.
Neste cenário promissor o papel do especialista em Banco de Dados é fundamental. Ocorre que mesmo que a empresa utilize uma estrutura avançada para armazenar seus dados, como um SGBD, por exemplo, ainda é necessário que a empresa possua profissionais especializados na manutenção e gerenciamento dos SGBDs.
Esses profissionais especialistas deverão estar sempre prontos para ajustar o SGBD às metas pré-determinadas da empresa.
Ser orientado a dados, é dar aos decisores empresariais o poder de explorar dados e fazer previsões.
Copyright © 2018 – JPKRAMER Tecnologia e Sistemas Ltda. Todos os direitos reservados. Desenvolvido por JPKramer.