Engenharia de dados: por que ela é tão importante em projetos de Data Science?

Se você acompanha o Blog MBA USP/Esalq, então já sabe algumas informações importantes sobre Data Science, certo? Mas você sabe exatamente qual a importância da engenharia de dados para essa ciência?

Conversamos com Jeronymo Marcondes, professor do MBA em Data Science e Analytics USP/Esalq que explicou por que, afinal, a engenharia de dados é tão importante para os projetos de Data Science.

Mas antes, se você ainda não viu, que tal conferir Os 3 pilares de Data Science para quem quer se destacar?

O que é?

Afinal, você sabe o que é engenharia de dados? Segundo Marcondes: “É o nome que damos à área que trabalha os dados para o cientista de dados. Basicamente, engenheiros de dados realizam os processos de extração, transformação e carga de dados (extract, transform, load – ETL).”

Três computadores vistos de cima, trabalhando com Engenharia de Dados. Uma mão no teclado e uma mão no mouse.
Extração, transformação e carga de dados são os processos ligados à Engenharia de Dados

É o engenheiro de dados que garante que os dados cheguem prontos para serem utilizados pelos cientistas de dados.

Para que serve?

E o que os cientistas de dados fazem com as informações que chegam até eles a partir da engenharia de dados? Bom, Data Science é um conceito bastante amplo e complexo de sumarizar. Mas Marcondes procura elucidar alguns processos importantes.

“Em termos gerais, os cientistas de dados trabalham com previsões e inferências. A partir de conhecimentos multidisciplinares, como matemática, computação e estatística, o cientista de dados busca captar, armazenar e processar informações com base em dados, podendo ser geradas essas previsões e inferências”, explica.

Mulher trabalhando com Engenharia de Dados com dois computadores à frente.
A Engenharia de Dados é responsável pelos processos que geram bancos de dados

A relação da engenharia de dados com os processos

A engenharia de dados é responsável, então, por criar os processos que geram os bancos de dados a partir de ETLs.

“A manutenção desses processos, a otimização de resposta dos dados e a arquitetura de alimentação dos sistemas são alguns exemplos de outras atribuições do engenheiro de dados. Resumidamente, o engenheiro de dados irá garantir que os dados que serão utilizados pelos cientistas de dados estejam atualizados, disponíveis e com uma arquitetura eficiente, o que facilita a consulta deles”, detalha Marcondes.

A manutenção dos processos, a otimização de resposta dos dados e a arquitetura de alimentação dos sistemas são algumas tarefas da Engenharia de Dados

O profissional da área

E se você está se perguntando quais características são importantes para o engenheiro de dados, o professor dá a dica!

“Acredito que as principais características são: pensamento analítico, conhecimentos profundos de bancos de dados e métodos de armazenamento e transferência de dados e, principalmente, vontade de resolver problemas. Essa última é a principal característica, em minha opinião pessoal.”

Face de um cubo mágico com as palavras "figure it out", ou "resolva isso", em português, fazendo referência à competência de resolução de problemas na Engenharia de Dados.
Resolução de problemas é uma das competências importantes para a Engenharia de Dados

A engenharia de dados nas crises

Segundo Marcondes, a pandemia de Covid-19 foi um bom exemplo da importância da engenharia de dados. “Muita gente foi para o home office e necessitou que os dados a serem utilizados por uma empresa estivessem disponíveis a distância”, pondera.

Como garantir bancos de dados eficientes para os cientistas de dados? Como garantir que os dados a serem utilizados pelos funcionários e pelas aplicações mantenham sua eficiência na consulta?

O professor responde: “Apesar do papel indispensável dos profissionais de infraestrutura de TI (Tecnologia da Informação), o papel do engenheiro de dados foi fundamental nesses momentos”.

Sistema de banco de dados criado pela Engenharia de Dados.
A Engenharia de Dados é fundamental para a criação de bancos de dados corporativos

Você já conhecia o trabalho do professional de engenharia de dados? O que achou? Deixe seu comentário e se inscreva no MBA em Data Science e Analytics!

Você também pode gostar desses conteúdos:

Autor (a)

Marina Petrocelli
Marina Petrocelli
Mais de 12 anos se passaram desde minha primeira experiência com Comunicação Social. Meus primeiros anos profissionais foram dedicados às rotinas de redações com pouca ou nenhuma relevância digital. O jornalismo plural se resumia em apurar os fatos, redigir a matéria e garantir uma foto expressiva. O primeiro sinal de mudança veio com a proposta para mudar de realidade e experimentar um formato diferente de produzir. Daí pra frente, as particularidades do universo do marketing se tornaram permanentes. Ah! Também me formei em Direito (com inscrição na OAB e tudo). Mas nem tudo se resume às minhas habilidades profissionais. Como produtora de conteúdo, me interesso por boas histórias, de pessoas reais ou em séries, filmes e livros, especialmente distopias. Gosto de montar roteiros de viagens e reconhecer estrelas e constelações em um aplicativo no celular. Museus, música e arte no geral chamam minha atenção, assim como cultura pop.

Compartilhar