Se você acompanha o Blog MBA USP/Esalq, então já sabe algumas informações importantes sobre Data Science, certo? Mas você sabe exatamente qual a importância da engenharia de dados para essa ciência?
Conversamos com Jeronymo Marcondes, professor do MBA em Data Science e Analytics USP/Esalq que explicou por que, afinal, a engenharia de dados é tão importante para os projetos de Data Science.
Mas antes, se você ainda não viu, que tal conferir Os 3 pilares de Data Science para quem quer se destacar?
O que é?
Afinal, você sabe o que é engenharia de dados? Segundo Marcondes: “É o nome que damos à área que trabalha os dados para o cientista de dados. Basicamente, engenheiros de dados realizam os processos de extração, transformação e carga de dados (extract, transform, load – ETL).”
É o engenheiro de dados que garante que os dados cheguem prontos para serem utilizados pelos cientistas de dados.
Para que serve?
E o que os cientistas de dados fazem com as informações que chegam até eles a partir da engenharia de dados? Bom, Data Science é um conceito bastante amplo e complexo de sumarizar. Mas Marcondes procura elucidar alguns processos importantes.
“Em termos gerais, os cientistas de dados trabalham com previsões e inferências. A partir de conhecimentos multidisciplinares, como matemática, computação e estatística, o cientista de dados busca captar, armazenar e processar informações com base em dados, podendo ser geradas essas previsões e inferências”, explica.
A relação da engenharia de dados com os processos
A engenharia de dados é responsável, então, por criar os processos que geram os bancos de dados a partir de ETLs.
“A manutenção desses processos, a otimização de resposta dos dados e a arquitetura de alimentação dos sistemas são alguns exemplos de outras atribuições do engenheiro de dados. Resumidamente, o engenheiro de dados irá garantir que os dados que serão utilizados pelos cientistas de dados estejam atualizados, disponíveis e com uma arquitetura eficiente, o que facilita a consulta deles”, detalha Marcondes.
O profissional da área
E se você está se perguntando quais características são importantes para o engenheiro de dados, o professor dá a dica!
“Acredito que as principais características são: pensamento analítico, conhecimentos profundos de bancos de dados e métodos de armazenamento e transferência de dados e, principalmente, vontade de resolver problemas. Essa última é a principal característica, em minha opinião pessoal.”
A engenharia de dados nas crises
Segundo Marcondes, a pandemia de Covid-19 foi um bom exemplo da importância da engenharia de dados. “Muita gente foi para o home office e necessitou que os dados a serem utilizados por uma empresa estivessem disponíveis a distância”, pondera.
Como garantir bancos de dados eficientes para os cientistas de dados? Como garantir que os dados a serem utilizados pelos funcionários e pelas aplicações mantenham sua eficiência na consulta?
O professor responde: “Apesar do papel indispensável dos profissionais de infraestrutura de TI (Tecnologia da Informação), o papel do engenheiro de dados foi fundamental nesses momentos”.
Você já conhecia o trabalho do professional de engenharia de dados? O que achou? Deixe seu comentário e se inscreva no MBA em Data Science e Analytics!
Você também pode gostar desses conteúdos:
