Desde que conheci o que é API (Interface de programação de aplicação), compreendi que é possível coletar dados da internet a partir de requisições que realizadas em sites, alguns com API a partir de documentação e outros com web scraping (depois de mais de 3 anos estudando agora consigo realizar algo).
A grande vantagem de trabalhar com APIs é a flexibilidade do tratamento dos dados e a forma com que podemos enriquecer nossas bases com cruzamento de diversas fontes de dados.
Uma das limitações, na minha visão, de trabalhar diretamente com o Power Query é que o processamento e principalmente o cruzamento desses dados pode levar mais tempo do que nossa paciência tem.
E por falta de paciência e/ou por questões de destino eu conheci o Pentaho (PDI) em 2019 e tive a “sorte” de conhecer o Rafael Arruda nesse ano. Como um bom vendedor, o Arruda já ofereceu seu curso de DW Completo com PDI para mim e dizendo que era uma boa oportunidade de melhorar meus conhecimentos em tratamento de dados.
Por “sorte”, mesmo com um orçamento MUITO limitado na época, consegui separar um dinheiro e fiz a inscrição para o curso.
Foi a melhor escolha que fiz em 2019, porque foi no curso que ouvi pela primeira vez que era possível coletar os dados de forma rápida e prática da tabela FIPE.
Após alguns anos resolvi atualizar um pouco o conteúdo sobre o assunto para os alunos do curso CHORA API.
Nos dias 10, 11 e 12 de janeiro de 2023 realizei um Workshop AO VIVO via ZOOM EXCLUSIVO para os alunos do curso.
As aulas foram divididas da seguinte maneira:
Aula 01 – Estruturação da coleta de dados a partir dos endpoints da Tabela FIPE:
Aula 02 – Apresentação de loops por paginação, por incremento de datas no Pentaho e automatização da coleta de dados com análise de possíveis erros de requests:
Aula 03 – Construção do DW e alinhamento das etapas de coleta de dados para realização dos tratamentos com carga incremental, tanto na tabela fato quanto na tabela dimensão de veículos:
Carga incremental para tabela dimensão dos veículos:
Carga incremental para tabela fato com histórico dos valores dos veículos:
Job com a estruturação do DW:
Job com a coleta de dados da API para a Stage Area e execução do JOB para atualização do DW:
Se você ficou curioso para ver o que rolou, disponibilizei a aula 3 e todo material desta aula no link abaixo:
Aproveite, porque é uma boa oportunidade para você aprender um pouco mais sobre o Pentaho (PDI).
Compartilhe com seus amigos e colegas esse artigo, pode ser que ajude alguém com o conteúdo disponibilizado.
Além disso, deixe seu comentário aqui, será um prazer respondê-lo.