[PDI] Consulta de API da Tabela FIPE


Desde que conheci o que é API (Interface de programação de aplicação), compreendi que é possível coletar dados da internet a partir de requisições que realizadas em sites, alguns com API a partir de documentação e outros com web scraping (depois de mais de 3 anos estudando agora consigo realizar algo).

A grande vantagem de trabalhar com APIs é a flexibilidade do tratamento dos dados e a forma com que podemos enriquecer nossas bases com cruzamento de diversas fontes de dados.

Uma das limitações, na minha visão, de trabalhar diretamente com o Power Query é que o processamento e principalmente o cruzamento desses dados pode levar mais tempo do que nossa paciência tem.

E por falta de paciência e/ou por questões de destino eu conheci o Pentaho (PDI) em 2019 e tive a “sorte” de conhecer o Rafael Arruda nesse ano. Como um bom vendedor, o Arruda já ofereceu seu curso de DW Completo com PDI para mim e dizendo que era uma boa oportunidade de melhorar meus conhecimentos em tratamento de dados.

Por “sorte”, mesmo com um orçamento MUITO limitado na época, consegui separar um dinheiro e fiz a inscrição para o curso.

Foi a melhor escolha que fiz em 2019, porque foi no curso que ouvi pela primeira vez que era possível coletar os dados de forma rápida e prática da tabela FIPE.

Após alguns anos resolvi atualizar um pouco o conteúdo sobre o assunto para os alunos do curso CHORA API.

Nos dias 10, 11 e 12 de janeiro de 2023 realizei um Workshop AO VIVO via ZOOM EXCLUSIVO para os alunos do curso.

As aulas foram divididas da seguinte maneira:

Aula 01 – Estruturação da coleta de dados a partir dos endpoints da Tabela FIPE:

Aula 02 – Apresentação de loops por paginação, por incremento de datas no Pentaho e automatização da coleta de dados com análise de possíveis erros de requests:

Aula 03 – Construção do DW e alinhamento das etapas de coleta de dados para realização dos tratamentos com carga incremental, tanto na tabela fato quanto na tabela dimensão de veículos:

Carga incremental para tabela dimensão dos veículos:

Carga incremental para tabela fato com histórico dos valores dos veículos:

Job com a estruturação do DW:

Job com a coleta de dados da API para a Stage Area e execução do JOB para atualização do DW:

Se você ficou curioso para ver o que rolou, disponibilizei a aula 3 e todo material desta aula no link abaixo:

Cursos Gratuitos | Chora API

Aproveite, porque é uma boa oportunidade para você aprender um pouco mais sobre o Pentaho (PDI).

Compartilhe com seus amigos e colegas esse artigo, pode ser que ajude alguém com o conteúdo disponibilizado.

Além disso, deixe seu comentário aqui, será um prazer respondê-lo.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

© 2024 Direitos Reservados - Chora {API}. Desenvolvido por Augusto Mello

Fale conosco
1
Fale conosco
Olá,
Podemos te ajudar?