Modelagem de dados Instagram

[Amandlsp]

Precisamos definir qual modelagem de dados usaremos para os dados do Instagram!

• Mapear todas as tabelas que serão usadas
• Fazer um desenho estrutural e relacional

Recomendo o uso de ferrramentas como o Draw.io e o Excalidraw para facilitar! Leia tbm tópicos sobre modelagem de dados!

[G1chesss]

INFO_Intagram.pdf

Importei o PDF do que foi pedido depois da um toque pra ver se é isso? se nao conseguir abrir, deixei no drive no Raw_conteudo_instagram

[Amandlsp]

@G1chesss boa tarde! Isso no pdf não é modelagem de dados! Vamos marcar uma horário para que a possa fazer juntos. Preciso que vc tenha um conhecimento detalhado do que tem nas planilhas e quais são as nossas planilhas de interesse que contenham os dados que vão responder as perguntas do pessoal de BI.

[G1chesss]

@Amandlsp só escrevi modelagem de dados que é o nome que esta nesse assunto entendeu, sei que isso nao é modelagem, fiz a cronograma do jeito que me falou. (depois podemos marcar uma reuniao pra entender melhor)
Mas vou começar essa semana fazer o catalogo talvez desmembre melhor as coisas.

[Amandlsp]

@G1chesss sem problemas! Vamos só deixar cada coisa em seu lugar, para não ficar confuso e a gente conseguir seguir o fluxo! Vou voltar essa task para desenvolvimento e acredito que na apresentação sobre modelagem de dados vá ficar mais claro pra vcs!

[Amandlsp]

Métricas principais:

• Engajamento
• Número de seguidores
• Novas Visitas
• Churn

[Amandlsp]

Documento com as métricas do linkedin:

• https://docs.google.com/document/d/1cCO8Tssfex4uiU_WIkUYFgCfI3BS3KnSgpwdE8rwH2I/edit?tab=t.0

[Moscarde]

Fiz um rascunho da modelagem dos dados do instagram.
Deixei algumas anotações para revisão.
Inseri apenas tabelas que possam ser relevantes.

Pode ser acessado por esse link:
https://drive.google.com/file/d/1d4LjNgbfg1BDBbsNU9rNoXs7A8ORgEO7/view?usp=sharing

[Amandlsp]

@Moscarde estou sem acesso se puder liberar para mim, por favor!

[Moscarde]

Não sabia que o acesso ficava pendente, mas já liberei.

[Amandlsp]

@Moscarde Boa! É basicamente aquilo lá msm, agora só temos que ver como elas vão se relacionar para gerar valor!!

[Moscarde]

Atualizações no Modelo

1. Adição da coluna extraction_date

• Coluna extraction_date adicionada em tabelas onde faz sentido registrar a data de extração.

2. Inclusão de restrição de unicidade

• Adicionada a característica UNIQUE em colunas cujos valores devem ser únicos, garantindo integridade nos dados.

[Moscarde]

Novas Atualizações

1. Mudança na nomenclatura das tabelas

• Seguindo o modelo sugerido pelo head, adotamos um padrão para garantir maior organização.
• Padrão de nomenclatura: {produto}_{nome do arquivo}_{nome da tabela}_{camada}
  • Exemplo: linkedin_seguidores_localidade_raw

2. Inclusão de coluna ID nas tabelas

• Adicionada uma coluna ID com as propriedades AUTOINCREMENT e PRIMARY KEY em todas as tabelas que não possuíam identificadores únicos próprios.

[Moscarde]

Novas Atualizações

1. Remoção da tabela instagram_audience_top_pages_raw

• Extrair e distinguir os arquivos de Público(Filtrado) demandam uma complexidade maior tanto na etapa de extração quanto na de transformação e seu conteúdo tem pouco valor no momento.