Se passou pelo processo de projetar o seu modelo de dados conceitual e desenvolver a sua lista controlada de termos, é importante documentar a terminologia e os padrões de dados que estabeleceu para fins de gestão das suas informações. Neste artigo, apresentaremos o que é um dicionário de dados e por que ele é importante para a integridade a longo prazo do seu banco de dados.
A nossa intenção com artigo é apresentá-lo a uma maneira de pensar sobre documentar a lógica subjacente às decisões que tomou sobre o design do seu banco de dados. Embora possa parecer um passo tedioso documentar toda a terminologia e padrões de dados que escolheu, em última análise, será útil para futuros utilizadores do seu banco de dados e soluções advindas desse.
A minha motivação para escrever sobre esse tema surgiu, pois, essa semana estivemos a trabalhar num projeto de consultoria em que fizemos a migração de dados do SharePoint para o Dataverse. Isso, obviamente, tem uma série de implicações, pois precisávamos trocar todas as origens de dados de várias apps, flows e relatórios para o Dataverse. A nível de organização e otimização de tempo, criamos um dicionário de dados para nos ajudar nessa solução e implementação. Por isso, gostava de partilhar algumas dicas de como fazer um dicionário de dados eficiente.
O que é o Dataverse?
Os dados estão no centro de tudo o que uma empresa faz hoje e alimenta as ideias que podem conduzir o que deve fazer amanhã. Para prosperar e crescer, as empresas precisam de recolher, analisar, prever, apresentar e reportar dados e fazer tudo com um alto nível de agilidade.
A construção da infraestrutura de dados para permitir a visão do negócio pode ser morosa e dispendiosa. Os dados são originários de uma variedade de dispositivos, aplicações, sistemas, serviços e software como um serviço (SaaS). Este grande e crescente número de fontes consiste frequentemente em múltiplas tecnologias de dados que armazenam diferentes tipos de dados, expõem diferentes APIs e usam uma mistura de modelos de segurança. Os programadores necessários para criar estas tecnologias podem ser caros e difíceis de encontrar. Os programadores devem ter, muitas vezes, uma compreensão profunda de como implementar, configurar, gerir e integrar estas diferentes tecnologias de dados.
O Dataverse aborda estas preocupações com um serviço de dados SaaS fácil de usar, fácil de gerir, conforme, seguro, escalável e globalmente disponível. O Dataverse capacita as organizações a trabalhar com qualquer tipo de dados e qualquer tipo de aplicação, e usar os dados dentro dela para obter insights e impulsionar a ação empresarial.
Como parte da Microsoft Power Platform, o Dataverse tem três grandes centros de destaques:
- Disponibilidade e Escalabilidade
- Segurança
- Conformidade
Pontos esses que nos fizeram migrar do SharePoint para o DV. Sendo a segurança o principal motivo, pois o Dataverse utiliza mecanismos de gestão de identidade e acesso de Azure Active Directory para ajudar a garantir que apenas os utilizadores autorizados possam aceder ao ambiente, dados e relatórios. E isso faz toda a diferença!
O Dataverse utiliza a segurança baseada em funções para agrupar uma coleção de privilégios. Estas funções de segurança podem ser associadas diretamente aos utilizadores, ou podem ser associadas a equipas Dataverse e unidades de negócio.
Outro motivo de bastante relevância que nos motivou a trocar foram os limites de delegação que o SharePoint possui quando se trata de aplicações. Problema esse que nos impede de fazer filtros e ordenações em tabelas com mais de 2000 linhas.
O que é um dicionário de dados?
Dicionário de dados é:
- Uma forma de se organizar
- De detalhar quais são os dados que temos
- O que eles significam e de que tipo são
Ele é, essencialmente, um livro de regras
- quais dados incluir em seu banco de dados,
- como deve ser estruturado,
- como ele deve ser inserido, e
- como deve ser acedido
Este dicionário será um repositório de nomes, definições e atributos que fornecem informações contextuais sobre os dados no seu banco de dados. O dicionário descreve cada campo de banco de dados com uma definição clara de quais informações são capturadas nesse campo e as regras para utilizar esse campo.
Quando começar a desenvolver o seu dicionário de dados e determinar os elementos que deve incluir, é importante considerar o que seria importante para alguém que não está familiarizado com o seu banco de dados saber sobre os dados mantidos dentro. Ele deve ser a ferramenta ideal para qualquer pessoa entender tudo sobre o seu conjunto de dados.
Um dicionário de dados é fundamental para a sustentabilidade de qualquer banco de dados, especialmente quando é usado por várias pessoas, como é o nosso caso aqui na Portal Gestão. Talvez saiba ler e interpretar os seus dados. No entanto, se deixasse a sua organização amanhã, outra pessoa saberia aceder, ler e interpretar os dados que faz? O seu dicionário de dados garantirá que, não importa o que aconteça, exista documentação que explicará tudo o que alguém precisa saber sobre o seu banco de dados.
Como criar um dicionário de dados?
Pode ser feito de diversas formas. Mas a forma que vou mostrar hoje é no bom e velho Excel.
Para criar um dicionário de dados, é importante primeiro considerar algumas perguntas:
- O que cada elemento nos seus dados representa? O que está a descrever?
- Quais são as tabelas e colunas existentes?
- Qual o caminho (URL, por exemplo) de cada uma delas
- Quais são as colunas com valores exclusivos?
- Quais são as colunas com valores nulos?
- Quais são os relacionamentos entre as tabelas? Quais são as chaves primárias?
- Quais os valores permitidos em cada coluna
- Esses dados estão ligados com algum flow (Power Automate) que precisará de ser alterado ?
Exemplos:
Identificação das tabelas
Coluna criadas:
- No tabela
- Nome lógico Dataverse
- Tabela
- Descrição
- Link SharePoint
- Link Dataverse
- Relacionamentos
- Anotações
Flows Utilizados
- Nº flow
- Nome do flow
- Link
- Objetivo do flow
Ambientes no Power Apps
- Ambiente
- Solução
- Link
Colunas
- Nº da tabela
- Nome da tabela
- Nome da coluna
- Descrição
- Valores permitidos
- Alternate Key (usado para a modelagem dos dados)
- Permite valores exclusivos?
- Possui valores nulos?
- Choices (coluna no DV)
- Link da tabela
- Regras de negócios
- Anotações
- Nome da coluna no SharePoint
- Nome lógico da coluna no Dataverse (útil para fazer a programação no Power Apps e no Power Automate)
Coluna a apagar no Dataverse
- Nº da tabela
- Nome da tabela
- Coluna
- Nome da coluna no esquema do Dataverse
- Nome lógico da coluna no Dataverse
- Motivo para apagar
Relacionamentos
- Nº da tabela 1
- Nome da tabela 1
- Nome da coluna 1
- Modelagem da coluna 1
- Modelagem da coluna 2
- Nome da coluna 2
- Nome da tabela 2
- Nº da tabela 2
- Link do relacionamento no Dataverse
- URL do modelo no site draw-io
Costumamos utilizar o site https://app.diagrams.net/ para fazer a modelagem dos dados. Aliás, num processo normal de construção de apps, esse é um dos primeiros passos que utilizamos: definir a modelagem dos dados. Dessa forma, temos de forma clara, quais são as tabelas que vamos precisar, quais as colunas, os tipos de relacionamentos, as chaves primárias e os tipos dos dados.
Considerações finais
Catalogar as tabelas e colunas de uma empresa nem sempre é tarefa fácil, no entanto, quando feita, torna-se uma grande mais-valia para qualquer empresa.
Tendo em vista:
- a comunicação entre colaboradores que entram e saem das empresas,
- a transparência no significado e terminologias de diferentes departamentos (trabalho integrado entre equipas)
- gestão dos dados e a sua governança.
Mantenha o dicionário de dados da sua empresa sempre atualizado e verá os benefícios disso.
Vemo-nos nos próximos artigos.