Os dados alternativos oferecem às empresas a oportunidade de ganhar vantagem competitiva, mas os custos da sua integração nos fluxos de trabalho podem ser mais do que se pensa.
As fontes de dados alternativas estão agora integradas nos processos empresariais das empresas de vários sectores. De acordo com um inquérito realizado em 2022 pela firma de advogados Lowenstein Sandler, 92% das organizações de investimento, desde fundos hedge e private equity a capital de risco, estão a utilizar dados alt de forma moderada ou significativa para a tomada informada de decisões. Os inquiridos também esperam que a utilização de dados alt aumente até 2022. Normalmente, estes dados provêm do esgotamento de outros processos empresariais, tais como a atividade dos meios de comunicação social, imagens de satélite, dados de localização, transações de cartões de crédito, e escrutínio da web.
Embora os dados alt possam ser utilizados numa organização, desde funções de marketing e vendas a funções financeiras e estratégicas, os departamentos de TI são frequentemente responsáveis pela gestão e propriedade de dados de terceiros. Em 2019, a Forrester Research descobriu que 56% das aquisições de dados alt foram geridas por CIOs e CDOs que trabalham no âmbito das TI.
A aquisição, armazenamento e gestão de dados alt cria novos desafios para os gestores de TI e pode acarretar custos significativos e desnecessários. Aqui estão 5 desses desafios e como mitigar o seu impacto.
1 – Custos de seleção de fornecedores
De acordo com o inquérito da Lowenstein, os custos de seleção de fornecedores são a preocupação mais importante que os utilizadores de dados alt têm, com 61% a dizer que é uma grande preocupação. Os custos incorrem através do demorado processo de verificação dos fornecedores de dados alt e depois de assegurar que os dados que fornecem são de qualidade suficiente. Isto é particularmente importante quando os dados serão um elemento central de qualquer processo empresarial e não são facilmente substituíveis. Nestas situações, é vital que os compradores tenham confiança de que o fornecedor continuará a oferecer estes dados num futuro previsível.
Uma forma de mitigar estes riscos é procurar consórcios industriais para identificar fontes de dados fiáveis. É provável que outras empresas que operam no mesmo sector tenham necessidades semelhantes e possam ser capazes de partilhar ideias e melhores práticas.
2 – Encontrar pessoal devidamente qualificado
De acordo com um inquérito da Quanthub, houve uma escassez de 250.000 cientistas de dados em 2020. Em finais de Abril de 2022, o site Indeed.com listava 2.700 vagas de cientistas de dados só no Reino Unido. Esta escassez de profissionais devidamente qualificados está a forçar o aumento dos salários e a tornar mais difícil a retenção de pessoal. E os cientistas de dados não são o único pessoal necessário para integrar dados alt numa empresa. A Forrester Research recomenda que as empresas empreguem os serviços de ” data hunters”, cujo papel é encontrar dados alt viáveis e validar estas fontes para a exatidão e integridade. O fornecedor europeu de resseguros Munich Re emprega uma equipa de 20 data hunters para este mesmo fim.
As soluções potenciais para esta escassez de competências incluem a formação do pessoal existente, cujo conhecimento do negócio e das suas necessidades dá-lhes um avanço em relação a novas contratações. A criação de ligações com faculdades e universidades que ofereçam cursos de ciências de dados e explorem as possibilidades de estágios de estudantes e programas de formação para licenciados é outra forma de construir um pipeline de competências.
3 – Obter a propriedade dos dados
A natureza dos dados alt e as suas origens em fontes não tradicionais podem tornar a validação da propriedade dos dados mais difícil do que com dados fornecidos por vendedores estabelecidos e de confiança. Isto é especialmente verdade quando múltiplas fontes de dados foram combinadas antes da compra e onde a desanexação das suas origens pode revelar-se complexa. Podem surgir dificuldades em torno do licenciamento, leis de propriedade intelectual e regulamentos de proteção de dados.
Os problemas podem ser mitigados através da seleção de vendedores de confiança que oferecem aos clientes um grau de transparência nos seus métodos de fornecimento de dados. Evidentemente, a utilização de dados internos sempre que possível é outra forma de reduzir o risco.
4 – Atualização de modelos para processar dados alterados
Manter modelos de dados para assegurar a consistência e lidar com os erros à medida que estes ocorrem é um custo significativo que muitas empresas subestimam. A Idera calcula que a manutenção representa geralmente 50-80% dos orçamentos de desenvolvimento. Adicionar novas fontes de dados aos modelos também pode acrescentar custos significativos aos orçamentos esticados.
A modelação cuidadosa dos dados no início e a incorporação de um grau de flexibilidade na conceção dos modelos pode suavizar este processo.
5 – Ferramentas apropriadas para armazenar dados alt
Um quarto dos inquiridos do inquérito da Lowenstein citou a falta de ferramentas e técnicas para armazenar dados alt como uma séria preocupação. Parte do problema reside na falta de coerência entre diferentes fontes em termos de frequência de atualizações, APIs, e formatos de dados. A limpeza dos dados para assegurar que os modelos funcionem sem problemas e produzam resultados consistentes e fiáveis pode ser um custo significativo. As opções cada vez maiores de armazenamento, desde sistemas on-prem a soluções híbridas e em nuvem, e a garantia de que funcionam eficientemente para os requisitos de ingestão de modelos de dados acrescenta outra camada de complexidade e custo à equação.
Como os dados continuam a fornecer uma fonte de vantagem competitiva para empresas capazes de alavancar o seu potencial comercial, os dados alt irão crescer em importância. É importante compreender que enquanto muitas fontes de dados alt podem custar pouco ou nada a aceder, pode haver outros custos, por vezes substanciais, envolvidos na sua adequação ao objetivo e na sua integração em fluxos de trabalho estabelecidos.