Hoje a grande preocupação é ter uma solução rápida flexível e económica de consulta dos dados. É a história do armazenamento de dados.
Há cerca de cinquenta anos, os tambores magnéticos deixaram de ser suficientemente capazes para armazenarem todo o sistema de abastecimento da Força Aérea em Ohio (EUA).
Foi assim que a IBM inventou a unidade de discos rígidos. Na realidade, não era uma ideia nova, mas até então não era considerada necessária.
Os cartões perfurados e as fitas magnéticas podiam armazenar uma quantidade ilimitada de dados, mas o acesso a qualquer objecto específico era lento.
Os dispositivos de tambor magnéticos, que armazenavam bits de informação na superfície de um tambor magnético rotativo, podiam armazenar entre 2KB e 8KB de dados e permitiam um acesso aleatório rápido, logo, quem é que precisaria de mais?…
Evolução
…Exactamente a Força Aérea dos Estados Unidos. Em 1953, um depósito de abastecimento da força Aérea em Ohio queria ter acesso instantâneo a 50 mil registos do inventário, quer dizer, muito mais do que podiam conter os tambores e muito mais rapidamente do que podia fazer-se com a cinta magnética.
Deste modo, uma equipa de engenheiro da IBM, em São José, Califórnia, ocupou o ano seguinte a desenhar um dispositivo de 5MB com uma torre de 50 discos de dois pés de diâmetro a girar a 3600 rotações por minuto e utilizando ar comprimido para impedir que a cabeça de leitura/escrita se esborracha-se contra a superfície do disco.
Em 10 de Fevereiro de 1954, os engenheiros gravaram e leram de seguida as primeiras palavras gravadas com êxito numa unidade de disco rígido: “Foi um dia de progresso sólido”.
E foi assim que surgiu a base para o que sustenta o moderno armazenamento em massa. O dispositivo RAMAC 305 da IBM deu a esta empresa a vantagem inicial a que a Big Blue chamou DASD (Direct Access Storage Device).
No entanto, em 1962, outros fornecedores estavam a fabricar sistemas de disco rígido para mainframes, e a capacidade dos discos já tinha aumentado para 28MB.
Estas unidades permitiram tornar prático o processo de transacções online (OLTP), já que as empresas podiam aceder agora a grandes quantidades de dados de inventário e clientes em tempo em tempo real em vez de utilizar o processo por lotes ou batch.
Não obstante, ao aumentar o volume dos dados online, a gestão do armazenamento de dados converteu-se num problema importante.
A capacidade das unidades de disco continuava a ser limitada, pelo que ainda se continuavam a utilizar em grande medida cartões perfurados e fitas magnéticas de meia polegada para fazer o backup dos dados de transacções online.
No início dos anos 70, os programas utilitários para backup e restauração de disco formavam uma parte standard dos sistemas operativos mainframe.
Em 1973, os laboratórios da IBM, em São José, criaram outro avanço decisivo: o disco Winchester Modelo 3340, um disco rígido fechado hermeticamente com cabeças de leitura/escrita com pouco peso que funcionavam a 18 micro-polegadas sobre a superfície do disco, em comparação com as 800 micro-polegadas do dispositivo RAMAC.
Uma maior capacidade, rendimento mais rápido e menores custos resultantes converteram a tecnologia Winchester no novo standard.
Foi então que se começou a adoptar a tecnologia Winchester e a conectar os discos rígidos a computadores de escritório utilizando uma conexão paralela independente do dispositivo chamada SASI (Shugart Associates Standard Interface).
Em 1982, a SASI recebeu um novo nome: SCSI (Small Computer Systems Interface) e converteu-se num standard para conectar dispositivos de armazenamento de dados a computadores de todos os tamanhos.
Durante os anos 80, os fabricantes de sistemas continuaram a melhorar os programas de utilidade para migrar os dados inactivos online para a fita magnética, consolidar o espaço de armazenamento não utilizado e compactar os dados arquivados.
Em 1988, investigadores da Universidade da Califórnia, em Berkeley, publicaram a sua descrição de “conjuntos redundantes de discos de baixo custo, ou RAID (Redundant Arrays of Inexpensive Disks).
Estes conjuntos de unidades de disco tinham sido utilizadas anteriormente para substituir discos grandes e dispendiosos, mas esta equipa criou uma arquitectura completa que com o tempo se converteu no standard do sector.
As novas “jukeboxs”
O RAID não foi a única mudança que teve lugar no mundo tradicional do armazenamento de dados em disco e fita. Nos finais dos anos 80, chegaram os discos ópticos de leitura única, como os CD-ROM.
Estes eram mais lentos, mas mais duradouros que a fita e era mais fácil aceder a eles utilizando sistemas tipo “jukebox” automatizados.
Nos anos 90, a procura de espaço de armazenamento aumentou vertiginosamente, por causa Data Warehouse, do processo analítico online (OLAP), das aplicações multimédia e da Internet.
Ao mesmo tempo, enquanto que a velocidade das conexões de armazenamento de conexão directa tradicionais – como SCSI e canal de fibra – tinham aumentado para 100BM/s, as taxas de transferência por Gigabit Ethernet eram inclusivamente mais rápidas.
Em 1995, o fabricante de produtos de armazenamento EMC criou o conceito de armazenamento conectado em rede, ou NAS (Network Attached Storage), através do qual se podia aceder a dispositivos de armazenamento a partir de qualquer computador numa rede de alta velocidade.
Hoje, as Storage Area Networks (SAN) podem incluir conjuntos RAID que fazem o seu próprio backup em fitas automaticamente, “jukeboxs” de discos ópticos rápidos e automatizados e servidores de cartuchos de discos, todos eles ligados através de redes rápidas e controladas por software de gestão de armazenamento.
Sistemas DAFS: mais espaço de armazenamento
Um dos protocolos de armazenamento na moda actualmente é o Sistema de Acesso Directo a Ficheiros ou DAFS (Direct Access File Systems). Sob um sistema DAFS, os dados são transferidos directamente desde o armazenamento de dados ao cliente em forma de ficheiros lógicos, em vez de blocos de armazenamento físico.
Assim o DAFS melhora consideravelmente o rendimento, porque o pedido e o seu cumprimento passam pelo kernel do servidor e vai directamente ao sistema de ficheiros.
Este protocolo reconhece a rapidez e a fiabilidade dos protocolos Gigabit Ethernet e InfiniBan actuais, permite o acesso directo remoto à memória ou RDMA (Remote Direct Memory Access) entre aplicações que funcionam em máquinas diferentes e um cluster ou numa rede LAN e está criado em volta de ficheiros e não em volta de blocos.
Para compreender melhor o DAFS, deve analisar-se as diferenças entre as anteriormente mencionadas SAN e NAS. A primeira é uma subrede completa dedicada ao armazenamento de dados e está conectada a um ou mais servidores.
As conexões à SAN realizam-se através de um protocolo de alta velocidade, como um canal de fibra ou iSCSI. A este tipo de armazenamento pode aceder-se a partir de todos os servidores, assim os utilizadores podem aceder a qualquer dispositivo de armazenamento na rede SAN, em qualquer que seja o lugar em que estejam o armazenamento ou os utilizadores.
As redes SAN foram desenhadas para ajudar a gerir e a tornar mais rápido o armazenamento, simplificando o percurso dos dados e retirando servidores de conexão fixa para fora do anel.
No entanto, transportam os dados em blocos de baixo nível e requerem, portanto, a transladação de ficheiros para poder utilizar-se os dados.
O armazenamento NAS é mais simples que uma rede SAN: trata-se basicamente do armazenamento em disco rígido ao que se associa um servidor integral e dedicado e a sua própria administração de rede.
Um dispositivo NAS liga-se a uma rede sem necessidade de a interromper e não requer mudanças nos servidores de ficheiros existentes.
As NAS foram desenhadas para tornar mais fácil e económico acrescentar espaço de armazenamento, mantendo os dados em forma de ficheiros, tal como espera o utilizador.
O problema é que ambos os sistemas incorrem em gastos e num esforço de processo adicional considerável, o qual reduz significativamente as transferências dos dados.
O sistema DAFS utiliza a arquitectura VI (virtual Interface), que foi desenhada em 1996 pela Microsoft, Compaq e Intel como um mecanismo de transporte de dados.
O VI é um protocolo de rede de alta velocidade e baixa latência (com pouco tempo de espera) que permite a aplicações em diferentes máquinas, numa rede LAN ou num cluster, ler e escrever dados nos locais de memória utilizadas por outras aplicações na rede. Esta interconexão de memória-a-memória é conhecida por RDMA.
O DAFS também lê e escreve dados utilizando um protocolo baseado em ficheiros, de forma a preservar a informação que de outro modo teria de ser recriada de cada vez que era extraída.
Os pedidos para abrir actualizar, anexar, bloquear ou fechar um ficheiro são intercambiadas entre clientes de armazenamento do utilizador e servidores de armazenamento.
Assim, o sistema DAFS combina a rapidez de uma rede SAN de alta velocidade e a simplicidade de armazenamento NAS baseado em ficheiro e faz-se com menos esforço e gastos adicionais que os dois últimos.
O armazenamento em DAFS baseado em ficheiros pode ser gerido por vários tipos de produtos diferentes e promete além disso eliminar parte do processo interno que devem realizar as bases de dados actuais baseadas em blocos.
