Groei datalakes gaat veel minder hard dan voorspeld

IDC logoOver datalakes is de laatste jaren veel geschreven met als rode draad groei die tot problemen kan gaan leiden. Dat verhaal is op verschillende manieren verteld, maar de aanname was steeds dezelfde. Er is echter een  – nog weinig genoemd – bericht waarbij de voorspelde snelheid van groei nog maar de helft is.

Verdubbeling

Aantoonbaar sinds 2015 is op grote schaal beweerd dat de hoeveelheid data die de digitale samenleving veroorzaakt elke twee jaar in omvang zal verdubbelen. Een van de termen die daarvoor is verzonnen is datalakes.

Dat er datalakes ontstaan en dat die elke paar jaar twee keer in omvang toenemen is een voorspelling die door vendoren van hardware en datacenters op grote wijze is overgenomen. Zij hebben er ook alle belang bij, want deze trend is goed nieuws voor hun business.

Rond 2017 is er nog een reden bijgekomen waarom deze partijen de markt maar al te graag attenderen op de komst van datalakes. De begrippen Big data, edge computing, IoT en Industrie 4.0 hebben meer inhoud gekregen en iedereen ziet dat in elk van de gevallen de toename van data groot zal zijn.

Tegengeluid

Het voornamelijk door commercie gedreven attenderen op de onvermijdelijkheid van datalakes kende aanvankelijk weinig weerwoord. Als er een tegengeluid te horen viel was dat uit de hoek van juristen en burgerrechtenorganisaties die het aanleggen datalakes zien als risico. Dat maakt immers datamining ten behoeve van profiling en ander privacy gerelateerde activiteiten mogelijk.

De groep heeft sinds 2018 de wind in de rug. Binnen en buiten de EU is de AVG / GDPR grote rol gaan spelen. Het vergaren van data met het oog er later ooit nog iets mee te gaan doen is daarmee in veel gevallen lastiger geworden.

Voor een verandering van de verhaallijn over datalakes en de 100% groeivoorspelling maakte dat vreemd genoeg weinig uit.

Nieuwe inzichten

Door IDC is een rapport uitgebracht dat korte metten maakt met het optimisme. Dat de pers en de IT sector er nog niet op gereageerd hebben is opmerkelijk. De voorspellingen van deze bekende organisatie rechtvaardigen wel de nodige discussies.

IDC is tot het inzicht gekomen dat de groei van de hoeveelheid data overeenkomt met een verdubbeling per vier jaar. Daarbij houdt het nadrukkelijk rekening met Edge computing en de rest. +100% in 4 in plaats van 2 jaar – dat zou kunnen leiden tot de kop dat de groei nog maar de helft zal zijn.

Impact

Voor bedrijven die data creëren en vergaren kan de voorspelling van IDC reden zijn nog eens goed naar de eigen prognoses en investeringsplannen te kijken. Wie weet blijkt de vrees voor groei zonder grenzen van datalakes onterecht te zijn. Dat zou goed nieuws zijn voor een deel van de markt. De impact is minder positief voor de vendoren van hardware, datacenters en bandbreedte leveranciers. Die hebben moeten wellicht een deel van de communicatie aanpassen aan deze nieuwe inzichten.