Data Lake

Een Data Lake is een gecentraliseerde opslagplaats die opslag van zowel gestructureerde en ongestructureerde gegevens op elke schaal mogelijk maakt. Gegevens kunnen worden opgeslagen in hun oorspronkelijke formaat, zonder ze eerst te moeten structureren.

Een Data Lake kan gestructureerde gegevens uit relationele databases (rijen en kolommen) bevatten, als ook semi-gestructureerde gegevens (CSV, logboeken, XML, JSON), ongestructureerde gegevens (e-mails, documenten, pdf's) en binaire gegevens (afbeeldingen, audio, video. Het kan "on premises" (binnen de datacenters van een organisatie) of "in de cloud" worden ingericht.

De mogelijkheid om in minder tijd meer gegevens uit meerdere bronnen te gebruiken, en de mogelijkheid om gebruikers in staat te stellen samen te werken om gegevens op verschillende manieren te analyseren, leidt tot betere en snellere besluitvorming.

Data Lake versus Data Warehouse

Een Data Warehouse is een database die geoptimaliseerd is om relationele gegevens te analyseren die afkomstig zijn van operationele bedrijfsapplicaties. De structuur van de data, en het schema worden vooraf gedefinieerd om het data warehouse te optimaliseren voor snelle rapportage en analyse.

Een Data Lake is anders, omdat het relationele gegevens van bedrijfsapplicaties én niet-relationele gegevens van mobiele apps, IoT-apparaten en sociale media combineert.

De gegevens worden in hun oorspronkelijke formaat, zonder een structuur of schema te definiëren, opgeslagen. Men weet immers van tevoren niet welke eventueel toekomstige vragen beantwoord zouden moeten worden.

Veel organisaties zien de voordelen van Data Lakes, en breiden hun traditionele Data Warehouse met Data Lake functionaliteit uit, om door de toepassing van data science nieuwe informatiemodellen te kunnen ontdekken.