Data Plattform
Data plattform handler om å samle, strukturere og gjøre data tilgjengelig for analyse, innsikt og beslutningsstøtte. En god dataplattform sørger for at informasjon flyter trygt og effektivt fra ulike kilder til rapporter, modeller og applikasjoner som skaper verdi. Det er her grunnlaget legges for datadrevne beslutninger, automatisering og bruk av kunstig intelligens – med fokus på kvalitet, skalerbarhet og pålitelighet.
Data plattform i våre prosjekter
Data plattform er en sentral del av flere av våre kundeprosjekter. Her ser du noen eksempler på hvordan vi har brukt teknologien i praksis.
Se alle våre prosjekter i Solveggen →
Dette skriver vi om data plattform
Her deler vi erfaringer vi har gjort oss med data plattform i prosjekter og i hverdagen vår som utviklere.
Hvorfor PySpark MERGE ikke håndterer SCD2 (og hvordan fikse dette i Delta Lake)
Når man jobber med data som endrer seg over tid, er det helt naturlig å ville beholde historikken. Dette er kjernen i det som kalles Slowly Changing Dimensions type 2 (SCD2), som er en måte å sørge for at vi alltid kan se hvordan en rad så ut før, samtidig som den oppdateres med ny informasjon.
Hvordan demokratisere datautvikling: dbt Core og Databricks for alle
dbt (data build tool) er et verktøy som virkelig har skutt fart de siste årene, og det er ikke rart. Endelig har vi fått et verktøy som gjør det enkelt å versjonere, dokumentere, teste og release data ved hjelp av SQL. Eller?
Hva er en Delta Lake og en Delta-tabell, og trenger vi egentlig Spark?
La oss kutte gjennom alle buzzwords. En delta lake er i bunn og grunn bare en samling filer, typisk lagret på billig skylagring som Azure Blob Storage eller Amazon S3. Det er praktisk fordi du kan lagre enorme mengder rådata uten å betale for dyre databasesystemer. Hvorfor ikke bare bruke en relasjonsdatabase? Du kunne sikkert gjort det. For eksempel Postgres er en veldig allsidig og bra database. Men du sparer trolig en del penger på å bruke noe som er designet for analyse. I tillegg er slike databaser ofte radorienterte, mens analysejobber yter bedre med kolonnebasert lagring.
Vi du vite mer om hvordan vi bruker data plattform i Snøkam?
