Hos altfor mange datateam ser ingestionlaget omtrent slik ut: én notebook per datasett, én pipeline per kilde, og en vedlikeholdsbyrde som vokser proporsjonalt med antall integrasjoner. Etter hvert som teamet skalerer, er det ikke uvanlig å ha 30–50 notebooks som er 90% identiske, men med noe ulike løsninger ut ifra hvem på teamet som bygde integrasjonen. Her er også servernavn, API-endepunkter, tabeller og SQL-spørringer hardkodet inn slik at det er vanskelig å få oversikt over ulike parameterne som styrer den faktiske integrasjonen. Når noe feiler i produksjon, og du som Data Engineer må inn i koden for å debugge blir standardspørsmålet: "Okey, hvordan var det vi hadde løst det her?". Dette skaper store kognitive laster vi gjerne kunne vært foruten.

Bak de fleste effektive systemer ligger det et lag av automatisering, og det gjelder også våre interne løsninger i Snøkam. Ett av disse systemene er en løsning for å automatisere innhenting og visualisering av OKR-metrikker.

Velkommen til Krystallklart, vår helt nye bloggserie der vi åpner opp for hvordan Snøkam drives fra innsiden. Hos oss er teknologien selve grunnmuren i selskapet, og mesteparten av manuelt arbeid er automatisert – faktisk i den grad at vi ikke trenger noen fast ansatte som jobber med interne prosesser på fulltid.