Uudelleenlaskettavan datan tallennus

Lyhyt vastaus on, että tämä pitää teoriassa paikkansa, mutta käytännössä tilanne on hieman toinen. Pitkän vastauksen saat lukemalla eteenpäin. Samalla opit, miten ActivePapers auttaa sekä laskettujen tulosten tallentamisessa että niiden jättämisessä tallentamatta.

Käsitellään ensin ilmeisin syy laskettujen tulosten tallentamiseen: laskenta voi olla liian kallista toistettavaksi. Kyseessä on klassinen kompromissi (uudelleen)laskenta-ajan ja levytilan käytön välillä. Monissa tapauksissa hyvä ratkaisu on säilyttää tulostiedot jonkin aikaa, jotta uusi idea syntyy nopeasti analysoitavaksi, mutta niitä ei arkistoida pitkäaikaisesti. Seuraavaksi vähemmän ilmeinen syy – ja sellainen, josta emme mielellämme muistuteta: laskenta ei välttämättä ole yhtä toistettavaa kuin pitäisi.

Ohjelmat, jotka tuottavat alustasta riippuen hieman erilaisia tuloksia (käyttöjärjestelmä, kääntäjän versio jne.), ovat itse asiassa melko yleisiä. Liukulukuja käyttävät ohjelmat lähes väistämättä kuuluvat tähän kategoriaan. Tilanne pahenee erityisesti silloin, kun kahden suorituksen väliset erot ovat niin suuria, että tuloksista tehdyt johtopäätökset muuttuvat.

Kyllä, näin käy . Lopuksi on hyvin yleinen tilanne, jossa laskennan tuottaman datan tallentaminen ei ole tärkeää, mutta siihen liittyvän metadatan tallentaminen on. Juuri tässä ActivePapers loistaa.

Tällainen tilanne syntyy, kun laskettava tulos on itse asiassa välivaiheen data koko työnkulussasi. Esimerkiksi suoritat simulaation, joka tuottaa pitkän trajektorin, analysoit trajektoria ja generoit analyysin perusteella kuvaajan.

Kuvaaja on lopullinen tulos, joten haluat säilyttää sen. Trajektori ja raaka-analyysi ovat välituloksia, joita sinun ei tarvitse tallentaa, ellei niihin päde jokin edellä mainituista kahdesta syystä. Haluat kuitenkin tallentaa tiedon siitä, että kuvaaja on generoitu raaka-analyysistä, joka puolestaan on tuotettu simulaation trajektorista. Tämän tiedon avulla sinä ja kuka tahansa myöhemmin työhösi tutustuva voitte helposti varmistaa, että kuvaaja vastaa simulaatio- ja analyysikoodin uusinta versiota.

Aiheeseen liittyvä: DataCamp — Interaktiiviset Python- ja datatieteen kurssit, jotka koodaat suoraan selaimessa.

ActivePapers tarjoaa tämänkaltaisiin tilanteisiin “näennäisaineistoja” (dummy datasets). Näennäisaineisto ei sisällä varsinaista dataa, mutta siinä on kaikki metadata, jonka ActivePapers tuottaa codeletien suorituksen aikana.

ActivePapersin nykytilassa ainoa tapa luoda tällainen näennäisaineisto on ensin luoda todellinen aineisto, suorittaa kaikki sitä syötteenä käyttävät calcletit ja lopuksi korvata todellinen aineisto näennäisaineistolla komennolla aptool dummy … . Oppaassa käsitellään myös näennäisaineistoja ja osoitetaan, miten alkuperäinen data voidaan laskea uudelleen. Näennäisaineistojen käyttöliittymässä on paljon parannettavaa tulevaisuudessa. Esimerkiksi aineiston luova calclet voisi merkitä sen heti näennäiseksi, jolloin sitä ei koskaan kirjoitettaisi tiedostoon, vaan se välitettäisiin asiakas-calcleteille muistissa.

Jos sinulla on ideoita tähän, avaa ilmoitus Githubin issue-seurantaan . kommentit powered by Disqus