avaliku sektori kulutused tarkvara ja riistvara peale

[edmundlaugasson]

Meenutades 3.12.2018 ilmunud artiklit Riigi andmed on nüüd kergesti kättesaadavad siis tuleb tunnistada, et see ei ole päris nii paraku.
Järgmisena 14.01.2019 ilmunud:

• Palju Sepp ja Ratas parteikassasse viisid? E-riik Eesti on avaandmete osas teistest maadest palju kehvem
• E-riigi andmejuht: me ootame konkreetseid ettepanekuid, milliseid avaandmeid tahetakse

... tulid juba üllatusena, mis näitab seda, et käesolevat praktiliselt samas asukohas kuid teises kataloogis olevat infot ei olegi märgatud.

Ettepanek
Eesti kui IT riik võiks omada ülevaadet kulutuste osas tarkvara ja riistvara peale. Samuti ülevaadet olemasolevast tark- ja riistvarast, et saaks edasisi lahendusi kavandada (nt virtualiseerimise rakendamine tõhusamaks õpetamiseks kõikides ainetes vms) ja ka teadustööd kogutud info pealt teha (üks näide vajadusest kuid kindlasti mitte ainus). See on üks osa avaandmetest, mida seni väga keeruline kätte saada ja nende andmetega seotud arenguid, teadusuuringuid on seetõttu keeruline (et mitte öelda võimatu) kavandada.

Mida näidata? (milliseid avaandmeid koguda)

• tarkvarahanked
  • suletud lähtekoodiga
  • avatud lähtekoodiga
• arvutitöökohtade arv
• serverite arv
• kasutatav tarkvara - kui on mitu siis kõik tuvastama
  • operatsioonisüsteem
    • töökohtadel
    • serveritel
  • kontroritarkvara (nt MS Office, LibreOffice vms)
  • failihaldur
  • veebilehitseja
  • e-posti klientprogramm või siis märge, et vaadatakse veebipõhiselt
  • muu tööks kasutatav tarkvara
• virtualiseerimistarkvara kasutamine
  • platvormi virtualiseerimine (nt VMware, Virtualbox, KVM, jne)
  • konteinerite kasutamine (nt docker, LXC, jne)
• peaks olema võimalik välja võtta määratud ajaperioodi lõikes
  • kulutatud raha töökohtade, serverite kaupa
  • ühe töökoha maksumus ja millise tarkvaraga
• ülevaade riistvara põhinäitajatest:
  • protsessorid (CPU - mikroprotsessor, QPU - kvantprotsessor)
  • muutmälu (RAM)
  • kõvakettad (SSD - pooljuhtketas, HDD - pöörlev ketas)
    • kasutatavad failisüsteemid
• ka internetiühenduse kiiruse kohta peaks olema info - näiteks kord aastas testida ja kui näiteks väline IP vms muutub siis tuvastab süsteem, et ehk on uus ühendus võimaliku muutunud kiirustega ja testib automaatselt uuesti
• kogu siin palutud infot peaks vähemalt kord aastas uuendama ja seda kõike peaks saama automaatselt teha ehk siis ilma inimese sekkumiseta, mis tagaks andmete operatiivse kogumise edasise vaevata - vaid esmakordselt süsteemi loomisel on vaja inimese panust.

Väljundkeskkond?
Mõned ideed:

• https://www.haridussilm.ee/ - siin oleks hea näidata haridusasutuste osa asutuste kaupa ja seda infot saab siis võtta sealt ühest kohast kuhu info kokku laekub. Kuna haridusasutustele tahetakse sageli lahendusi pakkuda ja selle veebikeskkonna näol on juba veebipõhine andmekogu olemas siis oleks see hea võimalus lisada sinna IKT kihid juurde.
• kogu avaliku sektori infot (sh haridusasutused) võiks kuvada näiteks (seda muidugi oluliselt detailsemalt kui seni ehk siis vähemalt siin palutud infot täpselt kuvades):
  • http://riigiraha.fin.ee/
  • http://meieraha.ee/
• infot peaks olema võimalik eraldada (filtreerida) haridusasutused, ministeeriumid - näiteks samade kategooriate alusel nagu on eesti.ee puhul tehtud - https://www.eesti.ee/est/kontaktid
• info peaks olema võimalik näha kogu riigi kohta tervikuna, haldusüksuste kaupa (maakonnad, vallad, linnad) ja ka ühe inimese kohta

Võimalik lahendus info kogumiseks
Asja mõte on, et kogu siin kirjeldatud info laekuks automaatselt ilma inimese vahelesekkumiseta. Seda kõik vaid ühe väikese programmikese paigaldamisega avaliku sektori asutustele ja seejärel on võimalik info automaatselt kokku koguda ja seda perioodiliselt.

Üks sobiv võiks olla tarkvara OCS Inventory - https://www.ocsinventory-ng.org/ - võimaldab koos GLPI'ga saada ülevaadet kogu avaliku sektori IKT varadest - https://glpi-project.org/
OCS Inventory vabad alternatiivid - https://alternativeto.net/software/ocsinventory-ng-org/?license=opensource

Teine idee on luua eraldi rakendus nagu seda on juba varasemalt tehtud - https://opendata.riik.ee/rakendused/ - see võib olla lihtsam kui olemasolevate keskkondade muutmine.

Kasutegurid (mida kogutud avaandmetega teha)

• võimalus nii riigil, KOV'il kui asutuse otsustajatel omada praktiliselt reaalajas infot kogu avaliku sektori IKT varade ja tarkvarade üle - see võiks olla rosinaks, miks võiks tahta, et riik omaks ülevaadet. Samas ei tohiks olla vastuväiteid kui riik omab ülevaadet oma varadest. Ka maksumaksja tahaks seda teada kuna tema raha eest ju lõppude lõpuks seda kõike ostetakse.
• valitsus saaks tagada võimalikult ühtlase taseme IKT valdkonnas kogu riigis
• tekiks ülevaade kus on piisavalt võimas riistvara, et oleks omakorda võimalik kasutada näiteks platvormi virtualiseerimist kuna õpiobjekte, rakendusi ärikeskkonna jaoks tehakse ja on jätkuvalt võimalik tänapäeval teha virtuaalrakendusena, mille kasutamiseks vaja platvormi virtualiseerimist
• omades operatiivset ülevaadet on võimalus langetada ka operatiivseid ja asjakohaseid otsuseid
• teadlastel, ettevõtetel jt on võimalus omakorda teha uuringuid ilma, et peaks kedagi tülitama ja säästes samal ajal aega jm ressursse, mida niigi napib ja kavandada tooteid, teenuseid jne. Kokkuvõttes aitaks see elavdada majandust.

Mida seni tehtud?

• 2015 mais suheldud Haridusministeeriumiga (Ingrid Jaggo) kui haridussilm.ee haldajaga - ei tulnud veel mõttega kaasa - väitis, et EHISes olevad IKT-ga seotud andmed on puudulikud ja ebaõiged. Siin see mõte oligi, et mitte võtta ebaõigeid andmeid EHISest vaid koguda need automaatselt kokku tarkvara abil.
• 2016 septembris suheldud EENetiga (Indrek Rokk) - hetkel puuduvad ressursid selle kõige käimapanekuks, haldamiseks. Ka arvati, et miks peaks üldse IKT andmeid avalikustama...
• praegune ülevaade kaootiline, näiteks
  • https://www.err.ee/597259/eesti-riik-maksab-microsoftile-miljoneid-eurosid-aastas
  • https://wiki.fsfe.org/Activities/EUMicrosoftContracts#Estonia
  • https://riigihanked.riik.ee/ ja otsida tarkvara, litsents, Microsoft jms

[edmundlaugasson]

okestonia/opendata.riik.ee#149 - sama asi inglise keeles / same in English

[andreskytt]

Ma ei näe, kuidas võiks olla võimalik riiki sundida ühte konkreetset tarkvara kasutama. Küll aga saab teha ettepanekuid (ja vajadusel seada nõudeid) andmete avaldamise osas. Kas sa palun kirjeldaksid konkreetsed andmeväljad, mida vajad, ning nende kogumise eesmärgi. Kuna andmeid ilmselgesti tuleb spetsiaalselt koguma hakata, siis peaks too kulu ka kuidagi põhjendatud olema.

[edmundlaugasson]

Ehk ei ole see ületamatu kui avaliku raha eest ostetud seadmetel nõutakse näiteks ühe pisikese programmi paigaldamist, mis praktiliselt märkamatult avaandmeid aitab koguda. Kuigi jah - ideena pakutud OCS Inventory puhul paistab mitte olema iOS'i agenti, teised levinud OSid on olemas. Ilmselt tuleks siin iOSi agent luua ja olemasolevat ka täiustada, et koguks vajalikke andmeid. Seda on ju ennegi olnud, et näiteks HITSA, varasemalt ka Tiigrihüpe nõudis oma kleepsu paigaldamist nende raha eest ostetud seadmetele; EENet nõudis nende serveris olevale kodulehele EENeti logo paigaldamist kuskile serva jne. Samas on ikka riigiasutustes nõutud teatud kindlaid programme - see pisike agent ei tohiks küll nüüd probleem olla. Oluline on siin avalikult ja läbipaistvalt rääkida, mis andmeid ja mille jaoks kogutakse ja see annab ühtlasi taaskord võimaluse ka avaandmetest rääkida. Kui keegi kardab "nuhkimist" siis võiks küsida, et kuidas on selle populaarse operatsioonisüsteemiga, mida palju kasutatakse - kas seal ei tunta nuhkimise üle muret? Kuid ka nemad tegelevad legendi järgi avaandmete kogumisega ehk siis anonüümse statistikaga sisuliselt. Eriti kehtib see näiteks Google kohta, mida kõik rõõmsalt kasutavad (eriti Eestis) ja kes on osanud andmekogumisest äri teha ja kus privaatsus on küsitav. Seal oleks oluliselt rohkem põhjust muret tunda kui selle üle, et meie oma Eesti riik tahab oma varade üle paremat ülevaadet saada ja avaandmed kogukonna kasuks tööle panna ja nende eesmärkide saavutamiseks väikest klientprogrammi lisada. Kuid eks see mure siin tekib, et miks peaks üldse riik omama ülevaadet oma varadest tervikuna kuid siin tuleb rõhutada, et tegemist on avaandmetega ehk siis ei ole personaliseeritud ja teenivad meie (Eesti) oma kogukonna riiklikke huve, mitte välismaiste ettevõtete ärihuve. Kuna erinevad sektorid puutuvad tihedalt kokku siis kokkuvõttes puudutab see kõiki sektoreid tegelikult. Võiks öelda, et siin tekib lõpuks küsimus, et miks peaks üldse Eesti riik ja tema käekäik meile korda minema? Vaatamata sellele, et elame siin ja oleme isegi kodanikud. Kui välismaistele firmadele avaandmete kogumises probleemi ei nähta kuid oma riigi jaoks nähakse... See küsimus paistab ilmselt suurem teema olema kui see, et avaandmeid kogutakse. Ehk oleks abi ka sellest kui seletada, milliseid andmeid juba riik nagunii kogub, tegemist on kindlasti avaandmetega (parimal juhul eristab geograafilise piirkonna, soo, vanuse vms) ja kuidas see kasu on meile kõigile toonud. Nüüd on sellest puslest puudu veel osa andmeid, mida siis veel vaja koguda. Kui riik hõikas välja, et kogub avaandmete osas ideid siis järelikult ollakse valmis neid veel koguma ja seda suurt pilti tutvustama inimestele.
Pealkirja "Mida näidata?" alt tulevad andmeväljad. Kui teaks kuidas neid andmevälju kirjeldada siis saaks vast täpsemalt koostada. Praegu siis loeteluna.
Pealkirja "Kasutegurid" alt tulevad kogumise eesmärgid. Minu huvi on seotud teaduse poolega (doktoriõpe) kuid püüdsin kasutegureid näha oluliselt laiemalt - seda eriti riigi kontekstis tervikuna. Kusjuures paljudel haridusega seotud kraaditöödel (seda nii baka, maka, doktori tasemel) on erinevaid vajadusi, mis ühel või teisel põhjusel vajavad ka infot IT'ga seotud tark- ja riistvara kohta. Samas on see info pidevas muutumises, mistõttu tuleks seda automaatselt koguda, et inimene ei peaks oma aega ega muid ressursse kulutama. EHIS jt sisaldavad küll väga väikest osa kuid seegi ei ole õige kuna on nõudnud liiga suurt ressursikulu inimeste poolt, mida ei ole olnud valmis kulutama. Nii on linnukese pärast küll andmed saadud aga need ei vasta tõele ja selle baasil ei ole mõistlik midagi arendada. Kuigi nimetatud andmete hulk ei ole ülisuur siis ometi oleks nende kogumine käsitsi seotud ülisuure ressursikuluga, mida keegi kinni ei suuda või ei taha maksta. Käsitsi tuleb koguda, sest asutuste vastavad inimesed ei ole nõus olnud tegema seda tööd ja kuna andmete sisu ka muutub aeg-ajalt siis tuleks seda teatud aja tagant korrata ja kokkuvõttes tähendaks see olulist lisatööd, millega algselt ei ole arvestatud ja millega arvestamine ei mahu suure tõenäosusega eelarvesse. Kuid milleks teha käsitööd kui võib tarkvara seda tegema panna. Seetõttu olekski selle andmekogumise automatiseerimine tarkvara abil mitte just väga keeruline ega võimatu ja ometi need andmed riigi ja kogukonna kasuks tööle panna, mis ju avaandmete kogumise üks peamisi mõtteid on.
Kui aga riigi sundimisest rääkida siis juba praegu on riiki sunnitud palju omandvara kasutama, mis maksumaksjale palju lisakoormust on tekitanud + mitmeid muid probleeme, mille lahkamine antud teematõstatuse ulatusest välja läheb (neid võib muidugi arutada huvi korral eraldi, mõned märksõnad: tööjõuprobleem (lahkuvad talendid), tõsiselt võetavad ekspordiartiklid IT's, omandvara probleemid (nuhkimine, kõrgem pahavararisk), kokkuvõttes kogukonna ja seeläbi majanduse nõrgestamine). Seetõttu ühte riigile olulist vabavaralist rakendust, mis vajalikke avaandmeid kogub ja selliseid omandvaraga seotud riske ei sisalda, ei tohiks olla probleem paigaldada.

[infokujur]

Sekundeerin Andresele.
Tuleks väga konkreetselt välja tuua, mis on kohe tehtavad - 1) ehk mis andmed on olemas, aga avaldamata, 2) mis andmesette võiks täiendada (parem otsing riigihangete registrist vms) 3) mis andmeid tuleks juurde koguda.

Ning need kõik eraldi nii riistvara kui ka tarkvara kohta issudeks teha. Nii me saame omalt poolt asja edasi aidata.

[edmundlaugasson]

Kommentaariks: Riigihangete register on kindlasti üks allikas kuid eeldab inimese käsitsi tegutsemist ja ei ole täpne kuna info seal on peidetud kujul ehk siis ei pruugi olla leitav pelgalt otsinguga - jääb inimfaktor, mis võib olla ekslik. Lisaks ei pruugi kõik jõuda sinna registrisse. Samas kui märgistada vastavad riigihanked konkreetsete märksõnadega ja eeldada, et sellest ka kinni peetakse siis võiks olla võimalik roboti tegemine, mis võimaldaks selliseid otsinguid automatiseerida ja oluliselt lihtsamaks muuta ning tagada täielik täpsus seejuures.
Minu ettepaneku oluline osa on automatiseeritus ja inimtöö edasine vältimine kuna senine praktika EHISega näitab selgelt kui vaevaline ja ebameeldiv on sellist infot koguda ent ometi on see ülioluline edasiseks tegutsemiseks ja otsuste langetamiseks.
Tehnilise poole pealt pakkusin välja OCS Inventory kuid see ei pruugi parim olla. Selle programmi funktsionaalsuse leiab siit. Et selget pilti saada, mida praegu koguda saab ja mida mitte, tuleks läbi viia testid. Mõte selles ongi, et riigil võiks olla olemas täielikult automatiseeritud süsteem selliste avaandmete kogumiseks. Keda me riigi all mõtleme - IT pool käib MKMi alla kuid kes täpsemalt, ei tea öelda. Võimalik, et see RIA roll on. Kokkuvõttes on see päris palju ka turvalisusega seotud - seega miks mitte RIA roll. RIA poole peal on ka mitmeid IT Kolledži tudengeid praktikal - see võib neile sobiv ülesanne olla teostada. Ilmselt mitte vastutajana ent siiski oluline tööjõuressurss, mida kasutada.
Andmete osas minuteada (kuid võin ka eksida) ei ole suurt midagi olemas ja mida kohe saaks sõltub paljuski tarkvarast, mida kasutada saab. Ma ei ole ise tarkvaraarendaja ega tunne senist süsteemi, mis nende rakenduste loomisel on tehtud või võimalik teha. Kuid olen valmis igat pidi koostööd tegema niipalju kui vähegi võimalik, et see kõik lõpuks realiseeruks.

[edmundlaugasson]

Ega ei ole uudiseid siin teemas? Täiendasin ka pisut ühte eelnevat kommentaari viimase lõiguga. Suvel rohkem võimalusi ehk ka füüsiliselt kohtuda ja kuhugi aruteluga jõuda? Ehk leiab aega ka muudel perioodidel. Oluline, et asi edasi liiguks.

[andreskytt]

Seisukoht ei ole muutunud. Meie ülesanne on tegeleda andmete avaldamisega ja mitte riigiasutuste töökorralduse muutmisega. Jah, riigis on mitmeid asju, mis võiks olla paremini korraldatud ja tolle parema korraldamise käigus võiks igasugu huvitavaid andmeid genereeruda. Kuid paraku piiratud hulga vahendite puhul ei ole meil luksust tegeleda riigi ümber korraldamisega. Veel vähem on meile keegi andnud mandaadi otsustada, kas üks või teine ümberkorraldus on mõistlik

[edmundlaugasson]

Vabandust aga kus siin riigiasutuste tööd vaja muuta?? Väga huvitav tõlgendus... Sisuliselt ühe väikese rakenduse (agendi) lisamine... Kui ümberkorraldustest rääkida siis neid on juba üksjagu tehtud ja raha nende peale kulutatakse miljoneid igal aastal (https://www.err.ee/597259/eesti-riik-maksab-microsoftile-miljoneid-eurosid-aastas). Seega seda raha paistab nagu rohkem kui küll olema... Kuigi antud juhul poleks kaugeltki nii palju vaja... Praegu pole isegi mingit arutelu tekkinud. Vabandust aga sisuliselt jääb Potjomkini küla mulje avaandmetega tegelemisest. Artiklitega tekitatakse meediakära, mille taga paraku midagi sisulist ei ole aga kui sisulisi ja konstruktiivseid ettepanekuid teha siis öeldakse lihtsalt viisakalt ära. Kusjuures alguses viidatud artiklitest üks esitas riigi poolt ka küsimuse, milliseid avaandmeid tahetakse ja teine artikkel möönas, et avaandmetega on Eestis kehvasti. Praegusega esitan konkreetsed ideed avaandmete osas kuid saan aru, et mitte mingit ressurssi avaandmetega tegelemiseks riigil ei ole (ilmselt küsimus prioriteetides). Siit võib ka aru saada sellest teisest artiklist, mis kurdab kehva seisu üle.

[andreskytt]

Sisuliselt ühe väikese rakenduse lisamine
Mis ongi uus asi, mida kõik riigiasutused peavad tegema hakkama. Ja nad peavad selle uue väikese rakenduse integreerima oma olemasolevasse infosüsteemi ja kuidagi tagama, et see turvaline on jne. jne. jne. jne. jne. Mis on töökorralduse muutus.

Anna andeks aga siitpoolt vaadates ei ole ettepanek kuigi konstruktiivne. Nagu juba selgitatud on avaandmetega tegelemise mandaat väga ühene: avada OLEMASOLEVAID andmehulki, mitte hakata TEKITAMA uusi andmehulki. Andmed tekivad riigi toimetamise käigus ja meie ülesanne on need avalikult kättesaadavaks teha. Palun mõista, et need on kaks täiesti erinevat protsessi. Kuniks siia ei teki ühtegi konkreetse OLEMASOLEVA andmehulga nime, mida avada, sulgen selle teema.

[edmundlaugasson]

Vabandust aga need andmed on täiesti OLEMASOLEVAD, lihtsalt ligi neile praegu ei pääse, millekohased konkreetsed ettepanekud tegin kuidas võiks lahendada. Isegi tehnilisi lahendusi pakkusin kuidas nende OLEMASOLEVATE andmete kogumist automatiseerida ja sellega inimeste töövaeva ning selle peale kuluvat maksumaksja raha vähendada, andmete esitamise täpsust, kiirust ja esitamise määra (mitmed asutused lihtsalt ei esitanud tulenevalt suurest töömahust, mida käesolevas ettepanekus pakutud automatiseerimisega saaks lahendada) oluliselt tõsta ja kui siin konstruktiivsust ei ole siis mida veel? Ega siis siin GitHub'is ei ole mingit konkreetset vormi vms bürokraatianormi täitmist - pigem ideede esitamine nagu riik ju tegelikult läbi ühe artikli meedia ka soovis. Kuigi jääb mulje, et tegelikult vist ei oodanud, et ka päriselt ettepanekuid tuleb, mida saab järeldada käesolevast arutelust ja selle lahenduseta jõuga sulgemisest. Kusjuures mitmeid küsitud andmeid juba sisestatakse käsitsi EHISesse kuid puudulikult ja nii mõnigi kord kontrollimatult - seda on ka HTM tunnistanud (vt eespool Ingrid Jaggo tunnistus aastast 2015). Seega ei saa kuidagi öelda, et neid andmeid ei ole. Kokkuvõttes masendav olukord....