joi, 31 octombrie 2013

SEAP download

Astazi am publicat probabil cel mai important set de date din Portalul Guvernamental Open Data ... Il puteti gasi aici si este exportul achizitiilor publice incheiate din 2007 pana astazi. Este un export din SEAP, un download dificil atat ca marime cat si ca intelegere a datelor.

Nu am putut pastra normalizarea datelor din aplicatia SEAP deoarece schema este prea complexa implicand zeci de tabele. Am generat in schimb exporturi cat de cat inteligibile in excell, cu doua caveat-uri:

  1. Anumite valori monetare au foarte multe zecimale (o poveste veche care vine de la denominarea leului) si care vor confuza excellul, pentru un programator sau utilizator expert nu sunt insa probleme
  2. Anumite achizitii au achizitii subsecvente (loturi) ceeace multiplica informatia din stanga join-ului. Exista un pericol ca cineva in graba sa traga un total pe o coloana astfel multiplicata obtinand rezultate aberante, pe de alta parte join-urile nu sunt un exercitiu facil pentru excell-isti. Vom vedea reactiile si vom incerca sa ne acomodam la majoritate, eventual printr-un nou export.

Cred ca se poate consuma un an intreg exploatand aceste date. Pentru a recreea baza completa pornind de la CSV-urile publicate va fi insa nevoie de o varianta free de server sql. Este absolut necesar sa se acceseze in paralel SEAP-ul la adresa aceasta si sa se compare afisarea vizuala a unui contract cu datele downloadate pentru a se putea intelege corect structura, relationarea si semnificatia lor.

miercuri, 30 octombrie 2013

SMIS download

Astazi am publicat in portalul Open Data la adresa aceasta primul set de date de mare relevanta. Este vorba de baza de date cu evolutia proiectelor cu finantare europeana, inclusiv platile catre beneficiar aferente acestora.

Desi informatia era disponibila public pe site-ul Ministerului pentru Fonduri Europene aceasta nu putea fi consultata decat secvential, proiect cu proiect. A fost cererea societatii civile ca aceasta informatie sa fie disponibila si sub forma datelor brute. Probabil ca se vor face analize interesante si utile, de tipul alocarilor pe regiuni, axe, numar de proiecte cu acelasi beneficiar, etc.

Datele sunt intr-o structura identica cu cea de lucru dar nu implica o relationare foarte complicata, cred ca utilizatorii profesionisti nu vor avea nici o problema cu ele.

sâmbătă, 19 octombrie 2013

date.gov.ro

image
Săptămâna aceasta am expus public varianta beta a Portalului Național Open Data, proiect pe care îl coordonez în cadrul Cancelariei Primului Ministru.
Poate fi vizitat aici, despre scopul său oficial puteți citi aici.
Pentru mine cel mai atractiv dintre beneficii este cel al creșterii eficienței, atât guvernamentale cât și în mediul privat. În ambele cazuri refolosirea datelor poate aduce beneficii substanțiale în timp si bani. În ultima perioadă in urma întâlnirilor avute pentru acest proiect am constatat, părere personală, că, în Romania și în relația cu administrația, cetățenii sunt suprareprezentați de ONG-uri în timp ce mediul economic nu reușeste să-și asigure un sistem eficient de comunicare a nevoilor sale de bază și legitime. Voi încerca în viitor să suplinesc această lipsă prin exploatarea experienței mele anterioare din mediul privat în identificarea seturilor de date folositoare acestuia.
Cu ajutorul colegilor mei din departamentele OGP si DSOD voi încerca să păstrez acest portal sub forma unei colecții de baze de date, căt mai departe de realitatea europeană unde acest gen de portal de obicei s-a transformat intr-un depozit de fișiere uriaș și dezorganizat.