Big data kvality a ich využitie pri validácii a obohacovaní existujúcich dát

[email protected]

O projekte

Veda a výskum – veľmi dôležitá oblasť, kde spracovanie údajov je realizované v heterogénnom prostredí, ale často krát, pre vykazovanie výsledkov, je potrebné mať globálny pohľad na tieto dáta a to či už z hľadiska výskumníka, organizácie, projektu, alebo danej témy. Preto je potrebné identifikovať zdroje (bibliografické dáta – katalógy knižníc, projekty a granty – agentúry, alebo špeciálne systémy, či súčasť KIS, alebo AIS, ohlasy – citačné databázy ako sú WOS a Scopus, podujatia – ACM, samotné publikácie – digitálne repozitáre, informácie o výskumníkoch a organizácicach – KIS – autority, či www stránky, atď), navrhnúť vhodné úložisko – KIS (katalóg a autority), CERIF, VIVO, alebo iné s využitím relačného či iného db systému a vhodného spôsobu ukladania plných textov – kľudne aj file systém, vybrať technológiu pre vhodné portálové riešenie, implementovať vybrané bibliometrické ukazovatele, vybrať vhodný nástroj na vizualizáciu, implementovať výstupy – tlačové a exporty dát. Ide o to, aby bolo možné vybudovať portál pre oblasť vedy a výskumu s možnosťou získania hodnotiacich ukazovateľov, ktorý bude harvestovať údaje z rôznych zdrojov z oblasti vedy a výskumu. Tieto bude spracovávať a na základe významu vzájomne prepájať tak, aby mohol výskumníkom ako aj spracovateľom poskytovať informácie o dátach, ktoré s nimi súvisia, umožniť im vkladať nové, modifikovať existujúce – minimálne dať možnosť vyjadriť sa im, či tie záznamy, ktoré portál našiel sú naozaj relevantné a súvisia s nimi tak, ako ich portál identifikoval. Na základe takýchto dát vykonávať ďalšie spracovanie a výpočty, ktoré budú poskytované ako samotným výskumníkom a ich spracovateľom, tak vo vybranom rozsahu aj verejnosti.Takýto portál do značnej miery uľahčí veľmi obtiažnu a zdĺhavú prácu výskumníkom pri získavaní ako aj spracovaní napr. ohlasov na vlastné diela v citačných indexoch, či budovaní databázy, ktorá by dokumentovala ich odborný rast, ale taktiež im umožní pozrieť sa napr. na to ako si stoja v danom obore oni, či dané pracovisko, ap. Portál by mal byť navrhnutý tak, aby bolo možné jeho funkčnosť postupne rozširovať tak, ako budú prichádzať ďalšie požiadavky. Ak sa to podarí, tak budeme môcť povedať, že hlavný prínos riešenia tohto projektu bude spočívať jednak v automatizácii procesov pri získavní ohlasov z citačných databáz, ale hlavne vo vybudovaní vhodnej infraštruktúry, ktorá umožní automatizovane agregovať údaje z obalsti vedy a výskumu a tieto vzájomne prepájať na základe významu a na základe takto kvalitne spracovaných dát bude možné spracovať vybrané bibliometrické ukazovatele ako aj získavať viaceré hodnotiace výstupy na základe rôznych kritérií.

Tím 15

photo of Martin Sustek

Bc. Martin Šustek

photo of Jan Krivy

Bc. Jan Krivy

photo of Jozef Melko

Bc. Jozef Melko

Vedúci tímu
Absolvent bc. štúdia na FIIT odbor Informatika. V rámci bakalárskej práce sa venoval tvorbe rámca pre vytváranie škálovateľných aplikácií, ktorý bol testovaný v distribuovanom prostredí. V súčasnosti pracuje ako vývojár webových aplikácií.

Skúsenosti:
• HTML5, Less, Grunt, PHP (CakePHP framework), Javascript, Twitter Bootstrap
• MongoDB, MySQL
• Erlang, Bash
• práca s údajmi vo formátoch XML a JSON, základy tvorby Unit testov
• Linux, Git, Jira
Manažér dokumentácie
Absolvent bc. štúdia na FIIT odbor Informatika. V rámci bakalárskej práce sa venoval hudobným odporúčaniam a konkrétne problému studeného štartu, ktorý pri nich vzniká. Momentálne pracuje ako iOS developer.

Skúsenosti:
• C,Objective-C, Python(Framework Flask), MySQL
• FB, Google API
• Pracovné skúsenosti: vývoj mobilných aplikácií – iOS development



Manažér komunikácie
Absolvent bakalárskeho štúdia na FIIT odbor informatika. V rámci bakalárskej práce sa venoval neštruktúrovaným peer-to-peer sieťam kde vytváral algoritmy pre vyhľadávanie zdrojov v týchto sieťach. Najviac skúseností má s programovacími jazykmi C a Java, v ktorých programoval aj bakalársku prácu. Rád pracuje aj s databázami konkrétne ho zaujalo MySQL, ktoré obľubuje.

Skúsenosti:
• Java, C
• MySQL


photo of Juraj

Bc. Juraj Michalička

photo of Marek

Bc. Marek Černák

photo of Martin

Bc. Martin Cibula

Manažér architektúry
Bakalárska práca zameraná na zaznamenávanie jázd pomocou mobilného zariadenia s GPS a synchronizáciu so serverom.

Skúsenosti:
• HTML, CSS, PHP, MySQL v kombinácii s MVC(framework CodeIgniter)
• Jazyky z rodiny C na mierne pokročilej až pokročilej úrovni
• C#(.NET Framework) – semestrálny projekt zo sietí(fiit) a ročníkový projekt(matfyz)
• vyvoj mobilných aplikácií pre Android


Manažér vývoja a podporných prostriedkov
Absolvent bc. štúdia na fakulte FIIT v odbore INFO. V bakalárskej práci nadobudol vedomosti v oblasti zhlukovacích algoritmov a navrhol svoj vlastný, respektíve zdokonalil už používaný algoritmus. Jeho silnou stránkou je zodpovednosť nadobudnutá počas práce na projektoch ako v práci, tak aj v škole.

Skúsenosti:
• Java, C, C++
• MySQL
• vyše rok programovania dotazníkov a spracovávanie zozbieraných anketárskych dát
Manažér plánovania
Najviac skúseností získal pri práci na bakalárskej práci kde si prehĺbil znalosti o programovaní v Jave a získal nové vedomosti o získavaní dát z webu, spolupráci s webovými aplikáciami a práci s XML. Má taktiež nejaké skúsenosti s webovými technológiami. Jeho silnou stránkou je schopnosť dobre si naplánovať čas a zefektívniť tak svoju prácu, vďaka čomu doposiaľ nezmeškal žiaden deadline.

Skúsenosti:
• Java, C,MySQL
• XML, Data mining z webu


photo of Vlado

Vladimír Demčák

Manažér rizík
Absolvent bc. štúdia na FIIT odbor Informatika. V rámci bakalárskej práce sa venoval odporúčaniu článkov, ktoré sú používatelovi prezentované prostredníctvom mobilného zariadenia s OS Android. V rámci tejto práce nadobudol skúsenosti aj s XML a JSON formátmi.

Skúsenosti:
• Java, Android, C
• JBoss AS, REST WS, MySQL

Dokumenty

Zápisnice

Plány šprintov

Dokumentácia - prvý kontrólny bod

Dokumentácia - zimný semester

Retrospektívy

Exporty z JIRa

Ostatné