Pročitajte i druge interesantne članke

Više lica certifikacije korisnika..

Zašto je školovanje stvoreno za probleme u implementaciji?

Svaka tvrtka koja je sudjelovala u procesu implementacije informatičkog sustava susrela se sa problemom školovanja korisnika. Jedan od ključnih elemenata implementacije često je zapostavljen od strane informatičkih tvrtki pogotovo u tom dijelu suradnje s klijentom. Tehnički zahtjevi te sama instalacija softwarea uvijek je imala primat pri implementaciji. U razgovoru o   planu same provedbe, školovanje korisnika nikada nije bilo u 5 stvari o kojima se govori. Konfiguracija mreže, samih računala i servera, njihov broj, te zahtjevanje raznih protokola uvijek je bilo važnije od dobrog starog grijanja stolca, edukacijskih materijala ili dostupnosti predavača.

Ipak najčešći problemi implementacije vezani su za školovanje. Zašto? Zato što vrijeme koje se očekuje od korisnika da uloži u savladavanje informatičkog sustava nikada nije jednako onom koji je korisnik spreman uložiti. Savladavanje informatičkog sustava za kijenta je mukotrpan i, za njegove pojmove, dugotrajan proces. Kod nas još uvijek vlada mišljenje da se školovanje korisnika sastoji od mladog zaposlenika informatičke tvrtke koji se smiješi i ispija kave kod klijenta. Tako sati školovanja idu, klijent ih plaća, no savladavanje sustava se ne miče sa mjesta. Tu nikako nesmijemo zaboraviti drugi najčešći oblik školovanja, slanje zaposlenika na tečajeve različitih dužina. To je često shvaćeno kao izleti zaposlenika koje nikako nesmiju imati previše razgovora o samom sustavu. Dobro, bar malo razgovora o njegovim funkcijama, ali ne previše. Kave, druženje i nekoliko dana praktički slobodno od šefa, posla i problema. Tako idu dani, klijent ih plaća, a savladavanje sustava se ne miče sa mjesta. Ako bi se informatička tvrtka zanjela i nadobudno probala animirati zaposlenike za rad sa sustavom, uvijek se  može naći dovoljan broj onih koji će pokušati sabotirati svaki pokušaj implementacije novog sustava. Školovanje je jednostavno rođeno za takve stvari.

Certifikacija kao kompromis..

Evolucija interneta i napredak tehnologije svakoj informatičkoj tvrtki daju bezbrojne mogućnosti različitih pristupa samomm školovanju. No njezin napredak nije omogućio promjenu procesa učenja za svakog od nas. Proces je ostao isti samo su se zahtjevi za školovanjem duboko promjenili. S tim se promijenilo i samo lice školovanja. Tako i dalje govorimo o istom procesu, samo u drugom ruhu. Ono je postalo sve zahtjevnije i zahtjevnije, sve skuplje i skuplje, dok se vrijeme u kojem se očekuje savladavanje sustava skratio. Svi smo mi zapravo plug & play generacija. Samo što naš mozak radi kao zastarjeli hard disk bez kojega nemožemo. Limitiran u dnevnom zapisu informacija. Zato je mjerenje razine znanja postao jedan od glavnih problema školovanja u poslovnom okruženju. Korisnik želi znati što je platio, a tvrtka želi pokazati i mjeriti napredak savladavanja sustava i same implementacije.

Kao jedno od vrlo elegantnih i starih rješenja pojavio se pojam certifikacije. Certifikacija se može shvatiti kao kompromis između provjere specifičnih znanja koje zahtjeva sam sustav i specifičnosti svakog od korisnika. No certifikacija u bilo kojem obliku sa sobom nosi brdo problema, pogotovo za one koji su odlučili nekoga ili nešto certificirati. Jer certifikator mora dobro poznavati zahtjeve koje sam želi postaviti kao i zahtjeve klijenta, bilo da ih procjenjuje ili da ih je dogovorio.

Testiranje kao okus svake certifikacije..

U centru svake certifikacije je testiranje. Njezina složenost ovisit će o koracima i složenosti samih testiranja, te o broju, redosljedu i dinamici pristupanja testovima. Samu temu provedbe certifikacije nećemo dotaknuti u ovom članku, jer je ta tema dovoljno složena za jedan ili više članaka i sama po sebi nameće mnogo pitanja i problema koji obuhvaćaju različite struke i područja. U daljnjem tekstu ovog članka ćemo se baviti samim testom i pitanjima koja će odrediti njegovu težinu. Jer upravo će oni omogućiti procjenu napretka implementacije i klijentu i tvrtki, te će otkriti probleme u procesu dovoljno brzo tako da tvrka još uvijek stigne intervenirati u proces, a klijent ne izgubi volju za savladavanje sustava.

Test je dobar onoliko koliko su dobra njegova pitanja. Pa je ,pojednostavljeno rečeno, certifikacija dobra i mjerodavna upravo onoliko koliko su to i njezini testovi. Ona će nam o znanju onoga tko se certificira reći točno ono što govore pitanja testova. Po mojem mišljenju svatko može smisliti par pitanja i grupirati ih u test. Za to mu neće biti potrebno posebno znanje didaktike, metodike, građe kojom se on bavi, niti samog sustava kojeg želi testom obuhvatiti. No u tom slučaju taj test neće dati odgovor na pitanje, esecijalno važno u certifikaciji, a to je kolika je razina znanja onoga koji ga je uzeo.

Za početak, kod odabira testa treba uzeti u obzir nekoliko okolnosti o kojima će zavisiti sama njegova  struktura. Prvo je sadržaj samog testa, tj. što je sve što mi želimo ispitati tim testom. Zatim, koji je minimum znanja kojim mi možemo tvrditi da onaj koji uzima test zna, a to je takozvani prag prolaznosti. Koji je način na koji mi želimo ispitati znanje tim testom, te do koje dubine u poznavanju sadržaja testa želimo ići. Na sve to odgovor će nam dati postavljena pitanja.

Ilustracija problema i svojstva testa..

Zbog lakše ilustracije problema ove diskusije, uzet ćemo primjer dobivanja vozačke dozvole. Iako nema velike veze sa certifikacijom softwarea, on će nam omogućiti da lakše pokažemo na koji način različiti tipovi pitanja utječu na težinu samog testa, te na procjenu znanja onog tko ga uzima. A samim time ćemo pokazati složenost samog procesa certifikacije.

Jer vozačka dozvola je jedan od najrasprostranjenijih certifikata. Nije li? Upišete autoškolu, platite, slušate predavanja i dobijete pisane materijale, polažete 2 testa iz teorijskog dijela, a u slučaju da ste ih prošli možete sjesti u auto i voziti sa instruktorom. Nakon određenog broja sati od vas se očekuje da pristupite testu vožnje koja se sastoji od 2 dijela. Gledano sa stajališta certifikatora ovo je složen proces od 6 nivoa. Svaki od nivoa zahtjeva druga specifična znanja i vještine, a ako je netko prošao jedan od nivoa pretpostavlja se da zna ono što je bilo na nižem nivou certifikacije. Vi dobijete pravo izvaditi vozačku dozvolu, tj. certifikat da možete upravljati autom samo ako se potpuno certificirate, ili laički rečeno položite sve ispite. Mislim da uopće nemoram napomenuti da ako netko nije pristupio bilo kojem testu u bilo kojem trenutku, nije certificiran i nemože voziti auto.
Pitanja koja će nam odrediti sam sadržaj ili ako baš hoćete temu testa moraju biti dakle napravljena iz iste cjeline. Recimo na primjer da želimo ispitati cjelinu prometnih znakova. U tom slučaju nam pitanje: Koja je najveća dopuštena brzina na autocesti, neće spadati u tu cjelinu. U slučaju da se takvo pitanje nađe u testu o prometnim znakovima lažirat će polaznikovo znanje o cjelini koju želimo u testu ispitati. Tako recimo pitanje: Što označava okrugli znak sa brojem 130 će biti u toj kategoriji.

Sljedeća stvar o kojoj treba razmisliti je famozni prag prolaznosti. Naše formalno školovanje nas je naučilo da je prag prolaznosti 50% + 1 bod, dakle to je naša tradicionalna dvojka. No da li ona može zadovoljiti potrebe poslovnog svijeta? Kod poslovnog svijeta je minimum znanja jako relativna stvar. Ako je netko izradio određeni program, svi njegovi dijelovi su mu jednako važni, svaki zarez, svaki ekran, svaki postupak i svako polje, dakle svaka sitnica.Zbog toga za njega minimum može imati sasvim drugačije značenje od recimo nekoga tko se sa tim programom prvi put susreće. Pojasnimo opet na znakovima. Netko tko tek uči cjelinu znakova mučit će se s količinom koja već postoji i koju tek mora naučiti razlikovati. Njemu je prag prolaznosti pogađanje značenja već postojećih znakova. Neće mu biti važna boja niti ako ima više znakova jedan ispod drugoga, njemu je prag prolaznosti 50% pogodaka vrsta znakova. No za one vozače koji voze cijeli život u Hrvatskoj i van nje, bit će važna boja i oblik, i ono što točno piše u znaku, kao i sam kut znaka. Tim će vozačima biti važan svaki znak, jer će ga gledati kao osnovnog iz kojeg će vući paralele za druge složenije. Njihov prag prolaznosti iz postojeće (za njega osnovne) baze znakova u Hrvatskoj je vjerojatno 90 i više posto. Zato je potrebno staviti "na papir" onu količinu znanja koja će zadovoljiti sve strane, a neće postavljati nemoguće zahtjeve ni za onoga tko testira, ni za onoga koji se testira.

U praksi to znači da kada govorimo o poslovnom svjetu ne govorimo o formalnom školovanju, niti o minimumu potrebnog znanja, već govorimo o prosjeku potrebnog znanja. Prosjek je uvijek bio oko 75% točno riješenih pitanja na testu. Dakle mi govorimo bar o trojci. Po mojem iskustvu to je postotak koji je očekivan i u velikoj večini slučajeva predstavlja onaj kompromis u količini znanja koji informatičke tvrtke zahtjevaju u radu sa svojim softverom a korisnici mogu naučiti u određenom roku.
Kako ispitati znanje i odrediti njegovu dubinu..

Sljedeća stvar koju treba uzeti u obzir kod sastavljanja testa je način ispitivanja, dakle na koji način i koja pitanja ćemo staviti u test. Svima nama je poznato da se pitanja mogu razlikovati na mnogo načina. Test se može izvoditi u obliku zadataka, zadaća, prezentacija, usmeno ili pismeno ili na neki drugi način i naravno kao kombinaciju svega navedenog. U svakom od ovih oblika ovisno o tome kako formuliramo pitanja možemo imati različite težine pitanja. Recimo da želimo ispitati znanje u pismenom obliku. Tu mogu biti pitanja koja traže opisne odgovore, to su recimo eseji. Možemo imati pitanja sa kratkim odgovorima, recimo sa da ili ne, ili sa ponuđenim odgovorima. Možemo tražiti postupak ili slično, a vrste pitanja koja se postavljaju u testu ovisit će o tome što želimo dobiti kao odgovor, i što želimo ispitati tim pitanjem.

Na primjer, želimo ispitati koliko neki kandidat zna o znaku stop, i odlučili smo to provjeriti pismenim putem. Možemo to napraviti na više načina, ovisno o količini znanja o nekoj temi koju želimo ispitati.
Demonstrirajmo kratkim primjerom.

1. pitanje: Znak na slici predstavlja znak stop (dopunjavanje praznog mjesta), će vam reći da kandidat zna kako izgleda znak stop, ali neće vam reći ništa o tome da li ga on raspoznaj ili zna li njegovo značenje.

2. pitanje: Znak na slici predstavlja?
a) znak stop (što je točan odgovor),
b)znak opasnosti na cesti,
c)znak prometa u jednom smjeru,
d) ništa od navedenog,
će vam reći da on raspoznaje znak unutar više znakova, ali vam neće reći da li kandidat poznaje značenje znaka stop ili za što se koristi.

3. pitanje: Znak Stop u križanju koristimo za..
a)zaustavljanje vozila na cesti s manjom prednošću (točan odgovor),
b)zaustavljanje vozila na cesti s većom prednošću,
c)usporavanje brzine vozila,
d)ništa od navedenog,
će vam reći da kandidat zna za što se koristi znak stop, no neće dati nikakvu informaciju da li kandidat zna kako taj znak izgleda. Vidim, smješak na vašem licu. Da, svatko od nas će pretpostaviti da kandidat zna kako znak stop izgleda ako zna kako se koristi, međutim u ovom pitanju i njegovom odgovoru nema informacije koja bi potvrdila tu tvrdnju.

Uvijek možete pribjeći pitanjima koja zahtijevaju opisne odgovore kao što su: Opište kako izgleda znak stop ili Napišite sve što znate o znaku stop, itd. Ta pitanja će vam svakako dati najbolju informaciju o znanju kandidata o znaku stop, no problem je njihovo bodovanje, koje u tom slučaju postaje subjektivno. Zašto? Zato što netko drugi procjenjuje količinu i sadržaj odgovora i na osnovu toga dodjeljuje bod, dva ili više. Takva vrsta bodovanja zna biti jako nezahvalna u informatičkom svijetu i rijetko se primjenjuje. Ovakvih vrsta pitanja ima jako puno pogotovo ako gledate njihove kombinacije.

Dubinu znanja kandidata koji je uzeo test dobit ćete raznovrsnošću pitanja u testu. Gore navedena pitanja nemaju jednaku težinu i svako od njih govori različite stvari. Ako gledamo pitanje Znak na slici predstavlja? Što možemo zaključiti o znanju kandidata. Na prvi pogled možemo zaključiti da ako je odabrao točan odgovor zna kako izgleda znak stop. Ako je odabrao upozorenje ili obavijest kao odgovor da se ili prisjeća ili da nije sasvim usvojio kako taj znak izgleda. U svakom slučaju je vidljivo da kandidat u tim slučajevima nije siguran u svoje znanje. Ako je pak izabrao ništa od navedenog znači da nije razumio pitanje. što opet govori o njegovom znanju samo po sebi.

Kod pitanja Znak Stop u križanju koristimo.. je situacija nešto složenija. Naravno. ako je kandidat izabrao odgovor koji smo označili kao točan, onda je jasno da je usvojio za što se znak stop koristi u križanju. No ako je izabrao odgovor c) možemo zaključiti da nije siguran, i da se samo prisjeća. Ako je pak izabrao odgovor b) vidljivo je da nije upoznat s time za što se taj znak koristi. Očito je da se radi o dva pitanja različite težine a koja se bave istom temom.

Postavlja se sljedeće pitanje. Pa koja onda pitanja staviti u test? U test treba staviti sva pitanja koja će dati uvid u razinu znanja kandidata. Hmmm... Odmah ću reći. Ja svakako ne bih voljela rješavati test sa stotinjak pitanja, bez obzira koliko ona bila lagana. Neka mi za svako pitanje treba minuta govorimo o testu dužine od sat i pol. Biste li ga vi htjeli rješavati?

Pa koliko pitanja staviti u test? Osobno vjerujem da je 20 - tak pitanja dovoljno da se ispita znanje kandidata. Također, vjerujem da kandidat može imati loš dan, i da svakako ima pravo uzeti test iz iste teme još bar 2 puta. To svakako ne znači da će on dobiti test sa istim pitanjima, nego da će dobiti test koji će biti isti po težini i po količini ali sa drugim pitanjima. Zbog jednostavnosti rasprave ovog članka, recimo da imate 3 različite težine pitanja koje stavljate u vaš test od 20 pitanja. Ne čini vam se puno?

Pogledajmo to u našim znakovima. To znači da ćete za svaki znak posebno imati bar 3 pitanja različite težine. Koliko smo rekli da ima znakova? Recimo da ih ima oko 260. Znači da govorimo o 780 pitanja. Ako želite imati barem 3 pitanja iste težine, znači da se radi o brojci od 9 pitanja po znaku, dakle o 2340 pitanja samo o znakovima. Iz iskustva mogu reći da 3 pitanja iste težine nije pretjerano puno na test od 20 pitanja. Međutim, tim smo riješili samo poznavanje pojedinog znaka, a ne i njegovo korištenje u situacijama kada imamo više znakova.
Kako to preslikati na software pitate se. Pa na prometni znak možete gledati kao na jedan ekran softvera kojeg želite certificirati. Koliko ono softver kojeg želite certificirati ima ekrana? A koliko je onih posebnih situacija, trikova i ostalih bitnih činjenica na koje bi vaši kijenti trebali obratiti pažnju?
 

I za kraj..

Prilagođavanje testova potrebama korisnika mora postati standard u certifikaciji softvera. Ono mora biti u funkciji pomoći kako korisniku tako i samoj informatičkoj tvrtki u procesu implementacije, ali i kasnije. To prilagođavanje testova moguće je dobiti kvalitetnim pitanjima i njihovom dostupnošću korisniku, u svakom trenutku i na svakom mjestu. Navedeni problemi: kao veliki fond pitanja, velika disperzija pitanja, različita težina pitanja, u ovom članku su ilustirani na sasvim jednostavnim primjerima i nisu jedini izazovi na koje će naići tvrtka koja je odlučila certificirati softver. Time svakako pokazuju da priprema same certifikacije nije lagana ni jednostavna. Kao složen proces, njezin izuzetno važan dio čine testovi i sama pitanja. Međutim uspjeh same certifikacije ovisi o mnogo drugih faktora o kojima nismo pisali u ovom članku. Ovdje smo samo pokazali da certifikacija ima više lica. Sva ona zahtijevaju pristup jednako profesionalan i inovativan, kao i sam pristup tehničkim zahtjevima jednog takvog projekta.

Nives Bačun Lebarović prof.mat.fiz
voditelj školovanja