Mikä on harjoitustehtävän oikea ratkaisu?

Kuten monet lukijat ehkä tietävät, TKK:lla on parin viimeksi kuluneen vuoden aikana laadittu automaattisesti tarkastettavia harjoitustehtäviä useimmille matematiikan peruskursseille. Tehtävien automaattinen tarkastaminen mahdollistaa monia sellaisia asioita, joita perinteisissä harjoituksissa ei voi yleensä toteuttaa, mutta tällaisten tehtävien kehittämisessä on myös monia uusia haasteita. Nämä liittyvät etenkin siihen, että kone ei käytä harkintaa. Se osaa vain noudattaa sääntöä. Tämä nostaa pinnalle sellaisiakin kysymyksiä, jotka esiintyvät myös perinteisten tehtävien tapauksessa nousematta kuitenkaan yleensä esille opetusta koskevassa keskustelussa. Yksi tällainen kysymys tuli ajankohtaiseksi seuraavan laskuharjoitustehtävän yhteydessä.

Tehtävä. Pakkauksessa 400 tuotetta, joista 150 on viallisia. Poimitaan umpimähkään 4 tuotetta tarkastettavaksi. Millä todennäköisyydellä saadaan täsmälleen yksi viallinen tuote?

Tehtävän ratkaisemiseksi opiskelijan on huomattava, että jokaisen poimimisen jälkeen tuotteita on jäljellä yksi vähemmän. Tilannetta voidaan mallintaa hypergeometrisella jakaumalla, mutta tehtävä ratkeaa ilmankin. Todennäköisyydelle saadaan likiarvo: \[ 4\cdot \frac{150}{400}\cdot \frac{250}{399}\cdot \frac{249}{398}\cdot \frac{248}{397}\approx 0,3673125956. \] Tehtävän luonteesta johtuen on ilmeisestikin ratkaisua mielekästä kysyä opiskelijalta nimenomaan likiarvona. Tästä kuitenkin seuraa, että osa opiskelijoista kirjoittaa tehtävän välivaiheet erikseen paperille ja tekee niiden aikana pyöristyksiä mikä vaikuttaa lopputulokseen. Koska järjestelmän ei saisi luokitella oikeita vastauksia vääriksi, voidaan tehtävän arvostelemiseksi siis hyväksyä ratkaisut esimerkiksi välillä $0,37\pm 0,01$. Pienillä virheillä ei liene väliä. Vai onko sittenkin?

Tyypillinen opiskelijan kyseisessä tehtävätyypissä tekemä virhe on sotkea tehtävän tilanne tapaukseen, jossa tuote laitetaan takaisin jokaisen poiminnan jälkeen (ts. käytetään binomijakaumaa hypergeometrisen jakauman sijasta). Tällöin tarvittavasta laskusta tulee: \[ 4\cdot \frac{150}{400}\Big(\frac{250}{400}\Big)^3=\frac{4\cdot 3\cdot 5^3}{8^4} = \frac{375}{1024}\approx 0,3662109375. \] Harjoitustehtävän kannalta tyypillinen virheellinen ratkaisu eroaa oikeasta vasta kolmannen desimaalin osalta. Näyttäisi siis siltä, että hyväksyttävää vastausta varten on tarpeen vaatia ainakin kolme oikeaa desimaalia.

Kysymys tehtävän oikeasta arvostelusta ei kuitenkaan ole näin yksinkertainen. Siihen liittyy useita erillisiä ongelmia:

1. Mikä on tehtävän oikea ratkaisu matemaattisen ratkaisuprosessin kannalta?
2. Miten tehtävän ratkaissutta opiskelijaa tulisi arvostella?
3. Millainen ratkaisu tehtävään on ylipäänsä järkevä?

Jos katsotaan asiaa suppeasti näkökohdan 1) kannalta, luonnollisesti tehtävään on yksi tai joskus useampia oikeita ratkaisuja ja muut tulee hylätä. Jos kuitenkin otetaan huomioon näkökohdat 2) ja 3), niin asiasta tulee paljon monimutkaisempi.

Kysymyksen 2) kannalta oleellista on, että arvostelussa tapahtuva "oikeusmurha" on pahempi asia kuin se, että opiskelija saa liikaa pisteitä. Toisaalta voidaan ajatella, että väärän vastauksen hyväksyminen johtaa opiskelijaa harhaan, mikä johtaa vääränlaiseen oppimiseen. Jos ihminen olisi kone, tämä olisikin totta, mutta käytännössä näin ei ole asian laita.

Toisin kuin koneen tapauksessa ihmisen oppimisen kannalta tärkeää on oppimismotivaation säilyttäminen. Liian ankara arvostelu turhauttaa opiskelijan, eikä hän sen jälkeen enää yritä ratkaista tehtäviä. Oppiminen loppuu tähän. Heikko opiskelija motivoituu onnistumisesta ja saa - ehkä katteettoman - uskon omiin kykyihinsä. Tästä (ainakin yleensä) seuraa, että hän jatkaa ratkaisemista seuraavaan tehtävään. Harjoittelu puolestaan yleensä johtaa oppimiseen. Lopulta taidot kehittyvät ja opiskelija oppii tekemään tehtävän oikein. Toki on myös tärkeää, että ratkaisuprosessissa olevat ajatusvirheet lopulta huomataan. Mutta jos virhe pääsee läpi kerran tai kaksi, niin oppimisen kannalta sillä ei ole todellista merkitystä.

Myös näkökohta 3) on tässä tehtävässä mielenkiintoinen. Jos matemaatikolta joku kysyisi käytännön tilanteessa vastaavan kysymyksen annetuilla numeroarvoilla, niin hän luultavasti ratkaisisi tehtävän "väärällä" tavalla! Miksi? Koska oikea tapa johtaa laskuun, josta ei ilman laskinta ja paperia selviä. "Väärä" tapa johtaa lähes päässälaskuun. Numeroista voi nähdä heti, että valitulla tavalla ei ole lopputuloksen kannalta juuri mitään merkitystä.

Matematiikan sovellukset (laajasti ymmärrettynä) ovat täynnä laskusääntöjä, joiden virhe on paljon suurempi. Esimerkiksi tykistössä lasketaan tykin ammusten lentoratoihin liittyvyviä likiarvoja kaavalla tykkimiehen kolmiosta, joka perustuu peukalosääntöön "yksi piiru on metri/kilometri". Selvästikin käytetty arvio on varsin karkea, mutta käyttötarkoitukseensa riittävä ja helposti mieleen painettava. Pitää siis valita pienempi paha: karkeaan arvioon liittyvät virheet tai monimutkainen sääntö joka muistetaan ja jota käytetään väärin.

Koska alkuperäinen ongelma liittyi insinööriopiskelijoille tarkoitettuun matematiikan kurssiin, pitäisi opetettavan ratkaisuprosessin luonnollisesti myös palvella insinöörikoulutuksen tarpeita. Hieman provokatiivisesti voidaankin kysyä kumpi seuraavista on "parempi" insinööri:

1. sellainen, jolla on harkintakykyä ja itsevarmuutta tehdä matemaattisia kaavoja käyttessään laskutoimituksia helpottavia harmittomia yksinkertaistuksia, vai
2. pedanttinen pilkunviilaaja joka pitää tiukasti kiinni jokaisesta epsilonista kunnes kukaan ei enää pysy kärryillä hänen laskelmissaan?

Mielestäni on selvää, että opiskelijoita tulisi rohkaista ensimmäisen vaihtoehdon suuntaan. Tavallaan siis tehtävän "väärä" ratkaisu on parempi kuin oikea.

Alkuperäinen kysymys ei kuitenkaan ratkea vielä tähän. Ratkaisuun voi nimittäin päättyä kahdella tavalla. Siksi ettei tiedä mikä on oikea ratkaisu tai tietämällä oikean ratkaisun ja päättelemällä ettei lopputulos juuri helpommin laskettavasta ratkaisusta. Jälkimmäinen tapaus osoittaa luovuutta, näkemystä ja itsevarmuutta, ensimmäinen pelkkää tietämättömyyttä. Kyseisen tehtävän tapauksessa käytännön kannalta ongelma on numeroissa. Jos viallisia tuotteita olisi esim 10 ja tuotteita yhteensä 20, "oikea" ja "väärä" ratkaisu eroaisivat toistaan merkitsevästi. Toisaalta opiskelijoille ja erityisesti insinööriopiskelijoille pitäisi myös opettaa matemaattista ajattelua, joka parhaimmillaan on paljon hyödyllisempää kuin mekaaninen laskutehtävien ratkaiseminen. Yksinkertaistuksien tekeminen on yksi tällainen taito, joka ei valitettavasti juuri nouse esille nykymuotoisessa opetuksessa.

muuta tehtävää

Jos muuttaa tehtävän luvut vaikkapa kymmenesosaan, niin virheellinen ajattelu näkyy helpommin vastauksesta.

Jos käytetään koneellista arviointia, niin eikö myös sallittaisi oppilaille koneet. Sage (tai ne maksulliset kolme M:ää) ohjelmat laskevat helposti tuollekin tehtävälle tarkan arvon.

Miksi muuten hyväksyt pyöritysvirheet kesken laskun, onko ne jotenkin sallittavampia virheitä kuin oikea ajattelu. Tariastasi saan käsityksen, että alkeellinen pyöristyvirheen tekeminen on jotenkin parampaa matematiikkaa kuin matematiikka joka tuo lähes oikean tuloksen suurilla alkuarvoilla (tuotteen määrillä tässä tapauksessa).

MR

Oikea ja väärä vai aproksimaatio

"Väärä" vastaus tuli siis aproksimoimalla otantaa ilman takaisinpanoa otannalla takaisinpanolla. Jos ruvetaan hiuksia halkomaan, niin tehtävässä ei sanottu, että kyseessä on otanta ilman takaisinpanoa. Toki luonnollinen tapa ymmärtää tehtävä on otanta ilman takaisinpanoa, ja on selvää että eri tulkinnoilla ei ole paljoakaan merkitystä todennäköisyyksiin. (Hmm... mitähän normaaliaproksimaatio antaisi tässä tapauksessa, tai Poisson-aproksimaatio? :)

Mutta jos jätetään hiukset rauhaan, niin tehtävä herätti mielenkiintoisen kysymyksen aproksimoinnin roolista matematiikan opetuksessa. Kaikki mallinnushan perustuu yksinkertaistukseen --- siis todellisuuden aproksimointiin. Hyvä aproksimointi on tietysti sellainen, joka antaa "riittävän hyvät" tulokset ja muuttaa ongelman "riittävän yksinkertaiseksi". Mutta käytännössä hyvän ja huonon aproksimoinnin ero on tapauskohtainen ja sitä ei voi opettaa yleisenä teoriana. Kyseessä on "käsityöläistaito". Mutta miten aproksimointia pitäisi opettaa? Lienee selvää, että sitä kuitenkin pitää opettaa.

Vastaus Simolle

Joo, aivan totta kaikki mitä sanot. Tämä esimerkki tavallaan osoittaa, automaattinen tarkastaminen on paljon perinteistä silmämääräistä arviointia tarkempi instrumentti. Arviointia tehdessään ihminen tapaa noudattaa harkintaa vaikka tarkat arvosteluohjeet olisikin annettu (esim. ylioppilaskirjoitus).

Koneen tekemässä arvostelussa kysmys on paljon vaikeampi, koska kaikki arvostelussa käytetyt periaatteet pitää toteuttaa eksplisiittisesti. "Tämä opiskeja on niin hyvä, että kyllä hänellä varmaankin oli oikea ajatus" ei enää kelpaa perusteluksi.

Oikean vastauksen lisäksi täytyy toisinaan määritellä mikä on oikea ajatus. Tämä on sekä hyvä että huono asia. Mielenkiintoinen asia, jonka olen tässä yhteydessä huomannut on, että itseasiassa automaattisessa tarkastamisessa opettajan kädenjälki näkyy hyvin selvästi - jopa perinteistä opetusta enemmän.

Koska kaikkien tehtävän laatimiseen ja arvosteluun liittyvien periaatteiden täytyy olla eksplisiittisiä, myös tehtävän ratkaisuprosessia arvottavat arviointikriteeriot tulevat esille. Esimerkiksi opettajan tulee päättää kuinka paljon hän ohjaa ratkaisuprosessia ja tarvitseeko laskut saada loppuun asti oikein vai kelpaako pelkkä idea. Saatujen kokemusten perusteella tässä on huomattavia eroja luennoitsijoiden välillä. Vaikka opetus tapahtuu tietotekniikkaa käyttäen, niin mistään persoonattomast "koneoppimisesta" ei siis ole kysymys. Pikemminkin päinvastoin.

Matematiikan osaaminen ja oikean vastauksen löytäminen

Matematiikan opiskelun tavoitteena pitäisi tietenkin olla asioiden ymmärtäminen, ei vain tehtävän oikean vastauksen esittäminen. Tällöin harjoitus- tai koetehtävän ratkaisun tulisi oikeastaan olla essee, josta ilmenee, mitä on laskettu, miten on ajateltu ja mitä on tulokseksi saatu.

Automaattisesti tarkastettavissa tehtävissä vastausta käytetään indikaattorina osoittamaan asian ymmärtämistä. Se ei ole ongelmaton indikaattori, kuten Antin esimerkki osoittaa. Virheitä voi tapahtua kahteen suuntaan: Vastaus hyväksytään, vaikka taustalla oleva ajattelu on väärä. Taustalla oleva ajattelu on oikea, mutta vastaus hylätään jonkin sekundaarisen syyn takia (pieni laskuvirhe tai epätarkkuus, syntaksivirhe vastauksen syöttämisessä, tarkastusalgoritmi ei ota huomioon jotakin mahdollisuutta tms.).

Automaattisesti tarkastettavilla tehtävillä on kuitenkin etunsa eikä niitä ole syytä hylätä tällaisten ongelmien takia. Tehtävien ja tarkastusalgoritmien laatiminen ei kuitenkaan ole triviaali tehtävä, vaan ongelmiin on varauduttava, mikä vaatii laatijalta kohtalaista ammattitaitoa. Jos tehtävillä on vakavaa merkitystä kurssin suorituksen kannalta, opiskelijalla tulee olla valitusmahdollisuus.