Automaadid, keeled ja translaatorid

5. kodutöö: Käsitsi lekser

Varsti alustame me kodutööde sarja, mille käigus on vaja luua erinevaid komponente ühe väljamõeldud keele translaatorile. Seda keelt nimetame me nimega AKTK (st. AKT keel). Tegemist on lihtsa imperatiivse, üldotstarbelise programmeerimisekeelega. Seda keelt tahame arendada töövahendiga ANTLR, aga selle pimesi kasutamine on väga ohtlik. ANTLR lubab ühes failis spetsifitseerida nii lekseri kui ka parseri, aga nad käituvad erinevatel põhimõtetel.

ANTLRi tööpõhimõtte arusaamiseks implementeerime kõigepealt käsitsi lekseri ja parseri. Seejuures on lekseri implementeerimine palju piinarikkam, aga edasi lähevad meil asjad lihtsamaks. Antud kodutöös tuleb siis implementeerida lekser AKTK jaoks. Ülesande põhi on kursuse repos, kus tuleks lõpuni implementeerida AktkHandwrittenLexer klass paketis week5.

AKTK programmides võivad esineda:

• võtmesõnad if, while ja var;
• märgita täisarvuliteraalid (nt. 3 või 34);
• sõneliteraalid (nt. "kala" või "Ta ütles \"Jah!\"");
  • selgituseks -- langkriipsuga tähistatakse teatud erisümboleid:
    • \n tähistab reavahetust
    • \t tähistab tabulaatorit
    • \" tähistab jutumärki
    • \\ tähistab langkriipsu
  • Pane tähele, et kui tekstfailis on kirjas sõneliteraal "a\nb", siis on tegemist nelja tähega ehk järgmine tähtede massiiv ['a', '\\', 'n', 'b']. Me tahame sellest saada sõne kolmest tähest koosnev sõne: ['a', '\n', 'b'].
• muutuja nimed (nt. kala);
  • muutuja nime esimene sümbol peab olema täht (kasuta Character.isLetter) või allkriips, edasi võib tulla ka numbreid;
• operaatorid +, -, *, /;
• sulud ((, ));
• kommentaarid (ühe- ja mitmerealised, nagu Javas);
• lekseemide vahel võivad olla tühisümbolid (reavahetus, tühik ja tabulaator).

Lekseri poolt genereeritava lekseemide jada lõpus peaks olema lekseem tüübiga EOF. Kommentaare ja tühisümboleid peab lekser ignoreerima, nendele vastavaid lekseeme ei ole ette nähtud.

Lekseemide kujutamiseks on mõeldud klass AktkToken ja selle sees olev enum AktkToken.Type. AktkToken.data kohta käivad eeldused on kirjas Type-i juures.

Kokkuvõte

• Esitada tuleb AktkHandwrittenLexer klass.
• Soovitus: kui sa kõiki lekseemide tüüpe ei oska tuvastada, siis tee need, mida oskad. Testid lähevad järjest raskemaks.
• Tokeni juurde võib, aga ei pea, lisama info selle kohta, kus lekseem failis paikneb. See on meil ainult ühes testis (üheksas test), mis kontrollib, kas asukoht on seal määratud või mitte.
• Viimane test kontrollib, et vaatad sisendit läbi enam-vähem lineaarselt ja liiga palju edasi-tagasi ei hüppa. Üldiselt oleme niimoodi õpetanud teid mõtlema (nii olekumasinate kui ka kalalekseri näitel), seega see test ei tohiks probleeme valmistada.