Automaadid, keeled ja translaatorid 2018/19 kevad

6. kodutöö: Käsitsi lekser

Varsti alustame me kodutööde sarja, mille käigus on vaja luua erinevaid komponente ühe väljamõeldud keele translaatorile. Seda keelt nimetame me nimega AKTK (st. AKT keel). Tegemist on lihtsa imperatiivse, üldotstarbelise programmeerimisekeelega. Seda keelt tahame arendada töövahendiga ANTLR, aga selle pimesi kasutamine on väga ohtlik. ANTLR lubab ühes failis spetsifitseerida nii lekserit kui ka parserit, aga nad käituvad erinevatel põhimõtetel.

ANTLRi tööpõhimõtte arusaamiseks implementeerime kõigepealt käsitsi lekseri ja parseri. Sellejuures on lekseri implementeerimine palju piinarikkam, aga edasi lähevad meil asjad lihtsamaks. Antud kodutöös tuleb siis implementeerida lekser AKTK jaoks. Ülesande põhi on kursuse repos, kus tuleks lõpuni implementeerida Lexer.java paketis week6.

AKTK programmides võivad esineda:

• võtmesõnad if, while ja var;
• märgita täisarvuliteraalid (nt. 3 või 34);
• märgita murdarvuliteraalid (nt. 3.14, teaduslikku notatsiooni ei pea toetama);
• sõneliteraalid (nt. "kala" või "Ta ütles \"Jah!\"");
  • selgituseks -- langkriipsuga tähistatakse teatud erisümboleid:
    • \n tähistab reavahetust
    • \t tähistab tabulaatorit
    • \" tähistab jutumärki
    • \\ tähistab langkriipsu
  • Pane tähele, et kui tekstfailis on kirjas sõneliteraal "a\nb", siis on tegemist nelja tähega ehk järgmine tähtede massiiv ['a', '\\', 'n', 'b']. Me tahame sellest saada sõne kolmest tähest koosnev sõne: ['a', '\n', 'b'].
• muutuja nimed (nt. kala);
  • muutuja nime esimene sümbol peab olema täht (kasuta Character.isLetter) või allkriips, edasi võib tulla ka numbreid;
• operaatorid +, -, *, /;
• sulud ((, ));
• kommentaarid (ühe- ja mitmerealised, nagu Javas);
• lekseemide vahel võivad olla tühisümbolid (reavahetus, tühik ja tabulaator).

Lexer-i poolt genereeritava lekseemide jada lõpus peaks olema lekseem tüübiga EOF. Kommentaare ja tühisümboleid peab lekser ignoreerima, nendele vastavaid lekseeme ei ole ette nähtud.

Lekseemide kujutamiseks on mõeldud klassid Token ja TokenType. Token.data kohta käivad eeldused on kirjas TokenType-i juures.

Kokkuvõte

• Esitada tuleb Lexer.java. Tähtajaks on 9. aprill.
• Kõik testid avalikud, aga lõpliku hinde paneb juhendaja. Kui lahendus töötab ainult nendel testidel, siis me palju punkte ei anna.
• Soovitus: kui sa kõiki lekseemide tüüpe ei oska tuvastada, siis tee need, mida oskad. Testid lähevad järjest raskemaks.
• Tokeni juurde võib, aga ei pea, lisama info selle kohta, kus lekseem failis paikneb. See on meil ainult ühes testis (üheksas test), mis kontrollib, kas asukoht on seal määratud või mitte.
• Viimane test kontrollib, et vaatad sisendit läbi enam-vähem lineaarselt ja liiga palju edasi-tagasi ei hüppa. Üldiselt oleme niimoodi õpetanud teid mõtlema (nii olekumasinate kui ka kalaparseri näitel), et see test ei tohiks probleeme valmistada.