Lekseri soojendus
Kodutöös kirjutame käsitsi oma keele jaoks lekseri. Pärast teeme seda ANTLR'is, aga väga hea on ise ka aru saada, mida üks lekseri generaator teeb. Siin on mõned harjutused, millest võib olla abiks kodutöö lahendamisel.
Lekseri kirjutamine
Praktikumis toome näidena, kuidas võiks organiseerida lekserit. Harjutame siin lihtsalt funktsiooni argumentlisti jaoks lekseri kirjutamist:
Sisend on näiteks: (kala, x, null)
Väljundiks on list tokenitest: <LPAREN><IDENT:kala><COMMA><IDENT:x><COMMA><NULL><RPAREN><EOF>
Kodutöö jaoks on juba lahenduse skelett võimalik endale kopeerida, aga me mõtlesime seda siin ise jooksvalt välja mõelda, et me ei pea siin päris samamoodi kõik tegema.
Eriti tasub siin tähele pöörata, kuidas võtmesõna null eristada muutujast nulll.
Escape'imisest
Kodutöö jaoks on suureks abiks, kui saad aru, kuidas maskeerimistähtedega toime tulla. Meil on siin väike harjutus, et probleem oleks vähemalt selge. Alusta sellega, et kirjutad endale Java failis sõne, mis sisaldab reavahetust:
String mystring = "foo\nbar\nbaz";
Kui tähthaaval välja printida selle sõne kõik tähti, siis me saame väljundiks:
[f, o, o, , b, a, r, , b, a, z]
Selles sõnes on seega kaks reavahetust. Kopeeri nüüd enda sõne (koos jutumärkidega) kuhugi sisendfaili. Me oleme seda teinud failis input3.txt, aga võid proovida erinevate sõnedega seal. Kui sealt seda sisse lugeda ja välja trükkida tähtede jada, siis näeme järgmisi tähti:
[", f, o, o, \, n, b, a, r, \, n, b, a, z, "]
Selles sõnes on reavahetuste asemel kaks eraldi tähte. Kuidas saada ikkagi tagasi esialgne sõne? Proovi defineerida meetod unescape, mis annaks tagasi Sinu esialgset sõne!