Lekseri soojendus
Kodutöös kirjutame käsitsi oma keele jaoks lekseri. Pärast teeme seda ANTLR'is, aga väga hea on ise ka aru saada, mida üks lekseri generaator teeb. Siin on mõned harjutused, millest võib olla abiks kodutöö lahendamisel. Lekseritööpõhimõtte kohta võib vaadata:
- Vesali slaidid, sest loengus oli see ju väga selge!
- Õpiku peatükk 1.8, eriti lehekülg 25 lõpus "Splitting the Input Stream".
- Alex Aikeni videoloeng. See on nüüd kõige parim selgitus, mida ma ise olen näinud.
Lekseri kirjutamine (KalaLexer)
Praktikumis toome näite, kuidas võiks organiseerida lekserit. Harjutame siin lihtsalt funktsiooni argumentlisti jaoks lekseri kirjutamist:
Sisend on näiteks: (kala, x, null)
Väljundiks on list tokenitest: <LPAREN><IDENT:kala><COMMA><IDENT:x><COMMA><NULL><RPAREN><EOF>
Kodutöö jaoks on juba lahenduse skelett võimalik endale kopeerida, aga me mõtlesime seda siin ise jooksvalt välja mõelda, et me ei pea siin päris samamoodi kõik tegema.
Eriti tasub siin tähele pöörata, kuidas võtmesõna null eristada muutujast nulll.
Escape'imisest (Unescaper)
Kodutöö jaoks on suureks abiks, kui saad aru, kuidas maskeerimistähtedega toime tulla. Meil on siin väike harjutus, et probleem oleks vähemalt selge. Alusta sellega, et kirjutad endale Java failis sõne, mis sisaldab reavahetust:
String mystring = "foo\nbar\nbaz";
Kui tähthaaval välja printida selle sõne kõik tähti, siis me saame väljundiks:
[f, o, o, , b, a, r, , b, a, z]
Selles sõnes on seega kaks reavahetust. Kopeeri nüüd enda sõne (koos jutumärkidega) kuhugi sisendfaili. Me oleme seda teinud failis inputs/escaped.txt, aga võid seal proovida erinevaid sõnesid. Kui sealt see sisse lugeda ja välja trükkida tähtede jada, siis näeme järgmisi tähti:
[", f, o, o, \, n, b, a, r, \, n, b, a, z, "]
Selles sõnes on reavahetuste asemel kaks eraldi tähte. Kuidas saada ikkagi tagasi esialgne sõne? Proovi defineerida meetod unescape, mis annaks tagasi Sinu esialgse sõne!