Penganalisa Leksikal (scanner)

Membaca program sumber, karakter demi karakter. Sederetan (satu atau lebih) karakter dikelompokkan menjadi satu kesatuan mengacu kepada pola kesatuan kelompok karakter (token) yang ditentukan dalam bahasa sumber. Kelompok karakter yang membentuk sebuah token dinamakan lexeme untuk token tersebut. Setiap token yang dihasilkan disimpan di dalam tabel simbol. Sederetan karakter yang tidak mengikuti pola token akan dilaporkan sebagai token tak dikenal (unidentified token).

Contoh : Misalnya pola token untuk identifier I adalah : I = huruf(huruf│angka)*. Lexeme ab2c dikenali sebagai token sementara lexeme 2abc atau abC tidak dikenal.