Таблица лексем и содержащаяся в ней информация

Результатом работы лексического анализатора является перечень всех найденных в тексте исходной программы лексем с учетом характеристик каждой лексемы. Этот перечень лексем можно представить в виде таблицы, называемой таблицей лексем. Каждой лексеме в таблице лексем соответствует некий уникальный условный код, зависящий от типа лексемы, и дополнительная служебная информация. Таблица лексем в каждой строке должна содержать информацию о виде лексемы, ее типе и, возможно, значении. Обычно структуры данных, служащие для организации такой таблицы, имеют два поля: первое — тип лексемы, второе — указатель на информацию о лексеме.

Кроме того, информация о некоторых типах лексем, найденных в исходной программе, должна помешаться в таблицу идентификаторов (или в одну из таблиц идентификаторов, если компилятор предусматривает различные таблицы идентификаторов для различных типов лексем).

Таблица лексем фактически содержит весь текст исходной программы, обработанный лексическим анализатором. В нее входят все возможные типы лексем, кроме того, любая лексема может встречаться в ней любое количество раз. Таблица идентификаторов содержит только определенные типы лексем — идентификаторы и константы. В нее не попадают такие лексемы, как ключевые (служебные) слова входного языка, знаки операций и разделители. Кроме того, каждая лексема (идентификатор или константа) может встречаться в таблице идентификаторов только один раз. Также можно отметить, что лексемы в таблице лексем обязательно располагаются в том же порядке, что и в исходной программе (порядок лексем в ней не меняется), а в таблице идентификаторов лексемы располагаются в любом порядке так, чтобы обеспечить удобство поиска.

Схема распознавателя Описание:

Н — начальное состояние К — конечное состояние Т1.(1−2) — состояния соответствующие комментарию в «//».

Т2.(1−5) — состояния соответствующие ключевому слову «while».

T3.(1−6) — состояния соответствующие ключевому слову «switch».

T4.(1−3) — состояния соответствующие ключевому слову «int».

T5.(1−5) — состояния соответствующие ключевому слову «array».

T6.(1−4) — состояния соответствующие ключевому слову «char».

T7.(1−4) — состояния соответствующие ключевому слову «case».

T8.(1−7) — состояния соответствующие ключевому слову «default».

Ц — любая цифра Б — любая буква Б (*) — буква, кроме перечисленных в скобках Ц (*) — цифра, кроме перечисленных в скобках Е — «ошибка».

ID — соответствующая идентификатору П — пробел, табуляция, переход на новую строку, «:», «(», «)», «{», «}»…

Спроектированный лексический анализатор выполняет лексический анализ входного текста в соответствии с заданной грамматикой и порождает таблицу лексем с указанием их типов. Программа выводит также сообщения о наличие во входном тексте ошибок.

Распознаватель лексем языка для данной грамматики задан конечным детерминированным автоматом, схема которого представлена на рисунке 2.