Лексический анализатор языка j8b

Обзор реализации

Лексический анализатор (лексер) полностью реализован и поддерживает все необходимые конструкции Java-подобного языка для 8-битных микроконтроллеров.

Ключевые особенности:

• Поддержка всех основных типов токенов
• Полный набор операторов и разделителей
• Гибкая система обработки ошибок с указанием позиции
• Оптимизирован для работы с ограниченными ресурсами

Типы токенов

Тип токена	Примеры	Класс реализации
Ключевые слова	class, if, while, return	TKeyword
Числа	123, 0xAB, 0b1010, 3.14	TNumber
Строки	"Hello", "Escaped\nstring"	TString
Символы	'A', '\n', '\''	TChar
Операторы	+, -, *, /, ==, !=, +=	TOpearator
Разделители	() {} [] ; , . ..	TDelimiter
Метки	label:	TLabel
Специальные нотные записи	#p m/8e5-e5-e5	TNote

Пример работы лексера

// Пример входного кода
class Led {
    private byte pin;
    public void on() {
        HAL.GPIO.write(pin, HIGH);
    }
}

Будет разбит на токены:

KEYWORD(class) ID(Led) DELIMITER({)
KEYWORD(private) KEYWORD(byte) ID(pin) DELIMITER(;)
KEYWORD(public) KEYWORD(void) ID(on) DELIMITER(() DELIMITER()) DELIMITER({)
ID(HAL) DELIMITER(.) ID(GPIO) DELIMITER(.) ID(write) DELIMITER(() 
ID(pin) DELIMITER(,) ID(HIGH) DELIMITER()) DELIMITER(;)
DELIMITER(}) DELIMITER(})

Полнота реализации

Лексический анализатор полностью покрывает потребности языка j8b:

• Поддерживаются все операторы - от арифметических до битовых и логических
• Полная обработка числовых литералов - десятичные, шестнадцатеричные, двоичные и восьмеричные форматы
• Гибкая система ошибок - с точным указанием позиции в исходном коде
• Специальные конструкции - такие как нотные записи для звуковых сигналов

Возможные улучшения:

• Добавление поддержки Unicode escape-последовательностей
• Научная нотация для чисел
• Более строгая валидация числовых литералов