Начиная с PHP 4.3.0 эти функции включены по умолчанию. Для более ранних версий необходимо сконфигурировать и скомпилировать PHP c опцией --enable-tokenizer . Можно отключить поддержку лексера (tokenizer) с --disable-tokenizer .
Версия PHP для Windows имеет встроенную поддержку данного расширения. Это означает, что для использования данных функций не требуется загрузка никаких дополнительных расширений.
Замечание: Встроенная поддержка для лексера доступна начиная с PHP 4.3.0.