Aquí hay un simple ejemplo de scripts PHP donde se usa el tokenizer para leer en un archivo PHP, quitar todo los comentarios del archivo original y mostrar solamente el código puro.
Ejemplo #1 Quitar comentarios con el tokenizer
<?php
/*
* T_ML_COMMENT no existe en PHP 5.
* Las siguientes tres líneas lo definen para
* preservar compatibilidades anteriores.
*
* Las siguientes dos líneas definen el T_DOC_COMMENT de PHP 5,
* el cual será sobreescrito como T_ML_COMMENT para PHP 4.
*/
if (!defined('T_ML_COMMENT')) {
define('T_ML_COMMENT', T_COMMENT);
} else {
define('T_DOC_COMMENT', T_ML_COMMENT);
}
$source = file_get_contents('example.php');
$tokens = token_get_all($source);
foreach ($tokens as $token) {
if (is_string($token)) {
// simple 1-character token
echo $token;
} else {
// token array
list($id, $text) = $token;
switch ($id) {
case T_COMMENT:
case T_ML_COMMENT: // hemos definido esto
case T_DOC_COMMENT: // y esto
// ninguna acción en comentarios
break;
default:
// cualquier otra cosa -> salida "tal cual"
echo $text;
break;
}
}
}
?>