PHP lexikální a syntaktický analyzátor

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
        "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html lang='cs' xml:lang='cs' xmlns='http://www.w3.org/1999/xhtml'>
<head>
	<meta http-equiv="Content-Language" content="cs" />
	<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
	<meta name="description" content="" />
	<meta name="keywords" content="" />
	<meta name="author" content="www.retrodesign.us | info@retrodesign.us" />
	<meta name="copyright" content="2008 | www.retrodesign.us" />
	<meta name="robots" content="index,follow" />
	<title>PHP lexikální a syntaktický analyzátor</title>
        <style type="text/css" media="screen"> @import "/styles.css"; </style>
	<script src="scripts.js" type="text/javascript" ></script>
</head>
<body>

<?php 
/*

error_reporting(E_ALL);  // nastavi uroven reportovani
  function obsluha_chyb($errno, $errmsg, $fileinputname, $linenum, $vars) {
    if (error_reporting()) {
      // pokud je nastavena nenulova uroven reportovani - pred funkci neni znak @
      echo $fileinputname.' :: '.$linenum.' :: '.$errmsg."<br />\n";
    }
  }
  set_error_handler("obsluha_chyb");

$keywords=file_get_contents('keyWords.txt');
$reswords=file_get_contents('resWords.txt');
$input = $_REQUEST['input'];
if(empty($input)) $input=file_get_contents("input.php");

if(isset($_REQUEST['odeslat'])) {

/* Zde probehne lexikalni analyza */

$lex_ok=false;		/* Výsledek lexikální analýzy, true pokud bez chyb */
$lex_pole=array();	/* Pole vysledku lexikalni analyzy */
$lex_pocitadlo=0;	/* Vynuluj index tohoto pole */
$lex_radek=1;		/* Nastav radkovani od prvniho radku */
$vstupni_data=$input;	/* Manipulujeme s kopii vstupnich dat */
$konec=false;		/* Globalni promenna urcujici konec analyzy */

/* Vysekne prvni symbol z globalni promenne vstupni_data a vrati jej */

function CtiSymbol() {
	global $vstupni_data;
	global $first;
	if(!JeKonec() && empty($vstupni_data)) Skonci(); /* Konec vstupniho souboru, zavola Skonci() a ta nastavi globalni promennou */
	else {
		$first=substr($vstupni_data,0,1);
		$vstupni_data=substr($vstupni_data,1);
	}
}

/* Hleda dopredu symbol, ktery je v promenne co_hledat. Vraci true, pokud ho najde, jinak false.
   Pokud symbol na dalsi pozici najde, vysekne jej a nacpe ho do globalni promenne first.
   Promennou cyklit nastavujeme, zda ma pri nalezeni symbol vyseknout a zkusit, zda neni jeste i na dalsi pozici. */

/* Volana s hlaskou a cislem radku, do vystupniho pole errors pridava chybove hlaseni */

function Chyba($hlaska, $radek) {
	global $errors;
	$errors.='('.$radek.') '.$hlaska.'<br />';
}

function Varovani($hlaska, $radek) {
	global $warnings;
	$warnings.='('.$radek.') '.$hlaska.'<br />';
}

/* Zaregistrovali jsme novy radek podle end_of_line charakteru */

function DalsiRadek() {
	global $lex_radek;
	$lex_radek++;
}

/* Kontroluje, zda je predany text klicovym slovem jazyka PHP */

function JeBool($testSlova) {
	if(strtoupper($testSlova)=='FALSE' || strtoupper($testSlova)=='TRUE' || strtoupper($testSlova)=='NULL') return true;
	else return false;
}

/* Pusti na promennou first regularni vyraz a testuje, zda je pismeno (nebo _) a vraci true/false */

function JePismeno() {
	global $first;
	$reg = "^[a-zA-ZáčďéěíňóřšťůúýžÁČĎÉĚÍŇÓŘŠŤŮÚÝŽ_]{0,1}$";
	if(ereg($reg, $first) && !JeKonec()) return true; else return false;
}

/* Zjistuje zda je promenna first cislice, vraci true/false */

function JeCislo() {
	global $first;
	if(is_numeric($first) && !JeKonec()) return true;
	else return false;
}

/* Konec prace lexikalniho analyzatoru, protoze na vstupu nejsou zadna dalsi data */

function Skonci() {
	global $konec;
	$konec=true;
	Pridej('T_EOF',null);
}

/* Zjistuje, zda jsou jeste nejaka data na vstupu, nebo je prace lexikalniho analyzatoru skoncena */

function JeKonec() {
	global $konec;
	if($konec) return true; 
	else return false;
}

/* Zjistuje, zda jsme na konci radky (Carriage Return nebo New Line) */

function JeEOL() {
	global $first;
	if(ord($first)==10 || ord($first)==13) return true; else return false;
}

function JeTAB() {
	global $first;
	if(ord($first)==9) return true; else return false;
}

/* Do pole vysledku lexikalni analyzy uklada dvojici token a hodnota */

function Pridej($token,$hodnota) {
	global $lex_pole;
	global $lex_pocitadlo;
	global $lex_radek;
	$lex_pole[$lex_pocitadlo]['token']=$token;
	$lex_pole[$lex_pocitadlo]['hodnota']=$hodnota;
	$lex_pole[$lex_pocitadlo]['radek']=$lex_radek;
	$lex_pocitadlo++;
}

/* Casti kodu, ktere nejsou uzavrene mezi oteviracim a zaviracim tagem ulozme do obsahu tokenu T_NOT_PHP */

/* Samotne telo lexikalniho analyzatoru.
   Vola si zadeklarovane funkce. 
   Probubla celym vstupnim textem.
   Dokud na vstupu neco ma, analyzuje. */

TokenizujNePHP();
CtiSymbol();

while(!JeKonec()) {
	/* Dokud ma lex. analyzator na vstupu cislo, pridavej jej do docasne promenne a pote ho cele uloz do pole s tokenem T_NUMBER */
	
		/* AND, OR, NOT, XOR */
	
	
	if (JeCislo()) {
		$cislo=$first;
		$tecka=false;
		CtiSymbol();
		while(JeCislo() || ($first=='.' && !$tecka)) {
			$cislo.=$first;
			if($first=='.') $tecka=true;
			CtiSymbol();
		}
		if (JePismeno()){
			while(JePismeno($first)||JeCislo($first)){
				$cislo.=$first;
				CtiSymbol();
			} 
			Pridej('T_ALFANUM',$cislo);
		}
		else Pridej('T_NUM',$cislo);
	}
	
	/* Pokud ma lex. analyzator na vstupu pismeno nebo podtrzitko */
	
	elseif (JePismeno()) {
		$pismeno=$first;
		$vstupni_data_chop=substr($first.$vstupni_data,0,50);
		
		$keyword=substr($vstupni_data_chop,0,strpos($vstupni_data_chop,'('));
		$keyword_space=substr($vstupni_data_chop,0,strpos($vstupni_data_chop,' '));
		$keyword_default=substr($vstupni_data_chop,0,strpos($vstupni_data_chop,':'));
		$keyword_sl_bracket=substr($vstupni_data_chop,0,strpos($vstupni_data_chop,'{'));
		
		$bool_1=substr($vstupni_data_chop,0,strpos($vstupni_data_chop,')'));
		$bool_2=substr($vstupni_data_chop,0,strpos($vstupni_data_chop,';'));
		$bool_3=substr($vstupni_data_chop,0,strpos($vstupni_data_chop,'}'));
		$bool_4=substr($vstupni_data_chop,0,strpos($vstupni_data_chop,','));
		
		if(trim($bool_2)=='break' || trim($bool_2)=='continue') {
			Pridej('T_BREAK_CONTINUE',trim($bool_2));
			$vstupni_data=substr($vstupni_data,strlen(trim($bool_2))-1);
			CtiSymbol(); /* Preskoc whitespace, ktery jsi nasel */
		}
		
		elseif(trim($keyword_space)=='break' || trim($keyword_space)=='continue') {
			Pridej('T_BREAK_CONTINUE',trim($keyword_space));
			$vstupni_data=substr($vstupni_data,strlen(trim($keyword_space))-1);
			CtiSymbol(); /* Preskoc whitespace, ktery jsi nasel */
		}
		
		
		
		elseif(trim($keyword_default)=='default') {
			Pridej('T_DEFAULT',trim($keyword_default));
			$vstupni_data=substr($vstupni_data,strlen(trim($keyword_default))-1);
			CtiSymbol(); /* Preskoc whitespace, ktery jsi nasel */
		}
		
		elseif(trim($keyword_space)=='case') {
			Pridej('T_CASE',trim($keyword_space));
			$vstupni_data=substr($vstupni_data,strlen(trim($keyword_space))-1);
			CtiSymbol(); /* Preskoc whitespace, ktery jsi nasel */
		}
		
		elseif(JeBool(trim($bool_1)) || JeBool(trim($bool_2)) || JeBool(trim($bool_3)) || JeBool(trim($bool_4))) {
			if(JeBool(trim($bool_1))) $value=$bool_1;
			elseif(JeBool(trim($bool_2))) $value=$bool_2;
			elseif(JeBool(trim($bool_3))) $value=$bool_3;
			elseif(JeBool(trim($bool_4))) $value=$bool_4;
			Pridej('T_BOOL',$value);
			$vstupni_data=substr($vstupni_data,strlen($value)-1);
			CtiSymbol(); /* Preskoc tu zavorku, kterou jsi nasel */
		}
		
		elseif(JeBool(trim($keyword_space))) {
			Pridej('T_BOOL',$keyword_space);
			$vstupni_data=substr($first.$vstupni_data,strlen(trim($keyword_space))-1);
			CtiSymbol(); 
			CtiSymbol(); /* Preskoc whitespace, ktery jsi nasel */
		}
		
		elseif(JeKey(trim($keyword_sl_bracket),false)) {
			Pridej('T_RESERVED',trim($keyword_sl_bracket));
			$vstupni_data=substr($vstupni_data,strlen(trim($keyword_sl_bracket))-1);
			CtiSymbol(); /* Preskoc tu zavorku, kterou jsi nasel */
		}
		/* Koukni se dopredu na 50 znaku a hledej rezervovane slovo, ale pozor, ma za sebou zavorku */
		
		elseif(JeKey(trim($keyword),false)) {
			Pridej('T_RESERVED',trim($keyword));
			$vstupni_data=substr($vstupni_data,strlen(trim($keyword))-1);
			CtiSymbol(); /* Preskoc tu zavorku, kterou jsi nasel */
		}
		
		/* Koukni se dopredu na 50 znaku a hledej rezervovane slovo, ale tenhle ma za sebou whitespace */
		
		elseif(JeKey(trim($keyword_space),false)) {
			Pridej('T_RESERVED',trim($keyword_space));
			$vstupni_data=substr($first.$vstupni_data,strlen(trim($keyword_space))-1);
			CtiSymbol(); 
			CtiSymbol(); /* Preskoc whitespace, ktery jsi nasel */
		}
		
		/* Koukni se dopredu na 50 znaku a hledej keyword, ale pozor, ma za sebou zavorku */
		
		elseif(JeKey(trim($keyword),true)) {
			Pridej('T_KEYWORD',trim($keyword));
			$vstupni_data=substr($vstupni_data,strlen(trim($keyword))-1);
			CtiSymbol(); /* Preskoc tu zavorku, kterou jsi nasel */
		}
		
		/* Koukni se dopredu na 50 znaku a hledej keyword, ale tenhle ma za sebou whitespace */
		
		elseif(JeKey(trim($keyword_space),true)) {
			Pridej('T_KEYWORD',trim($keyword_space));
			$vstupni_data=substr($first.$vstupni_data,strlen(trim($keyword_space))-1);
			CtiSymbol(); 
			CtiSymbol(); /* Preskoc whitespace, ktery jsi nasel */
		}
		
		
		
		/* Vime, ze tam neni keyword. Dokud ma lex. analyzator na vstupu pismeno nebo podtrzitko, 
		pridavej jej do docasne promenne a pote ho cele uloz do pole s tokenem T_LETTER */
		
		else {
			CtiSymbol();
			while(JePismeno($first)||JeCislo($first)) {
				$pismeno.=$first;
				CtiSymbol();
			}
			Pridej('T_ALFANUM_STRICT',$pismeno);
		}
	}
	
	/* Pokud narazime na tabulator (bereme v uvahu nekolik tabu jako jeden space) 
	a zaroven je treba odstranit tab jako jeden znak */
	
	elseif (JeTAB()) {
		Pridej('T_SPACE',null);
		CtiSymbol();
		while(JeTAB() && !JeKonec()) {
			CtiSymbol();
		}
	}
	
	/* Pokud narazime na konec radky (bereme v uvahu nekolik novych radek jako jednu) 
	a zaroven je treba odstranit enter jako dva znaky (lomitko a pismeno n) */
	
	elseif (JeEOL()) {
		Pridej('T_EOL',null);
		DalsiRadek();
		CtiSymbol();
		CtiSymbol();
		while(JeEOL() && !JeKonec()) {
			CtiSymbol();
			CtiSymbol();
			DalsiRadek();
		}
	}
	
	/* Kdyz lex. analyzatoru na vstup nedame ani cislo ani pismeno, vetvi se na dalsi znaky a tokeny */
	
	else {
		switch($first) {
			case ' ':	CtiDopredu(' ',true); 		/* Vice mezer bereme v uvahu a cyklujeme */
					Pridej('T_SPACE',' ');		/* abychom na vystup vraceli jen jednou T_SPACE */
					break;
			case ';': 	Pridej('T_SEMICOLON',';'); break;
			case '{': 	Pridej('T_SLBRACKET_L','{'); break;
			case '}': 	Pridej('T_SLBRACKET_R','}'); break;
			case '(': 	Pridej('T_BRACKET_L','('); break;
			case ')': 	Pridej('T_BRACKET_R',')'); break;
			case '[': 	Pridej('T_SQBRACKET_L','['); break;
			case ']': 	Pridej('T_SQBRACKET_R',']'); break;
			case '@': 	Pridej('T_AT','@'); break;
			case '$': 	Pridej('T_DOLLAR','$'); break;
			case ':': 	Pridej('T_COLON',':'); break;
			case ',': 	Pridej('T_COMMA',','); break;
			case '\'':
					CtiSymbol();
					$lex_radek_chyba=$lex_radek;
					if(JeKonec()) Chyba('Neuzavrene jednoduche uvozovky!',$lex_radek_chyba);
					while($first!='\'') {
						$retezec.=$first;
						$old=$first;
						CtiSymbol();
						if($old=='\\') {
							$retezec.=$first;
							CtiSymbol();
						}
						if(JeKonec()) {
							Chyba('Neuzavrene jednoduche uvozovky!',$lex_radek_chyba); 
							break;
						}
					}
					if(empty($retezec) && !JeKonec()) {
						Varovani('Deklarujete prazdny string!',$lex_radek_chyba);
					} 
					Pridej('T_QUOTED_STRING',"'".$retezec."'");
					$retezec=null;
					break;
			case '"':
					CtiSymbol();
					$lex_radek_chyba=$lex_radek;
					if(JeKonec()) Chyba('Neuzavrene dvojite uvozovky!',$lex_radek_chyba);
					
					while($first!='"') {
						$retezec.=$first;
						$old=$first;
						CtiSymbol();
						if($old=='\\') {
							$retezec.=$first;
							CtiSymbol();
						} 
						if(JeKonec()) {
							Chyba('Neuzavrene dvojite uvozovky!',$lex_radek_chyba); 
							break;
						}
					}
					if(empty($retezec) && !JeKonec()) {
						Varovani('Deklarujete prazdny string!',$lex_radek_chyba);
					} 
					Pridej('T_QUOTED_STRING','"'.$retezec.'"');
					$retezec=null;
					break;
			case '/': 
					if 	(CtiDopredu('/',false)) {
									CtiSymbol();
									while(!JeEOL() && !JeKonec()) {
										$retezec.=$first;
										CtiSymbol();
									}
									if(!empty($retezec)) Pridej('T_KOMENTAR','//'.$retezec);
									Pridej('T_EOL',null);
									$retezec=null;
									CtiSymbol();
									DalsiRadek();
									break;
									}
					elseif 	(CtiDopredu('*',false)) {if(!strpos($vstupni_data,'*/')) 
									{Chyba('Neuzavreny komentar!',$lex_radek);}
									Pridej('T_KOMENTAR_BEGIN','/*');	break;}
					elseif 	(CtiDopredu('=',false)) {Pridej('T_DELENO_ROVNO','/='); 	break;}
					else 				{Pridej('T_DELENO','/'); 		break;}
			case '-': 
					if 	(CtiDopredu('>',false)) {Pridej('T_SIPKA','->'); 		break;}
					elseif 	(CtiDopredu('=',false)) {Pridej('T_MINUS_ROVNO','-='); 		break;}
					elseif 	(CtiDopredu('-',false)) {
									if (CtiDopredu('-',true)) 		
									{Pridej('T_TEXT',null); 		break;}
									else 					
									{Pridej('T_DOUBLE_MINUS','--'); 	break;}
									}
					else 				{Pridej('T_MINUS','-'); 		break;}
			case '~': 	if 	(CtiDopredu('=',false)) {Pridej('T_TILDE_ROVNO','~='); 		break;}
					else				{Pridej('T_TILDE','~'); 		break;}
			case '<': 
					if 	(CtiDopredu('?',false)) {
									if(CtiDopredu('p',false)) {
										if(CtiDopredu('h',false)) {
											if(CtiDopredu('p',false)) {
											if((strpos($vstupni_data,'?>')===false)) 
											Varovani('Neuzavreny PHP tag!',$lex_radek);
											elseif((strpos($vstupni_data,'<?')) && 
											(strpos($vstupni_data,'<?')<strpos($vstupni_data,'?>'))) 
											Varovani('Neuzavreny PHP tag!',$lex_radek);
											Pridej('T_OPEN_TAG','<?php'); 		
											break;
											}
										}
									}
									if((strpos($vstupni_data,'?>')===false)) 
									Varovani('Neuzavreny PHP tag!',$lex_radek);
									elseif((strpos($vstupni_data,'<?')) && 
									(strpos($vstupni_data,'<?')<strpos($vstupni_data,'?>'))) 
									Varovani('Neuzavreny PHP tag!',$lex_radek);
									Pridej('T_OPEN_TAG','<?'); 		break;}
					elseif 	(CtiDopredu('=',false)) {Pridej('T_MENSI_ROVNO','<='); 	break;}
					elseif 	(CtiDopredu('<',false)) {
									if (CtiDopredu('=',false)) 	
									{Pridej('T_LEFT_SHIFT_ROVNO','<<='); break;}
									else 				
									{Pridej('T_LEFT_SHIFT','<<'); 	break;}
									}
					else				{Pridej('T_MENSI','<'); 		break;}
			case '>': 
					if 	(CtiDopredu('=',false)) {Pridej('T_VETSI_ROVNO','>='); 	break;}
					elseif 	(CtiDopredu('>',false)) {
									if (CtiDopredu('=',false)) 	
									{Pridej('T_RIGHT_SHIFT_ROVNO','>>='); break;}
									else 				
									{Pridej('T_RIGHT_SHIFT','>>'); 	break;}
									}
					else				{Pridej('T_VETSI','>'); 		break;}
			case '?': 
					if 	(CtiDopredu('>',false)) {Pridej('T_CLOSE_TAG','?>');
									TokenizujNePHP();			break;}
					else				{Pridej('T_QUESTION','?'); 	break;}
			case '=': 
					if 	(CtiDopredu('=',false)) {
									if (CtiDopredu('=',false)) 	
									{Pridej('T_THREE_EQUAL','==='); 	break;}
									else 				
									{Pridej('T_TWO_EQUAL','=='); 		break;}
									}
					else				{Pridej('T_EQUAL','='); 		break;}
			case '!': 
					if 	(CtiDopredu('=',false)) {
									if (CtiDopredu('=',false)) 	
									{Pridej('T_DOUBLE_NEROVNO','!=='); 	break;}
									else 				
									{Pridej('T_NEROVNO','=='); 		break;}
									}
					else				{Pridej('T_EXCLAMATION','!'); 		break;}
			case '+': 
					if 	(CtiDopredu('=',false)) {Pridej('T_PLUS_ROVNO','+='); 		break;}
					elseif 	(CtiDopredu('+',false)) {Pridej('T_DOUBLE_PLUS','++'); 		break;}
					else				{Pridej('T_PLUS','+'); 			break;}
			case '*': 
					if 	(CtiDopredu('/',false)) {Pridej('T_KOMENTAR_END','*/'); 	break;}
					elseif 	(CtiDopredu('=',false)) {Pridej('T_KRAT_ROVNO','*='); 		break;}
					else				{Pridej('T_KRAT','*'); 			break;}
			case '.': 
					if 	(CtiDopredu('=',false)) {Pridej('T_TECKA_ROVNO','.='); 		break;}
					else				{Pridej('T_TECKA','.'); 		break;}
			case '%': 
					if 	(CtiDopredu('=',false)) {Pridej('T_MODULO_ROVNO','%='); 	break;}
					else				{Pridej('T_MODULO','%'); 		break;}
			case '&': 
					if 	(CtiDopredu('&',false)) {Pridej('T_DOUBLE_AND','&&'); 		break;}
					elseif 	(CtiDopredu('=',false)) {Pridej('T_AND_ROVNO','&='); 		break;}
					else				{Pridej('T_AND','&'); 			break;}
			case '|': 
					if 	(CtiDopredu('=',false)) {Pridej('T_OR_ROVNO','|='); 		break;}
					elseif 	(CtiDopredu('|',false)) {Pridej('T_DOUBLE_OR','||'); 		break;}
					else				{Pridej('T_SINGLE_OR','|');		break;}
			case '^': 
					if 	(CtiDopredu('=',false)) {Pridej('T_XOR_ROVNO','^='); 		break;}
					else				{Pridej('T_XOR','^'); 			break;}
			default: 	Pridej('T_ANY',$first);
		}
		CtiSymbol(); /* A nakonec si precti dalsi symbol */
	}
}

if(empty($errors)) {
	$lex_ok=true;
	Chyba('<b>Lexikální analýza proběhla bez chyb, celkem vygenerovala '.sizeof($lex_pole).' tokenů.</b>',$lex_radek);
}
else {Chyba('Lexikální analýza odhalila chyby, syntaktická analýza proto nebyla provedena.',$lex_radek);}

require "perform_syn.php";
}

</body>
</html>

Řádek	Token	Hodnota

Odsazení: Jen PHP: Najdi »