擷自 Wiki:
詞法分析（英語：lexical analysis）是計算機科學中將字元序列轉換為單詞（Token）序列的過程。進行語法分析的程序或者函數叫作詞法分析器（Lexical analyzer，簡稱 Lexer），也叫掃瞄器（Scanner）。詞法分析器一般以函數的形式存在，供語法分析器調用。
這裡的單詞是一個字元串，是構成原始碼的最小單位。從輸入字元流中生成單詞的過程叫作單詞化（Tokenization），在這個過程中，詞法分析器還會對單詞進行分類。
詞法分析器通常不會關心單詞之間的關係（屬於語法分析的範疇），舉例來說：詞法分析器能夠將括號識別為單詞，但並不保證括號是否匹配。
例：
sum=3+2;
將其單詞化後可以得到下表內容：
| 語素 | 單詞類型 |
|---|---|
| sum | 標識符 |
| = | 賦值操作符 |
| 3 | 數字 |
| + | 加法操作符 |
| 2 | 數字 |
| ; | 語句結束 |
全站熱搜
留言列表
生活 (5)