การวิเคราะห์คำศัพท์คืออะไร?

ในวิทยาการคอมพิวเตอร์ การวิเคราะห์คำ เป็นกระบวนการของการแปลงลำดับของตัวละครให้เป็นสตริงที่มีความหมาย สตริงที่มีความหมายเหล่านี้เรียกว่าโทเค็น โปรแกรมที่ดำเนินการวิเคราะห์คำเรียกว่าตัววิเคราะห์คำ, lexer หรือ tokenizer โปรแกรมนี้มักใช้ร่วมกับส่วนประกอบซอฟต์แวร์ (เรียกว่า parser) ที่แปลงสตริงเป็นข้อมูลที่มีโครงสร้าง

ใช้การวิเคราะห์คำศัพท์ที่ไหน

การวิเคราะห์คำศัพท์และการแยกวิเคราะห์ใช้โดยโปรแกรมเช่นคอมไพเลอร์ที่สามารถใช้ข้อมูลที่แยกวิเคราะห์จากโค้ดของโปรแกรมเมอร์เพื่อสร้างไบนารีที่รวบรวมได้ เว็บเบราว์เซอร์เหล่านี้ยังใช้ในการจัดรูปแบบและแสดงหน้าเว็บโดยใช้การแยกวิเคราะห์ข้อมูลจาก HTML, CSS และ JavaScript

รหัส, คอมไพเลอร์, วิทยาการคอมพิวเตอร์, ปฏิบัติการ, เงื่อนไขการเขียนโปรแกรม