Exploring Data Analysis

Exploratory Data Analysis (EDA) เป็นขั้นตอนสำคัญในงาน NLP เพื่อทำความเข้าใจข้อมูลข้อความเบื้องต้นและระบุลักษณะเฉพาะของข้อมูลที่จะนำไปใช้ในกระบวนการพัฒนาระบบ NLP หรือโมเดล Machine Learning

1. ทำความเข้าใจข้อมูลเบื้องต้น

EDA ช่วยให้นักวิเคราะห์เข้าใจข้อมูลข้อความที่มี เช่น

• ประเภทของข้อมูล: เช่น ข้อความรีวิว, บทสนทนา, หรือข่าว

• ขอบเขตของข้อมูล: เช่น ความยาวของข้อความ ค่า Missing Values หรือข้อมูล Noise

ตัวอย่างคำถามที่ตอบได้ในขั้นตอนนี้:

• ข้อมูลมีคำหรือประโยคจำนวนมากเพียงใด?

• ข้อมูลมีภาษาหรือสัญลักษณ์พิเศษที่ต้องจัดการหรือไม่?

2. ระบุปัญหาหรือความผิดปกติของข้อมูล

EDA ช่วยตรวจสอบปัญหา เช่น:

• Missing Data: ข้อความที่ว่างเปล่า

• Duplicate Data: ข้อมูลซ้ำซ้อน

• Unbalanced Data: จำนวนคลาสไม่สมดุล เช่น ข้อมูล Sentiment Analysis ที่มีรีวิวเชิงบวกมากกว่าเชิงลบ

ตัวอย่าง:

• การแจกแจงจำนวนคำในแต่ละข้อความ

• การแสดงคำหรือวลีที่เกิดซ้ำบ่อย

3. ทำความเข้าใจลักษณะของข้อความ

การวิเคราะห์ลักษณะเฉพาะของข้อความช่วยให้เห็นภาพรวม เช่น:

• ความถี่ของคำ (Word Frequency)

• การแจกแจงความยาวข้อความ (Text Length Distribution)

• การหา Stop Words หรือคำที่พบบ่อยแต่มีความสำคัญน้อย

ตัวอย่าง Visualization:

• Word Cloud เพื่อแสดงคำที่พบบ่อย

• Histogram ความยาวข้อความ

4. การทำความสะอาดข้อมูล (Data Cleaning)

EDA ช่วยระบุสิ่งที่ต้องแก้ไข เช่น:

• Noise Data: เช่น HTML Tags, Emoji, สัญลักษณ์พิเศษ

• Encoding Issues: เช่น UTF-8 หรือ ASCII

• Non-Text Data: เช่น URL หรือตัวเลข

5. การค้นหาลักษณะที่สำคัญ (Feature Engineering)

EDA ช่วยค้นหา Feature ที่สำคัญในข้อความ เช่น:

• คำที่บ่งบอกความรู้สึก: เช่น "ดี", "ยอดเยี่ยม" สำหรับ Sentiment Analysis

• วลีสำคัญ: เช่น Bigrams หรือ Trigrams

• ความถี่ของ Named Entities: เช่น ชื่อคนหรือสถานที่