Clean Data

[VinhDevNguyen]

Report problem

Sau khi phân tích dữ liệu thì tao thây một vài thứ như sau:

1. Số lượng Unknown khá nhiều
   • smoking_status (Chiếm 30.650%)

     never smoked       36.675
     Unknown            30.650
     formerly smoked    17.150
     smokes             15.525
     Name: smoking_status, dtype: float64
     

   • Residence_type (Chiếm 49.675%)

     Unknown    49.675
     Urban      25.450
     Rural      24.875
     Name: Residence_type, dtype: float64
     

   Tao nghĩ cái này có thể ảnh hưởng tới model (ảnh hưởng nhiều là đằng khác chăng 🤔 )
2. Liệu việc drop column height có ảnh hưởng? 🤔
3. Tương tự như việc gán đại giá trị 0 cho những dữ liệu NaN của feature hypertension và heart_disease liệu có ảnh hưởng? (Theo tao nghĩ là không vì cả 2 feature trên đều không thiếu quá nhiều dữ liệu nhưng vẫn ghi ra để anh em có cái thảo luận)

Hiện chưa nghĩ ra được phương pháp nào để giải quyết những vấn đề trên. Anh em thảo lụân thêm bên dưới comment nhé!

[VinhDevNguyen]

• Try using KNN Imputer

[dxv2k]

• Use Label Encoding instead of One-Hot
• Round up age, from float to int
• Check work_type :
  • age & work_type must be fit together
    E.g: work_type = children -> age <= 15 and vice versa
  • If age is not in children category -> random fill work_type based on given work_type
• bmi:
  Below 18.5 Underweight
  18.5—24.9 Normal
  25.0—29.9 Overweight
  30.0 and Above Obese