Verilənləri Kəşf Etmək (Exploratory Data Analysis – EDA)
Verilənlər analizi, məlumatları daha yaxşı başa düşmək, gözləntiləri yoxlamaq və məlumatlarda gizli olan nümunələri və əlaqələri tapmaq üçün vacib bir mərhələdir. Bu mərhələnin adı “Exploratory Data Analysis” (EDA), yəni “Verilənləri Kəşf Etmə” olaraq bilinir. EDA, verilənlərin daha dərindən araşdırılması və onların mövcud vəziyyətini anlamamız üçün güclü bir vasitədir. Bu yazıda, EDA-nın əsas prinsiplərini və analizdə necə istifadə olunduğunu müzakirə edəcəyik.
EDA Nədir?
Exploratory Data Analysis (EDA), verilənləri incələyərək məlumatın ümumi strukturunu anlamaq, müxtəlif növ statistikalarla təsvir etmək, əlaqələri tapmaq və məlumatın necə işlədiyini başa düşmək məqsədini güdür. EDA, verilənləri sadəcə nəzərdən keçirməkdən daha çox, onları analiz etmək və təhlil etmək üçün vizual və statistik metodlardan istifadə edir.
EDA-nın məqsədi, məlumatları hazırlamaq, problemləri və çətinlikləri erkən aşkar etmək, həmçinin yeni ideyalar yaratmaqdır. Bu mərhələdə məqsəd verilənlərə dair ilkin anlayışlar əldə etmək və analiz prosesini düzgün şəkildə yönəltməkdir.
EDA-da İstifadə Olunan Əsas Addımlar
1. Verilənlərin İnspeksiyası (Data Inspection)
- İlk addımda, verilənlərin ümumi strukturunu və formatını yoxlamaq vacibdir. Bu mərhələdə, verilənlərin növünü (ədədi, mətni, tarix və s.), qeydlərin sayını, boş dəyərləri və anomal vəziyyətləri aşkar etmək lazımdır. Python-da pandas kitabxanasından istifadə edərək, df.head() və df.info() kimi funksiyalarla verilənləri asanlıqla yoxlaya bilərsiniz.
2. Əsas Statistikaların Təhlili (Descriptive Statistics)
- Bu addımda, verilənlərin əsas statistikalarını hesablayırıq. Bu, ortalama, median, standart sapma, minimum və maksimum dəyərləri əhatə edir. Statistikalar verilənlərin ümumi paylanması və mərkəzi tendensiyasını başa düşməyə kömək edir.
Nümunə:
df.describe()
Bu, verilənlərdəki hər sütun üçün statistik göstəriciləri təqdim edir.
3. Verilənlər Vizualizasiyası (Data Visualization)
- Vizualizasiya, verilənlərin daha yaxşı başa düşülməsini təmin edən mühüm bir addımdır. Müxtəlif növ qrafiklər və şəkillər, məlumatların əlaqələrini və naxışlarını göstərməyə kömək edir.
- Histograms: Verilənlərin paylanmasını göstərir.
- Box plots: Kənar (outliers) və mərkəzi tendensiyanı nümayiş etdirir.
- Scatter plots: İki dəyişən arasındakı əlaqəni göstərir.
- Heatmaps: Korelyasiya və ya digər əlaqələri vizuallaşdırmaq üçün istifadə edilir.
- Python-da Matplotlib, Seaborn və ya Plotly kimi kitabxanalarla bu vizualizasiya üsullarını həyata keçirə bilərsiniz.
4. Münasibətlərin Araşdırılması (Correlation Analysis)
- Verilənlərdəki dəyişənlər arasındakı əlaqələri müəyyən etmək çox vacibdir. Bu, xüsusilə verilənlərdəki müsbət və mənfi əlaqələri tapmaq üçün faydalıdır. Korelyasiya analizi, hansı dəyişənlərin bir-biri ilə əlaqəli olduğunu göstərir.
Nümunə:
df.corr() # Dəyişənlər arasındakı korelyasiya
sns.heatmap(df.corr(), annot=True) # Korelyasiya xəritəsi
5. Anomalilərin Tapılması (Outlier Detection)
- Anomalilər və kənar dəyərlər, verilənlərdə gözlənilməz və ya səhv məlumatlardır. Bu cür məlumatlar təhlil nəticələrini əhəmiyyətli dərəcədə poza bilər. EDA mərhələsində bu anomaliyalara diqqət yetirmək və onları düzəltmək və ya çıxarmaq vacibdir.
6. Boş Məlumatların Emalı (Handling Missing Data)
- Boş (NaN) verilənlər, EDA-da tez-tez rast gəlinən bir məsələdir. Bu cür verilənləri doldurmaq, çıxarmaq və ya uyğun təhlil metodlarını seçmək lazımdır. Məsələn, müvafiq statistika ilə doldurmaq və ya sıralama əsasına görə doldurmaq seçimlərində qərar verə bilərsiniz.
EDA-da İstifadə Olunan Alətlər
- Python: EDA üçün ən geniş istifadə olunan proqramlaşdırma dilidir. Pandas, Matplotlib, Seaborn və Plotly kimi kitabxanalar məlumatların işlənməsi və vizuallaşdırılmasında geniş istifadə olunur.
- R: Statistika və analitikaya yönəlmiş bir dil olan R, EDA mərhələsində çox populyar bir vasitədir. ggplot2 və dplyr kimi paketlər verilənlərin təhlili və vizualizasiyası üçün istifadə olunur.
EDA-nın Faydaları
- Verilənlərin Ümumi Strukturunu Anlamaq: EDA, verilənlərin necə təşkil olunduğunu və hansı sahələrin daha əhəmiyyətli olduğunu müəyyən etməyə kömək edir.
- Verilənlərdəki Problem və Xətaları Aşkar Etmək: EDA, məlumatlardakı boşluqları, səhvləri və anomaliyaları görmək və düzəltmək üçün vacibdir.
- Gələcək Analizlər Üçün Yolu Açmaq: EDA, daha mürəkkəb analizlərə keçid üçün əsasları qoyur. Verilənləri düzgün şəkildə başa düşmək, daha doğru nəticələr əldə etməyə kömək edir.
- Model Yaratmağa Hazırlıq: EDA, verilənlərin təhlilini apararaq model yaratma üçün ehtiyac olan məlumatları təmin edir.
Nəticə
Exploratory Data Analysis (EDA), verilənlərlə işləyərkən ilk addım olaraq son dərəcə vacibdir. Məlumatların strukturu, əlaqələri, təmizliyi və anomaliyaları haqqında məlumat toplamaq, düzgün analiz və düzgün model qurmaq üçün əsasdır. Verilənləri daha yaxşı başa düşmək və onları analiz etmək üçün EDA mərhələsindən istifadə edərək, məlumatlarınızın keyfiyyətini artırmaq və daha müvəffəqiyyətli nəticələr əldə etmək mümkündür.