CRISP-DM Nədir? Data Mining Metodologiyasına Peşəkar Baxış

Böyük bir şirkətin analitika komandası müştəri tərk etmə (churn) problemini həll etmək üçün data science layihəsinə başlayır. Komanda həvəslə verilənlər bazasına dalar, modellər qurur, nəticə çıxarır. Altı ay sonra texniki baxımdan mükəmməl bir model hazırdır. Lakin iş rəhbərliyi həmin modeli istifadə edə bilmir — çünki model onların əsl sualını cavablandırmır, çıxışları iş proseslərinə inteqrasiya edilməyib, nəticələr qərar qəbul edənlər üçün anlaşılır deyil.

Bu ssenari data science layihələrinin uğursuzluğunun ən geniş yayılmış formasıdır. Həll isə texniki deyil, metodoloji bir məsələdir: strukturlaşdırılmış bir proses çərçivəsinin olmaması.

CRISP-DM — CRoss Industry Standard Process for Data Mining (Sənayeüstü Standart Məlumat Hasilatı Prosesi) — məhz bu problemin həlli üçün işlənib hazırlanmışdır. 1999-cu ildə standartlaşdırılmış bu çərçivə bu gün data science, data analytics və data mining layihələri üçün dünyanın ən geniş istifadə olunan metodologiyasıdır.

Bu məqalədə CRISP-DM-in nə olduğunu, altı mərhələsini, hər mərhələnin tapşırıqlarını, metodologiyanın güclü və zəif cəhətlərini, alternativlərini və praktik tövsiyələri ətraflı şəkildə izah edəcəyik.

CRISP-DM nədir və nə üçün yaradılmışdır?

CRISP-DM — 1999-cu ildə data mining proseslərini sənayələr arasında standartlaşdırmaq üçün nəşr edilmiş, data science həyat dövrünü altı mərhələ ilə təsvir edən proses modelidir. O vaxtdan bəri data mining, analitika və data science layihələri üçün ən geniş istifadə edilən metodologiyaya çevrilmişdir.

CRISP-DM-in yaradılmasının arxasında praktik bir ehtiyac dayanır: 1990-cı illərdə data mining sahəsi sürətlə inkişaf edirdi, lakin layihələrin necə idarə ediləcəyinə dair ümumi qəbul görmüş bir standart mövcud deyildi. Müxtəlif şirkətlər, müxtəlif komandalar tamamilə fərqli yanaşmalarla çalışırdı — bu isə nəticələri müqayisəsiz, prosesləri isə təkrarlana bilməz edirdi.

Bu problemə cavab olaraq NCR Corporation, Daimler-Benz (indiki Daimler AG), SPSS Inc. (indiki IBM) və Teradata şirkətlərinin birgə maliyyələşdirdiyi konsorsium CRISP-DM standartını hazırladı. Məqsəd sadə idi: hansı sənayedən, hansı alətdən asılı olmayaraq tətbiq edilə bilən universal bir data mining metodologiyası yaratmaq.

CRISP-DM robust və çevik bir çərçivədir ki, data mining prosesinin strukturlaşdırılmış şəkildə həyata keçirilməsi üçün rəhbərlik təqdim edir. Metodologiya heç bir xüsusi alət və ya texnologiyaya bağlı deyil, bu da onu geniş tətbiq sahələri və sənayələrə uyğunlaşdırır.

Bu xüsusiyyət — alət agnostikliyi — CRISP-DM-in onlarca il boyunca aktuallığını qoruyub saxlamasının əsas səbəblərindən biridir. Python istifadə etsəniz də, R istifadə etsəniz də, SAS-dan istifadə etsəniz də, CRISP-DM eyni dərəcədə tətbiq edilə bilər.

CRISP-DM nə qədər geniş yayılmışdır?

Metodologiyanın populyarlığını rəqəmlər ən yaxşı şəkildə izah edir.

KDnuggets sorğuları 2002, 2004, 2007 və 2014-cü illərdə “Data mining üçün hansı əsas metodologiyadan istifadə edirsiniz?” sualını verdi. CRISP-DM 12 illik müddəti əhatə edən hər sorğuda aparıcı metodologiya olaraq qaldı.

Data Science PM platformasının 2020-ci ildə keçirdiyi sorğuda isə CRISP-DM açıq şəkildə qalib gəldi, 109 səsin demək olar ki yarısını əldə etdi.

Google axtarış həcmləri də eyni mənzərəni təsdiqləyir: CRISP-DM digər metodologiyalardan — SEMMA, KDD, TDSP, OSEMN — əhəmiyyətli dərəcədə daha çox axtarılır.

Bu rəqəmlər nəyi göstərir? CRISP-DM sadəcə akademik bir konsept deyil. Real layihələrdə, real komandalar tərəfindən gündəlik istifadə edilən, sınaqdan keçirilmiş bir çərçivədir.

CRISP-DM-in altı mərhələsi hansılardır?

CRISP-DM altı ardıcıl, lakin iterativ mərhələdən ibarətdir. “İterativ” sözü burada kritik əhəmiyyət daşıyır: CRISP-DM xətti bir proses deyil. Mərhələlər arasında irəli-geri hərəkət həm mümkün, həm də çox vaxt zəruridir.

Birinci mərhələ: Biznes Anlayışı (Business Understanding) nədir?

İstənilən yaxşı layihə müştərinin ehtiyaclarının dərindən anlaşılması ilə başlayır. Data mining layihələri də istisna deyil və CRISP-DM bunu tanıyır. Biznes Anlayışı mərhələsi layihənin məqsəd və tələblərini anlamağa fokuslanır.

Bu mərhələ CRISP-DM-in ən tez-tez nəzərdən qaçırılan, lakin ən kritik hissəsidir. Data science komandaları texniki işə başlamaq həvəsi ilə bu mərhələni tez keçməyə meyl edir. Bu, ən bahalı səhvdir.

Bu mərhələdə dörd əsas tapşırıq yerinə yetirilir:

1. Biznes məqsədlərinin müəyyənləşdirilməsi: Müştərinin ya da şirkətin bu layihədən nə əldə etmək istədiyi dəqiq formalaşdırılır. “Satışları artırmaq” kimi ümumi bir məqsəd qəbul edilmir. “Növbəti 90 gündə tərk etmə ehtimalı 70%-dən yuxarı olan müştəriləri müəyyənləşdirmək” kimi konkret, ölçülə bilən bir məqsəd müəyyənləşdirilir.

2. Vəziyyətin qiymətləndirilməsi: Mövcud resurslar, məhdudiyyətlər, risklər, xərc-fayda analizi araşdırılır. Layihə üçün hansı məlumatlar mövcuddur? Hansı texniki infrastruktur var? Nə qədər vaxt ayrılıb?

3. Data mining məqsədlərinin müəyyənləşdirilməsi: Biznes məqsədi texniki bir data mining məqsədinə çevrilir. “Müştəri tərk etməsini azaltmaq” biznes məqsədi; “90 günlük müştəri tərk etmə ehtimalını proqnozlaşdıran ikili klassifikasiya modeli qurmaq” isə data mining məqsədidir.

4. Layihə planının hazırlanması: Hər mərhələ üçün texnologiyalar, alətlər, cədvəl və ətraflı planlar müəyyənləşdirilir.

Bir çox komanda bu mərhələni tez keçsə də, güclü bir biznes anlayışı yaratmaq evin təməlini qurmaq kimidir — mütləq vacibdir.

İkinci mərhələ: Məlumat Anlayışı (Data Understanding) nədir?

Data Understanding mərhələsi layihə məqsədlərinə çatmağınıza kömək edə biləcək məlumat dəstlərini müəyyənləşdirmək, toplamaq və analiz etmək üzərindən fokusu genişləndirir.

Bu mərhələdə dörd tapşırıq həyata keçirilir:

1. İlkin məlumatların toplanması: Lazımi məlumatlar əldə edilir. Bu, bir daxili verilənlər bazasından çəkilən cədvəl ola bilər, ya da müxtəlif xarici mənbələrdən toplanan məlumatlar.

2. Məlumatların təsviri: Məlumat dəstinin səthi xüsusiyyətləri sənədləşdirilir: məlumat formatı, qeydlərin sayı, sütunların xüsusiyyətləri, məlumat növləri.

3. Məlumatların kəşfi: Məlumatlar sorğulanır, vizuallaşdırılır, daxilindəki əlaqələr müəyyənləşdirilir. Bu alt mərhələ çox vaxt EDA — Exploratory Data Analysis (Kəşfedici Məlumat Analizi) adlandırılır. Histoqramlar, dağılma qrafiqləri, korrelyasiya matriksləri bu mərhələnin standart alətlərindəndir.

4. Məlumat keyfiyyətinin yoxlanılması: Məlumat nə qədər təmiz, nə qədər çirklidir? Çatışmayan dəyərlər, dublikatlar, anomaliyalar, ziddiyyətli qeydlər müəyyənləşdirilir və sənədləşdirilir.

Bu mərhələnin nəticəsi sonrakı addımlar üçün kritik bir xəritədir. Məlumatlarınızın nə olduğunu dərindən başa düşmədən onu hazırlamaq mümkün deyil.

Üçüncü mərhələ: Məlumat Hazırlığı (Data Preparation) nədir?

Ümumi bir qaydaya görə layihənin 80%-i məlumat hazırlığından ibarətdir. Bu mərhələ çox vaxt “data munging” adlandırılır və modelləşdirmə üçün son məlumat dəstlərini hazırlayır.

Bu rəqəm — 80% — data science sahəsinə yeni başlayanları çox vaxt təəccübləndirir. “Modeli qurmaq ən vaxt aparan iş deyilmi?” — bu sualın cavabı xeyr-dir. Ən vaxt aparan, ən dəqiq diqqət tələb edən iş məlumatları hazırlamaqdır.

Bu mərhələdə beş tapşırıq yerinə yetirilir:

1. Məlumatların seçilməsi: Hansı məlumat dəstlərinin istifadə ediləcəyi müəyyənləşdirilir. Hansı sütunlar modellə əlaqəlidir? Hansılar çıxarılmalıdır? Hər qərar əsaslandırılır.

2. Məlumatların təmizlənməsi: Çatışmayan dəyərlərin işlənməsi (silinməsi, doldurulması, imputation), anomaliyaların həlli, dublikatların aradan qaldırılması. Bu, CRISP-DM-in ən uzun sürən tapşırığıdır. “Garbage in, garbage out” prinsipi burada tam gücüylə keçərlidir.

3. Məlumatların konstruksiyası: Mövcud sütunlardan yeni xüsusiyyətlər (features) əldə edilir. Məsələn, bir şəxsin boy və çəki məlumatlarından bədən kütlə indeksi (BMI) hesablanır. Bu proses xüsusiyyət mühəndisliyi (feature engineering) adlanır.

4. Məlumatların inteqrasiyası: Müxtəlif mənbələrdən gələn məlumatlar birləşdirilərək vahid məlumat dəsti yaradılır.

5. Məlumatların formatlanması: Məlumatlar modelləşdirməyə uyğun formata gətirilir. Kateqorik dəyişənlər kodlanır (one-hot encoding, label encoding), ədədi dəyişənlər miqyaslanır (normalization, standardization).

Yaxşı hazırlanmış məlumat dəsti sonrakı mərhələdə etibarlı və interpretasiya oluna bilən modellər qurmaq üçün əsas şərtdir.

Dördüncü mərhələ: Modelləşdirmə (Modeling) nədir?

Data science-in ən həyəcanverici işi kimi geniş qəbul görən modelləşdirmə, eyni zamanda layihənin ən qısa mərhələsi olur. Bu mərhələdə bir neçə fərqli modelləşdirmə texnikasına əsaslanan müxtəlif modellər qurulur və qiymətləndirilir.

Modelləşdirmə mərhələsinin dörd tapşırığı var:

1. Modelləşdirmə texnikalarının seçilməsi: Hansı alqoritmlərdən istifadə ediləcəyi müəyyənləşdirilir. Regresiya, qərar ağacları, rastgele meşə (random forest), sinir şəbəkələri, klasterləşdirmə alqoritmləri — problemin növünə, məlumatın həcminə, interpretasiya tələblərinə görə seçim edilir.

2. Test dizaynının yaradılması: Modelin performansı necə ölçüləcək? Məlumat hansı nisbətdə train, test, validation hissələrə bölünəcək? Cross-validation istifadə ediləcəkmi?

3. Modelin qurulması: Seçilmiş alqoritmlər məlumat dəstinə uyğunlaşdırılır. Bu addım nə qədər parlaq səslənsə də, praktikada sadəcə “reg = LinearRegression().fit(X, y)” kimi bir neçə sətir kod icrasından ibarət ola bilər.

4. Modelin qiymətləndirilməsi: Çox vaxt bir neçə model eyni vaxtda rəqabət aparır. Data scientist domenə aid bilik, əvvəlcədən müəyyənləşdirilmiş uğur meyarları və test dizaynına əsaslanaraq model nəticələrini interpretasiya edir. Dəqiqlik (accuracy), duyarlılıq (precision), həssaslıq (recall), F1 skoru, AUC-ROC kimi metriklər istifadə edilir.

CRISP-DM bələdçisi “ən yaxşı modeli tapdığınıza ciddi şəkildə inanana qədər model qurma və qiymətləndirməni təkrarlayın” tövsiyəsini versə də, praktikada komandalar “kifayət qədər yaxşı” model tapana qədər iterasiya etməli, CRISP-DM həyat dövrünü davam etdirməli, sonra gələcək iterasiyalarda modeli daha da yaxşılaşdırmalıdır.

Beşinci mərhələ: Qiymətləndirmə (Evaluation) nədir?

Modelləşdirmə mərhələsindəki “Modelin qiymətləndirilməsi” tapşırığı texniki performansa fokuslanırdı. Qiymətləndirmə mərhələsi isə daha geniş bir bucaqdan baxır: hansı model biznes məqsədlərini ən yaxşı qarşılayır?

Modellər qurulduqdan sonra onların performansını biznes məqsədləri kontekstində qiymətləndirmək vacibdir. Qiymətləndirmə mərhələsi modelləri biznes hədəflərindəki modellərə qarşı müqayisə etməyi və onların deployment üçün uyğun olub olmadığını müəyyənləşdirməyi əhatə edir.

Bu mərhələdə üç tapşırıq həyata keçirilir:

1. Nəticələrin qiymətləndirilməsi: Modellər biznes uğur meyarlarını ödəyirmi? Hansı model ya ya da modellər biznes üçün təsdiqləniməlidir? Texniki baxımdan ən yaxşı performans göstərən model həmişə biznes üçün ən uyğun seçim olmaya bilər — interpretasiya qabiliyyəti, tətbiq xərcləri, tətbiq sürəti kimi amillər də qiymətləndirmənin bir hissəsidir.

2. Prosesin nəzərdən keçirilməsi: Görülmüş işin tam nəzərdən keçirilməsi. Nəsə nəzərdən qaçırılıbmı? Bütün addımlar düzgün icra edilibmi? Tapıntılar ümumiləşdirilir, əgər lazımdırsa düzəlişlər edilir.

3. Növbəti addımların müəyyənləşdirilməsi: Əvvəlki iki tapşırığa əsaslanaraq deployment-ə keçmək, əlavə iterasiya etmək, ya da yeni layihə başlatmaq qərarı verilir.

Bu mərhələ CRISP-DM prosesindəki ən vacib keçid nöqtəsidir: texniki kəşfiyyatdan biznes qərarına.

Altıncı mərhələ: Yerləşdirmə (Deployment) nədir?

Müştəri onun nəticələrinə çata bilmirsə, model xüsusilə faydalı deyil. Bu son mərhələnin mürəkkəbliyi geniş dəyişir.

Deployment mərhələsi model hazırlanıb qiymətləndirilməsi tamamlandıqdan sonra başlayır. Bu mərhələnin forması layihənin tələblərinə görə ciddi dəyişir: bəzən sadə bir hesabat hazırlamaq, bəzən isə mürəkkəb bir API xidməti qurmaq deməkdir.

Deployment planlaması, model inteqrasiyası, monitorinq və texniki xidmət, hesabat — bunlar deployment mərhələsinin əsas fəaliyyətlərini təşkil edir.

Bu mərhələnin dörd tapşırığı:

1. Deployment planının hazırlanması: Modelin tətbiq mühitinə necə yerləşdiriləcəyi planlaşdırılır və sənədləşdirilir. API vasitəsilə mi? Mövcud CRM sisteminə inteqrasiya yolu ilə mi? Scheduled batch process olaraq mı?

2. Monitorinq və texniki xidmət planının hazırlanması: Canlı mühitdə problemlər yaranmaması üçün hərtərəfli izləmə və texniki xidmət planı hazırlanır. Modelin performansı zamanla dəyişə bilər — məlumat sürüşməsi (data drift), konsept sürüşməsi (concept drift) kimi hadisələr modeli köhnəldə bilər.

3. Son hesabatın hazırlanması: Layihə komandası data mining nəticələrinin yekun təqdimatını da əhatə edə biləcək layihənin xülasəsini sənədləşdirir.

4. Layihənin nəzərdən keçirilməsi: Nəyin yaxşı getdiyi, nəyin daha yaxşı edilə biləcəyi və gələcəkdə necə təkmilləşdiriləcəyi haqqında layihə retrospektivi aparılır.

CRISP-DM bir layihə çərçivəsi olaraq layihədən sonra nə ediləcəyini müəyyənləşdirmir. Lakin model istehsal mühitinə keçiriləcəksə, modeli istehsal mühitindəki məlumatlarla davamlı monitorinq etmək və vaxtaşırı yenidən öyrətmək (retrain) tələb oluna bilər.

CRISP-DM-in zəif cəhətləri hansılardır?

Nəzarətli bir təcrübədə, CRISP-DM istifadə edən tələbələr “kod yazmağa ən son başlayanlar” oldu və “qarşılaşacaqları kodlaşdırma çağırışlarını tam başa düşmürdülər.” datascience-pm

Sənədləşdirmə Yükü: Demək olar ki, hər tapşırığın bir sənədləşdirmə addımı var. İş görüşünü sənədləşdirmək yetkin bir prosesdə əsas olsa da, CRISP-DM-in sənədləşdirmə tələbləri komandanı faktiki olaraq dəyər çatdırmaqdan lazımsız yavaşıda bilər. datascience-pm

Müasir Texnologiyaların İnteqrasiyası: Bəziləri iddia edir ki, CRISP-DM big datadan əvvəl gəldiyindən, “dörd V-si səbəbindən Big Data layihələri üçün uyğun olmaya bilər.” Bulud arxitekturaları, axın (streaming) məlumatları, MLOps — bunlar CRISP-DM 1999-da nəşr edildiyində mövcud deyildi. datascience-pm

Qrup İşinin İdarəetməsi: Ən əhəmiyyətlisi odur ki, CRISP-DM onun istifadəçisinin tək bir şəxs və ya kiçik, çox yaxın bir komanda olduğunu qismən fərz etdiyi üçün, daha böyük layihələr üçün lazımlı komanda koordinasiyasını nəzərə almır

CRISP-DM-in üstünlükləri hansılardır?

Universallığı

CRISP-DM heç bir xüsusi texnologiyaya, alətə, sahəyə bağlı deyil. Bu onu inanılmaz dərəcədə geniş tətbiqa münasib edir. Bank müştəri kredit riski modeli üçün də, pərakəndə satışda tərk etmə analizi üçün də, səhiyyədə xəstəlik proqnozu üçün də eyni çərçivə işləyir.

Sadə Məntiqi

CRISP-DM-in ən böyük gücü budur ki, metodologiya o qədər məntiqi qurulub ki, data science ilə tanış olan hər kəs onu dərhal başa düşür. Bir araşdırmada data science təlimatı olmadan layihə başlayan tələbələr özbaşlarına CRISP-DM-ə bənzər bir metodologiyaya yönəldilər. Bu, metodologiyanın məntiqinin nə qədər intuitiv olduğunu göstərir.

Asan Qəbul

CRISP-DM çox az təlim, təşkilati rol dəyişikliyi və ya mübahisə tələb etmədən həyata keçirilə bilər. Bu, onu yeni komandalar üçün xüsusilə cəlbedici edir.

Doğru Başlanğıc Nöqtəsi

Biznes Anlayışı mərhələsinə ilkin fokus texniki işi biznes ehtiyaclarıyla uyğunlaşdırmağa kömək edir. Bu, data scientist-ləri biznes hədəflərini düzgün başa düşmədən problemi həll etməyə cəhd etmənin cazibesindən uzaqlaşdırır.

Güclü Son Nöqtə

Deployment mərhələsi layihənin bağlanması və texniki xidmət həllinə keçiş üçün vacib mülahizələri əhatə edir. Çox metodologiyalar bu mərhələni tamamilə nəzərdən qaçırır.