Zilele acestea circulă prin spațiul public o serie de critici – unele mai articulate, altele mai superficiale – la adresa modului în care s-a derulat studiul PISA în România. Scriu această postare pentru că știu bine despre ce vorbesc referitor la aceste studii și știu de aceea cât de nedrepte sunt aceste reproșuri pentru cei care desfășoară studiul PISA în România. Eu însumi sunt implicat activ în studii comparative internaționale în educație: la nivel internațional, prin munca mea în cadrul OECD (în PIAAC și PISA-VET), iar la nivel național, prin coordonarea unor studii precum TIMSS, PIRLS, ICILS și ICCS. Cunosc aceste mecanisme din interior și știu cât sunt aceste studii de grele, cât sunt de importante și cât sunt de ușor de atacat, mai ales din necunoaștere.

Așadar, chiar dacă nu sunt în echipa PISA România, simt nevoia să spun, în apărarea acestei echipe, cele de mai jos.

O muncă titanică și onestă. Oamenii care coordonează PISA (și alte proiecte OECD) în România merită respectul nostru. Nu sunt perfecți – nimeni nu este – dar sunt oameni care lucrează din greu, cu bună-credință, la unul dintre cele mai dificile studii de educație realizate în România. E o muncă de o complexitate rară, într-un context logistic și instituțional deseori ostil. Ar trebui să-i susținem, nu să-i punem la zid. Se poate mai bine? Întotdeauna se poate – haideți atunci să îi ajutăm cu efortul nostru și cu propuneri constructive, dar acceptând valoarea lor de specialiști și buna credință care stă la baza muncii lor.

Nu există studii perfecte – există studii valoroase. Orice cercetător care a făcut măcar o dată în viață cercetare pe teren știe: nici un studiu nu merge 100% ca la carte. Apar sincope, obstacole, situații neprevăzute. De exemplu, în TIMSS 2023, culegerea de date din România a coincis fix cu greva generală a profesorilor – a fost un coșmar logistic, și chiar dacă am reușit, cu mari eforturi, să menținem studiul în parametri, a fost mult sub ceea ce ar fi trebuit să avem și ceea ce ar fi meritat studiul. La fel este și în PISA: dai de greu, nu totul merge perfect – însă datele au fost acceptate de OECD, înseamnă că 100% ele au fost validate și verificate de evaluatori externi independenți. Nu „merge” nimic și nu e acceptat nimic vreodată în aceste studii fără dublă validare.

Critici da, demolări nu. Criticile constructive sunt întotdeauna binevenite. Dar a trage concluzia că „totul e compromis” pentru că o mică parte din proces a avut o problemă punctuală este nedemn și, sincer, păgubos. România are nevoie de aceste studii. Costurile lor sunt infime în comparație cu valoarea pe care o aduc pentru politici publice informate.

Despre eșantionare și realitate. Am văzut postări în care se spune că „la mine în școală au fost incluși în eșantion elevi slabi sau chiar fictivi”. E important să clarificăm cel puțin trei lucruri aici.

• În primul rând, așa funcționează eșantionarea: se aleg aleator școli și elevi – buni și mai puțin buni, de la sate și orașe, cu performanțe diferite. Așa se face în toate țările. China, spre exemplu, a fost acuzată repetat că selectează doar elevii de top – o denaturare a eșantionării. Indiferent dacă o fi adevărat, România n-ar trebui niciodată să facă asta (deși asta par să citesc în acea postare: să nu mai eșantionăm aleator, ci să îi dăm la o parte pe cei slabi). PISA nu e concurs de frumusețe – e un RMN al sistemului educațional. Vrem rezultate reale, nu cosmetizate. Altfel, ar fi ca și cum mergem la medic pentru analize … dar nu vrem adevărul ca să ne tratăm corect, așa că îi dăm alte probe biologice – e mai important să ”dăm bine”.
• În al doilea rând, dacă în eșantion ajung elevi cu absenteism masiv, este pentru că ei există în realitate. PISA e o oglindă – dacă nu ne place ce vedem în ea, nu oglinda e de vină. Absenteismul și abandonul sunt reale și masive – știm asta și din alte surse. Ar fi nefiresc ca PISA să nu reflecte această realitate și să nu includă și copii cu absenteism masiv.
• În al treilea rând, dacă într-o școală există elevi „doar pe hârtie”, poate că întrebarea firească nu este „de ce i-a selectat PISA?”, ci „de ce sunt acolo în acte și nu la școală?”. A da vina pe studiu pentru că a scos la iveală o disfuncționalitate profundă este, în cel mai bun caz, o eschivare a responsabilității. Daca elevii respectivi nu vin la școală și sunt cărați în statistici degeaba, directorul și profesorii acelei școli chiar nu au nici o responsabilitate? Ce fel de argument e asta? “Eu sunt director de școală și am un elev fictiv. E adevărat ca nu am făcut nimic pentru a rezolva această problemă, dar nu e normal ca elevul fictiv să fie eșantionat în PISA – dacă asta se întâmplă, studiul e prost”. Mda. Sunt singurul care vede ridicolul acestui argument?

Faza de acceptare a bolii. România a avut mereu o relație complicată cu studiile internaționale de educație. Eu am comparat adesea această relație cu reacția unui pacient care află că are o boală gravă, potențial fatală – cele patru faze prin care trece sunt furia (anger), negarea (denial), negocierea (bargaining) și în fine acceptarea. Inițial ne înfuriem pe ”nenorociții” care ne terfelesc școala și educația și țara și copiii. Apoi negăm că lucrurile ar sta așa cum le arată studiul – găsim nod în papură, explicăm de ce studiul nu e bun: pentru că la noi nu se predă și nu se învață “așa”, pentru că studiile ”sunt derulate greșit la noi”, pentru că … o să inventăm ceva acolo. Apoi negociem: dar dacă ar fi să ne uităm doar la o parte din date? Dar dacă ar fi să facem nu știu ce artificiu? În fine, acceptam realitatea și începem tratamentul. Trebuie să spun, aceste faze sunt prezente, mai mult sau mai puțin vizibil, în absolut toate țările care participă la aceste studii. România nu e unică nici aici… am văzut aceste reacții și în alte națiuni, nu o dată.

Dar după 20 de ani de furie si negare, în ultimii 6-7 ani România a ajuns la acceptare. Am început să lucrăm mai serios cu OECD, să folosim inteligent concluziile acestor studii. Iar rezultatele încep să se vadă. În PISA 2022, România a reușit să rămână constantă în clasament: nu a scăzut deloc în pandemie, ceea ce e un rezultat deloc banal, având în vedere că multe alte țări au înregistrat regres sever. În TIMSS 2023, elevii de clasa a 4-a au avut o creștere remarcabilă la matematică (și chiar dacă mai mică, o creștere semnificativă și la științe), iar la clasa a 8-a o îmbunătățire semnificativă față de ciclul anterior.

Nu știm încă dacă aceste efecte au remanență, dacă vor fi confirmate și de alte studii sau de ciclurile ulterioare – însă sunt primele raze de lumină: parcă-parcă mijește soarele un pic, la orizont.

***

Poate mai are sens să spun ceva în încheiere: nu caut o polemică nici cu cei care în ultimele zile au criticat studiul. Îi cunosc personal pe unii dintre ei și îi apreciez drept profesioniști excelenți în lucrurile pe care le fac. Ce citesc în postările lor este frustrare – o frustrare pe care și eu o împărtășesc față de multe lucruri care nu merg așa cum ne dorim în educație. Și știm din studiile lui Dollard et al. (1939) încă din perioada interbelică (și ulterior câte alte studii clasice, celebre) că frustrarea este antecedentul principal al agresivității. Din astfel de studii știm și că frustrarea poate fi canalizată distructiv, sau poate fi canalizată și constructiv (Caprara, 1982; Deutsch, 1949).

Sunt oricând aici pentru a explica fiecare punctuleț, oricât de mic, pe care îl pot explica referitor la aceste studii comparative (PISA, TIMSS etc.). Poate dialogul va canaliza frustrările acestea în mod mai constructiv. Eu sunt mega-super-extra-convins că avem nevoie de continuitate în ele și o să fac tot ce pot pentru a-mi convinge colegii că aceste studii sunt o forță pentru bine, nu pentru rău. Dacă e nevoie să îmbunătățim felul în care le instrumentăm, haideți să facem asta – dar asta presupune cooperare, nu conflict.

Aceste studii sunt vitale pentru sănătatea sistemului educațional românesc. Să renunțăm la ele sau să le compromitem public doar pentru că nu ne plac rezultatele – sau pentru că uneori apar dificultăți – este o formă de orbire voluntară, un set de ochelari de cal pe care ni-i punem singuri. Dacă vrem o educație mai bună, trebuie să ne uităm lucid în oglindă, să înțelegem ce ne spune imaginea reflectată și să acționăm. Și mai ales, să nu mai aruncăm cu noroi în cei care își asumă greul acestor proiecte. Avem nevoie de ei.

***

Caprara, G. V. (1982). A comparison of the frustration-aggression and emotional susceptibility hypotheses. Aggressive Behavior

Deutsch, M. (1949). An experimental study of the effects of co-operation and competition upon group process. Human Relations, 2(3), 199–231. https://doi.org/10.1177/001872674900200301

Dollard, J., Miller, N. E., Doob, L. W., Mowrer, O. H., & Sears, R. R. (1939). Frustration and aggression.