Sertifiointi- ja auditointijärjestelmiä on arvioitu kahdeksassa eri kategoriassa. Kategoriat ovat 1) riippumattomuus, 2) auditointien laatu, 3) järjestelmien läpinäkyvyys, 4) kriteerien kattavuus ja laatu, 5) raaka-aineiden jäljitettävyys ja kuluttajaviestintä, 6) järjestelmien vaikuttavuus, 7) ilmastotoimia ja biodiversiteettia koskevat kriteerit sekä 8) järjestelmien yhteensopivuus YK:n yritystoimintaa ja ihmisoikeuksia koskevien ohjaavien periaatteiden kanssa. Tarkemmat kuvaukset kussakin kategoriassa tarkasteltavista kysymyksistä on esitetty Finnwatchin kesäkuussa 2022 julkaistussa raportissa Kaalimaan vartijat 2. Arviointi perustuu Finnwatchin järjestelmiltä saamiin vastauksiin sekä järjestelmien omiin julkisiin asiakirjoihin.
Erilaisten valvontajärjestelmien prosesseja vertailtaessa on hyvä ottaa huomioon se, että järjestelmien valvonnan kohde ja rajaukset, eli ns. scope, vaihtelee. Finnwatchin arviointi ei arvota järjestelmien valvonnan kohteita ja rajauksia vaan sitä, miten ne suoriutuvat oman scopensa sisällä. Parhaiten tämä opas soveltuu järjestelmien vertailuun tilanteessa, jossa ne valvovat tai sertifioivat samaa asiaa. Yllä olevasta valikoista voit valita tarkasteluun järjestelmiä valvonnan tai sertifioinnin kohteen perusteella.
Sertifiointi- ja auditointijärjestelmien antamien vastausten perusteella niiden toimintaa on arvioitu yksinkertaisella laskutavalla pisteyttämällä parhaat käytännöt ja selkeät puutteet. Parhaista käytännöistä (vihreä) järjestelmille on annettu 1 piste ja selkeistä puutteista (punainen) on vähennetty 1 piste. Arvionnissa keltaisella on merkitty kohdat, joissa järjestelmä on tehnyt toimenpiteitä, mutta joissa sen on vielä erityisesti syytä kehittää toimintaansa. Keltaisista kohdista ei ole annettu pisteitä. Yksityiskohtaiset arviointikriteerit on esitetty Kaalimaan vartijat 2 -raportin liitteessä 1. Kaikkia kysymyksiä ei ole arvotettu, ja tällöin kaikki vastaukset niihin on merkitty harmaalla. Myöskään kaikkia yksittäisiä annettuja vastauksia ei aina ole arvotettu, jolloin nekin on merkitty harmaalla. Näin on esimerkiksi tilanteessa, jossa kysymys ei ole relevantti arvioitavan järjestelmän valvonnan kohteen ja muiden mahdollisten rajausten kannalta. Lopuksi järjestelmien saamat pisteet on laskettu yhteen arviointikategorioittain. Kokonaispistemäärissä on huomioitu vain ne kysymykset, jotka on arvotettu.
Esimerkki: Riippumattomuus-kategoriassa on viisi kysymystä, joista yhtä ei ole arvotettu minkään sertifikaatin osalta. Kategorian enimmäispistemäärä on siis 4. Jos järjestelmä on saanut tässä kategoriassa kaksi vihreää arviota ja yhden punaisen ja lisäksi joko yhden keltaisen tai harmaan, eli yhtä sen antamaa vastausta ei ole arvotettu, on järjestelmä saanut kategoriasta 1 pisteen.