Każdy egzaminator pracuje w zespole, który sprawdza tylko jedno pytanie. Trafiłem do kilkunastoosobowej grupy składającej się w większości z Amerykanów i Kanadyjczyków. Ale były w niej również koleżanki ze Szkocji i Australii oraz kolega z Bangladeszu. Pracami każdego zespołu kieruje kapitan (captain), który jest bardzo doświadczonym egzaminatorem. Mój kapitan sprawdzał już testy kilkanaście razy. Jest on wspomagany przez starszych egzaminatorów (senior graders), których w moim zespole było pięciu.
Wszyscy członkowie zespołu przed przyjazdem do Charlottesville otrzymują treść pytania, które będą sprawdzać, wraz z sugerowanym kluczem odpowiedzi. Treść klucza odpowiedzi jest dyskutowana najpierw drogą e-mailową, a później już na miejscu sprawdzane są losowo wybrane odpowiedzi kandydatów. Celem tego ćwiczenia jest ustalenie końcowego klucza, ponieważ najważniejsza podczas sprawdzania jest spójność ocen.
Nie chodzi tutaj o ustalenie jednej prawidłowej odpowiedzi i sprawdzanie na zasadzie "tak" lub "nie". Wynika to stąd, że pytania otwarte mają więcej niż jedną prawidłową odpowiedź i między innymi dlatego tak wiele osób zajmuje się tylko jednym pytaniem. Dodatkowym utrudniającym czynnikiem jest język, ponieważ dla większości kandydatów angielski nie jest językiem ojczystym. Pierwszy dzień sprawdzania upływa właśnie na ustaleniu końcowego klucza odpowiedzi, według którego będą sprawdzane wszystkie prace.
[srodtytul]Kontrolne sito[/srodtytul]
Po ustaleniu klucza egzaminatorzy przystępują do działania. Codziennie prace są dodatkowo losowo kontrolowane przez kapitana zespołu. Podczas sprawdzania normalną rzeczą są dyskusje ze starszymi egzaminatorami lub z kapitanem, jeśli nie jesteśmy pewni, jak należy pytanie ocenić. Po każdym dniu kapitan dostaje szczegółowe zestawienie z liczbą sprawdzonych prac wraz ze średnią oceną wystawioną przez każdego egzaminatora w zespole oraz informacje o odchyleniu standardowym od średniej. Znowuż celem tych zestawień jest spójność ocen.
Na bieżąco (trzy razy dziennie) monitorowane jest tempo prac poszczególnych zespołów. W przypadku zbyt wolnego postępu prac egzaminatorzy z najszybszych zespołów są delegowani do pracy w zespołach najwolniejszych. Cel jest oczywiście jasny, wszyscy muszą zakończyć sprawdzanie prac w terminie. Mój zespół, mimo że znajdował się w środku stawki, jeśli chodzi o postęp prac, został wzmocniony o jeszcze jednego egzaminatora.