Kun je psychologische competenties (van agenten) meten?

Kun je psychologische competenties (drukbestendigheid, emotionele weerbaarheid en informatieverwerking) observeren – en dus meten – in concreet gedrag? Psychologische competenties moeten uiteindelijk toch terug te zien zijn in gedrag? In het artikel van Koedijk word je meegenomen in de ontwikkeling van een (gedrag) observatie instrument waarmee psychologische competenties in scenario’s kunnen worden beoordeeld. De cruciale vraag van dit onderzoek is dus of gedragspatronen daadwerkelijk verband houden met psychologische competenties? Uit elk goed onderzoek haal ik weer kennis op die me wijzer maken als docent op de werkvloer. Ik haal drie lessen uit dit onderzoek maar er zijn nog veel meer.

Les 1: Kun je psychologische competenties direct observeren in gedrag?

Is het gedrag wat je ziet bij een deelnemer indicatief voor een psychologische competentie (bv drukbestendigheid). Of zitten er hele andere gedachten en gevoelens achter de handelingen die de operator uitvoert en kun je die enkel te weten komen door ernaar te vragen?

Een mooie quote uit het artikel die dit dilemma illustreert:

“When confronted with a study reporting behavior but not inner process, reviewers will immediately ask, why did this happen? Researchers need to show what goes on inside. But when confronted with a study reporting inner process but no overt behavior, reviewers almost never ask, “would this actually alter behavior?”(pp. 401).

De auteurs zijn dus voorstander van kijken naar het gedrag in plaats van de onderliggende psychologische competentie:

Police organizations’ main interest should not be the psychological competence in itself, but rather the extent to which it does or does not facilitate the decisions and actions of the police officer. By placing police officers in situations that tax their psychological competence and measuring their decisions and actions with systematic behavioral observation, it is possible to assess the psychological competence they possess and can deploy in a practically relevant way.

Uitdagingen

Er zijn echter uitdagingen als je psychologische competenties wil meten aan gedrag. Bijvoorbeeld deze twee:

  • The first challenge is that appropriate behavior in a certain situation can take on different forms. For example, while approaching a door with an unknown subject behind it, one police officer might approach the door cautiously, while another approaches it confidently. Both actions can be considered professionally adequate, and illustrative of competence.
  • Second, taxing police officers’ psychological competence usually requires placing them in stressful situations . It is highly unlikely that ideal, textbook behavior will be observed in stressful situations. Stressful situations induce various changes in behaviors, such as ineffective body movements and gaze). The challenge is to determine how much deviation from ideal, textbook, behavior can still be considered illustrative of competence, and how much deviation under stress is indicative of low psychological competence.

In dit onderzoek zijn volgens de onderzoekers voldoende en valide maatregelen genomen om aan deze uitdagingen recht te doen.

Les 2: Hoe ontwerp je representatieve (ecologisch valide) scenario’s?

Uit dit artikel kun je als trainer veel inspiratie opdoen over hoe je valide en betrouwbare scenario’s ontwerpt. Cruciale kennis voor docenten die first responders trainen! De uitdaging hierbij is: “Perhaps one of the main challenges in scenario development is to make the scenario specific enough for the competencies of interest, and yet realistic enough to be ecologically valid.

Er worden twee strategieën hiervoor besproken, namelijk:

  • The first strategy is to seek out retrospective information from officers about situations they have encountered and responded. Methods to collect these situations include for example consulting case reports, organizing focus groups, and interviewing experienced officers. And Police organizations can borrow from published literature.

Dit kan iedere trainer en ook ieder trainingscentrum in meer of mindere mate doen!

  • A second strategy is the observation of behaviors in the working environment itself. A task analysis can be conducted to collect the occurrence of situations on duty and the response in these situations by police.

Ook dit is iets wat we allemaal kunnen doen als docenten: kijken op de werkvloer en data verzamelen!

In een tabel worden hele goede en onderbouwde adviezen gegeven voor het ontwerp van scenario’s:

Les 3: Gestandaardiseerde scenario’s ontwikkelen met veel differentiatie en variatie mogelijkheden

Dit artikel inspireert om valide en praktische instrumenten te ontwikkelen om de psychologische competenties van deelnemers te ‘testen’ in representatieve simulaties. Niet als summatieve toets maar als uitdagende test. Zie mijn eerdere artikel over de ‘test zone’. In het ideale geval zou het gaat zijn als er standaard scenario’s klaarliggen die makkelijk aangepast kunnen worden aan de leervraag van de deelnemer. Zie ook scherpschutters podcast met Wendy Dorrestijn. VR, AR en digitale simulaties bieden hier mogelijk goede mogelijkheden voor.

Bron

Koedijk M, Renden PG, Oudejans RRD, Kleygrewe L and Hutter RIV (2021) Observational Behavior Assessment
for Psychological Competencies in Police Officers: A Proposed Methodology for Instrument Development.
Front. Psychol. 12:589258.