De meeste enquêtes zijn waardeloos

Home > Methodologie > De meeste enquêtes zijn waardeloos

Enquêtes kan men o.a. gebruiken voor het samenstellen van het Gebruikers Profiel (of personas), om verwachtingen rond een applicatie te destilleren of om de applicatie (of website) te evalueren, etc.

Toch is het opvallend dat veel van die enquêtes erbarmelijk zijn opgesteld.

Verwonderlijk is dat niet, een goede enquête wordt immers gemaakt door specialisten in deze materie. Maar veel mensen en bedrijven weten niet eens dat deze experts bestaan, ze zijn ook niet goedkoop en een enquête opstellen lijkt zo eenvoudig dat de meeste onder ons de neiging hebben om het even zelf te doen. Ons ego zal die klus wel even klaren, tussen de soep en de patatten.

Met alle gevolgen van dien: de meeste enquête vragen zijn gewoon waardeloos. Hierdoor zijn de antwoorden van de gebruikers ook niet grandioos en trek jij later gewoon de verkeerde conclusies die je met pseudowetenschappelijke stelligheid zult verdedigen. Stijl: “80% heeft dit geantwoord, dat is enorm, ik stel dus voor om…”

Voor- en nadelen van enquêtes

Voordelen

Je verkrijgt feedback vanuit het standpunt van de gebruiker. Als je een betrouwbare enquête hebt, eentje volgens het boekje, dan is deze feedback representatief voor de gehele gebruikerspopulatie. De resultaten die je kan afleiden uit de enquête zijn tot zekere hoogte onafhankelijk van het systeem, de gebruikers of hun taken. Op die manier kan je bijvoorbeeld de volgende zaken vergelijken: • De veronderstelde usability van een tekstverwerker met e-mail faciliteiten • Het gebruiksgemak van een database, vanuit het standpunt van beginnende en ervaren gebruikers • Het gemak waarmee je grafieken en statistische berekeningen kan uitvoeren in een spreadsheet Enquêtes zijn relatief snel opgesteld en dus goedkoop. Je kan er veel gegevens met verzamelen Ze zijn een betrouwbare basis voor het vergelijken of voor het aantonen dat de kwalitatieve usability doelen zijn behaald.

Nadelen

Een vragenlijst maakt je enkel duidelijk hoe de gebruiker een situatie ervaart. Bepaalde vragen, bijvoorbeeld over tijdservaring of de frequentie waarmee bepaalde zaken gebeuren, zijn dikwijls niet betrouwbaar. In het algemeen is het goed om een onderscheid te maken tussen subjectieve metingen (hier zijn enquêtes goed voor) en het meten van objectieve zaken zoals feiten, prestaties, frequenties en dergelijke (waarvoor betere meetinstrumenten bestaan). Een enquête zal je niet in detail vertellen wat goed of fout is met de applicatie of website. Een goed ontworpen enquête brengt je echter wel in de buurt. Open vragen, wanneer ze goed geformuleerd zijn, kunnen meer specifieke informatie opleveren. Enquêtes hebben een hoog zwart op wit gehalte en bezitten dus een grote aantrekkingskracht. Het verzamelen van rauwe kwantitatieve gegevens over de houdingen en meningen van de gebruiker is een goede zaak, maar maken het plaatje niet compleet. Wanneer het doel van het onderzoek bestaat uit het analyseren van de usability van een stuk software, dan moet je de subjectief verkregen gegevens verder aanvullen met andere zaken door o.a. te praten met de gebruikers en hun taak te observeren op hun feitelijke werkplek.

Niet iedereen heeft het budget om een professional in te huren en het is ook niet eenvoudig om in België zo’n beestje te vinden. Meestal zullen we dus de enquête zelf moeten creëren.

Dat kan perfect, wanneer we de volgende tips toepassen:

Introductie brief of scherm

Vergezel de enquête van een korte introductiebrief (of introductie scherm wanneer je het online uitvoert), die het doel van de enquête en de voordelen voor de gebruiker toelichten. Wanneer de enquête gaat over een intern onderwerp (bv. intranet of applicatie die gebruikt wordt door de werknemers van een bepaald bedrijf) dan is het aanbevolen om deze brief te laten signeren door een bekend, geliefd en hoog geplaatst iemand, dit om gebruikers bijkomend te motiveren om de enquête in te vullen.

Hou het anoniem

Vraag nooit naar hun naam of e-mail adres. Je gaat anders geen eerlijke kritische antwoorden krijgen. Ze gaan vrezen dat de ‘verkeerde’ mensen (hun baas bijvoorbeeld) hun naam kunnen verbinden met hun antwoorden. In zo'n geval gaan ze dikwijls de controverse (die misschien best terecht is) willen vermijden en de neiging hebben om 'veilige' antwoorden te geven.

Beloof geen prijzen

Beloof geen reisjes, verwenweekends, wijn of andere cadeaus dus.

In de euforie van de te winnen prijs, gaan ze (onbewust) te positief zijn in hun antwoorden. Anderen gaan dan weer denken dat afwijzende antwoorden een negatieve invloed kunnen hebben op hun kansen om een prijs te winnen.

Timing is belangrijk

Sommige websites vragen door middel van een irritante pop-up of je wil deelnemen aan een enquête over hun website. Als die gebruiker voor de eerste keer komt kijken, hoe kan deze dan uw website beoordelen?

Plaats gewoon een duidelijk link of button op je website, waarmee je naar de mening van die gebruiker vraagt. Hij kan dan zelf bepalen of hij wil meedoen en wanneer. Ja, de responsgraad zal een stuk lager liggen. Maar de motivatie van die gebruiker is een stuk hoger waardoor de kwaliteit van zijn antwoorden navenant zijn.

Stel de belangrijkste vragen eerst

In het begin van de enquête is hun aandacht en motivatie het best. Dit heeft een invloed op het antwoordgedrag.

Open vragen versus Gesloten vragen

Open vragen zijn beter. Punt. Je zal resulteren in meer onverwachte antwoorden, je zet mensen écht aan het denken, je leert het jargon van het project kennen, etc.

Nadeel is wel dat ze meer tijd kosten om te verwerken en dus duurder zijn. Die tijd en/of het budget is er niet altijd. Wanneer je te veel open vragen hebt loop je ook het risico dat mensen afhaken of geen ernstige antwoorden meer willen geven. Vergeet niet, mensen zijn lui, zeker wanneer ze aan iets vrijblijvend deelnemen zoals een enquête. Open vragen verspreiden over de enquête helpt een stuk.

Wanneer je toch gesloten vragen wil/moet gebruiken, voorzie dan een mogelijkheid waarbij de gebruiker een andere opinie kan invullen dan de voorgekauwde meerkeuze antwoorden.

Voorbeeld:

In welk land woont u?

A) België
B) Nederland
C) Luxemburg
D) Duitsland
E) Ander land: ____________________

Beperk het aantal vragen

Limiteer dit tot maximum 10 en liefst nog minder. Weinigen vullen graag een lange lijst met vragen in, ze hebben immers wel wat beters te doen. Bovendien zullen de meeste na een tijdje hun motivatie verliezen en ongemotiveerde, ondoordachte en zelfs saboterende antwoorden invullen.

Wanneer je een Gebruikers Profiel wil samenstellen van de gebruikers van een interne applicatie, dan mag je van deze regel afwijken. Maak hun wel duidelijk dat hun antwoorden een belangrijke invloed hebben op de applicatie, welke uiteindelijk hun werkinstrument is (de introductie brief of scherm is de aangewezen plek hiervoor). Doorgaans zit de motivatie wel snor bij deze mensen, doch zorg ervoor dat in dit specifiek geval het invullen niet langer dan 10 a 15 minuten duurt.

Wil je toch meerdere vragen stellen aan een grotere groep gebruikers van bijvoorbeeld een website, verspreid de vragen dan. Geef mijnheer X niet dezelfde vragen als mevrouw Y.

Vraag enkel naar de essentie

Leg een doel vast en stel enkel vragen die het doel beantwoorden. Wil je feedback over een website? Vraag dan niet hoeveel kinderen de gebruiker heeft. En zijn of haar inkomen is in dit geval ook niet relevant.

Stem de woordenschat af op uw doelgroep

Gebruik geen academische of dure woorden wanneer je weet dat een significant deel van uw publiek je niet gaat begrijpen. Anderzijds moet je ook geen K3 taaltje hanteren wanneer uw publiek dit niet spreekt. Oya Lélé.

Hou de vragen kort en simpel

Geen Serge Simonart toestanden met vragen van een halve bladzijde lang graag. Een Humo lezen is meestal zelfgekozen ontspanning, een enquête niet.

Stel per vraag excact één vraag

Het is geen politiek interview. Stel geen vragen in de vraag of naast de vraag. Hou het simpel en breng mensen niet in de war.

Gebruik het vet attribuut om sleutelwoorden te laten oplichten

Het zal de leesbaarheid en duidelijkheid verhogen.

Groepeer vragen die bij elkaar horen

Vragen refereren op die manier naar elkaar en zo kunnen de gebruikers hun aandacht beter focussen.

Wijzig de volgorde van de vragen in elke afzonderlijke enquête

Het voorkomt eventuele subjectiviteit van de enquête. Het is wel lastiger om te verwerken (indien niet digitaal), maar het loont de moeite.

Zoals je al weet, kun je bij gesloten vragen beter een mogelijkheid voorzien waarbij de gebruiker zijn eigen opinie kan invullen. Je kan die gesloten vragen op nog andere manieren verbeteren:

Vermijd het 'Niet van toepassing' antwoord

Als dit niet van toepassing is, waarom vraag je er dan naar?

Peilen naar houding, motivaties, opinies e.d.

Bij vragen die peilen naar houding, motivaties, opinies e.d. rangschik de antwoorden in oplopende of aflopende volgorde.

Voorbeeld:

Niet Goed	Goed
Wat vind je van het kleurgebruik op website XYZ? O Slecht O Zeer goed O Geen mening O Goed O Zeer slecht	Wat vind je van het kleurgebruik op website XYZ? O Zeer Slecht O Slecht O Geen mening O Goed O Zeer Goed

Wijzig deze volgorde bij elke vraag, zodat afwisselend het eerste antwoord positief of negatief is.

Dit om te voorkomen dat we gebruikers een bepaalde richting sturen en om de objectiviteit te verhogen. Mensen hebben nu eenmaal de neiging het eerste, en in het bijzonder het allereerste, mogelijke ‘goede’ antwoord aan te duiden en de volgende antwoorden met verminderde aandacht (of zelfs niet meer) te bekijken.

Zelfevaluerende vragen

In zelfevaluerende vragen zoals over tikvaardigheden, scholingsgraad of computerervaring, rangschik de antwoorden van het laagste naar het hoogste niveau. Dit om te vermijden dat ze hun evaluatie overwaarderen.

Voorbeeld:

Niet Goed	Goed
Hoe goed kan u overweg met een toetsenbord? O Fantastisch O Goed O Dat gaat wel O Niet zo goed O Ronduit slecht	Hoe goed kan u overweg met een toetsenbord? O Ronduit slecht O Niet zo goed O Dat gaat wel O Goed O Fantastisch

Rangen

Geef geen ‘rangen’ mee in de antwoorden, wederom om overwaardering te verkomen.

Voorbeeld:

Minder Goed	Beter
Wat is uw ervaringsgraad in uw huidige functie? O Onervaren (minder dan 1 jaar) O Ervaren (1 tot 3 jaar) O Expert (meer dan 3 jaar)	Wat is uw ervaringsgraad in uw huidige functie? O Minder dan 1 jaar O 1 tot 3 jaar O Meer dan 3 jaar

Neutrale vragen

Stel neutrale vragen, dit om te vermijden de gebruikers een bepaalde richting in te sturen.

Voorbeeld:

Niet Neutraal	Neutraal
Wat vindt u van het dure, ongebruiksvriendelijke en steeds vastlopende programma XYZ?	Wat vindt u van het programma XYZ?

Doe dus niet zoals DeRedactie ooit gedaan heeft:

Je suggereert immers in je vraagstelling dat mensen die 's nachts op vakantie vertrekken onveilig bezig zijn. Een significant deel van de mensen zal bewust of onbewust dit niet willen toegeven.

Gebruik mutuele exclusieve antwoorden

Voorbeeld:

Niet Goed	Goed
Hoelang gebruikt u de applicatie reeds? ` O 1-3 maanden O 3-6 maanden	Hoelang gebruikt u de applicatie reeds? O 1-3 maanden O 4-6 maanden

Wat moet de gebruiker invullen wanneer zijn antwoord 3 is in de linkerkolom?

Gebruik exhaustieve antwoorden

Voorbeeld:

Niet Goed	Goed
Hoeveel Microsoft applicaties gebruikt u? O 1-3 O 4-6 O 7-9	Hoeveel Microsoft applicaties gebruikt u? O 1-3 O 4-6 O 7-9 O 10 of meer

Zorg er dus voor dat de laatste of hoogste keuze niet “7-9” is zoals in de linkerkolom, wanneer sommige mensen mogelijk “10” of meer willen invullen.

Wil je meer weten over het opstellen van enquêtes?

Er zijn van die boeken, die een compleet hoofdstuk wijden aan de Likertschaal en je daarna verzoeken om dit allemaal eens zelf uit te proberen. Neem deze boeken niet ernstig, ze bewijzen niemand een goede dienst.

Maar bekijk wel deze boeken eens:



Bekijk Ook:

• Gebruikers Kenmerken

---

Vond je dit artikel interessant? Doe dan het volgende:

• Plaats een reactie
• Volg Usability Vlaanderen op Facebook of Twitter
• Schrijf je in op de E-mail nieuwsbrief of RSS feed
• Deel dit artikel met vrienden en collega's