QUESTIONS & ANSWERS
Student	Rubriek	Vraag	Cijfer
Shireen		De sector micro financiering in India bevindt zich thans in crisis. Kan aan de hand van een kritische selectie van de codes onderzoek verricht worden naar deze sector in Suriname? Welke codes kunnen hierbij van belang zijn zodat er een betrouwbaar onderzoek verricht kan worden? HG: Ik weet weinig tot niets van micro-financiering, maar neem aan het gaat om een beleidsingreep om mensen er (financieel) op vooruit te helpen. Een mogelijk onderzoeksvraag is of dit beleid inderdaad de beoogde goedgunstige werking heeft. Ik betwijfel of het echt zinvol is om dit te bekijken aan de hand van vragen over beroep. Beroepen zijn met name goed om lange termijn situaties in beeld te brengen – het is enigszins equivalent met wat economen ‘permanent’ income noemen. --, en daarom niet geschikt om korte termijn veranderingen in beeld te brengen, daarvoor zul je naar het inkomen zelf of het uitgavenpatroon moeten kijken. Als mikro-krediet beroepsmobiliteit tot gevolg heeft (mensen gaan anders werken), zou dat interessant zijn, maar te duiden dat het krediet aan zijn doel voorbijschiet. Een mogelijk interessante vraag zou zijn te kijken naar hoe het afloopt met de kinderen van mensen die micro-krediet hebben gekregen.
Shireen		Kunnen de vragen omtrent de Familie- en gezinssituatie van de Surinaamse bevolking in hun zelfde staat (dus letterlijk) gebruikt worden voor micro (financiering) onderzoek in Suriname. Zo nee, welke suggesties kunnen hier worden gegeven? HG: Het demografisch gedeelte van de vragenlijst is algemeen bedoeld en beperkt zich niet tot het onderzoeksdoel van het project van Tamira Sno.
Shireen		Education and Occupation netwerkanalyses. Kan het en welke markante relaties zouden bijvoorbeeld voor micro financiering als resultaat kunnen hebben? HG: Beroepen zijn heel geschikt om netwerken te verrichten. Je kunt over iemands netwerkcontacten vragen wat voor beroepen ze hebben en op die manier uitvinden in wat voor soort kringen men verkeert en daaraan het sociaal kapitaal aflezen. Ook het omgekeerde wordt wel gedaan: iemand een lijst beroepen voorleggen en vragen of ze zo iemand (bv. arts, advocaat) in hun persoonlijk netwerk hebben.
Mirella		Mogen de drie occupational status scales die zijn geintroduceerd in het artikel 'Three internationally Stanadrized measures voor comparative research en occupational status' in combinatie met elkaar gebruikt worden bij data analyse of moeten er slechts voor 1 worden gekozen? HG: Van de drie in de literatuur aangeven schalen is er een (EGP = ESEC = ISEC) bedoeld als nominale meting en wordt meestal behandeld met methoden voor discrete data-analyse (loglineaire analyse, logistische regressie). Dat maakt het wat moeilijk om deze te combineren met de twee continue schalen ISEI (sociaal-economische index) en SIOPS (prestige), want daarop kun je gemakkelijke technieken als correlatie en regressie en lisrel-modellen, met correctie van meetfouten, op loslaten. Er zijn een aantal artikelen in de literatuur die SEI en SIOPS met elkaar vergelijken, meestal met het oogmerk / conclusie om te laten zien dat prestige minder gunstige eigenschappen heeft dan SEI bij het modelleren van statusverwerving en sociale reproductie. Combinatie van de twee in een model zou wel mogelijk zijn en ik heb zelf wel eens een paper gepresenteerd dat dit doet – alleen gaat het dan om een vergelijking van ISEI en ICAM (een social distance schaal die op trouwpatronen berust). De hamvraag over prestige en SEI zou zijn: wordt in prestige iets gemeten dat specifiek sociaal reproduceert (dus systematische variantie is). Modellen met twee soorten schalen komen er eigenlijk op neer dat je probeert om de ‘meet’fouten die het gevolg zijn van de keuze van een schaal, in kaart te brengen. Dat zijn eigenlijk onderzoekerfouten – en dat is weer dat anders dan codeerfouten of interviewerfouten.
Mirella		Hoe beinvloeden deze drie schalen elkaar bij data interpretatie? HG: ik begrijp deze vraag niet.
Mirella		Zou het bij het classificeren van de beroepen ook niet handiger zijn als er een variabele taken toegevoegd zou worden aan de datafile? dat maakt het voor de codeur makkelijker om de te classificeren. of brengt dit bepaalde bias met zich mee bij het classificeren? HG: Op dit moment is in de Surinaamse survey de vraag: geef beroepstitel en belangrijkste taken – dus hierin zou al voorzien moeten zijn. Uit de codeerfile blijkt dat veel mensen toch primair antwoord geven over hun bedrijf of bedrijfstak (‘ambtenaar’, ‘bij Suralco’) of dienstverband (‘hosselen’). De vraagstelling zou het beste verbeterd kunnen worden door eerste expliciet naar bedrijfstak te vragen en daarna naar de beroepstitel en taken. Als je heel uitgebreid wilt doorvragen zou de volgende vraag die naar voor het beroep vereiste opleiding kunnen zijn. Deze vraag leidt echt ook vaak tot verwarring omdat mensen hierop vaak de feitelijk opleiding antwoorden. In het algemeen kun je vragen niet veel verbeteren door heel veel meer informatie de vragen. Elke nieuwe informatie brengt ook nieuwe onzekerheden met zich mee, en ook meer werk. Algemeen geldt: je verbetert meting meer door opnieuw te vragen, dan door verder te vragen.
Soulamy		Waarom kiest u om te werken volgens isco-88 ? Is dat niet achterhaald? HG: Er is inmiddels een isco-08 beschikbaar, maar deze wordt in grote internationale projecten (zoals de ISSP, waarop de Surinaamse survey aansluit) nog niet gebruikt (dat zal snel veranderen). Vernieuwing is echter niet steed verbetering, maar een van de grootste verdiensten van de nieuwe ISCO is dat ze teruggrijpt op de ISCO-68, waardoor het gemakkelijker wordt leidinggevende beroepen (met name voorman en bedrijfsleider) te coderen. Zie mijn website. Wat mij betreft zouden we gewoon weer kunnen terugkeren naar ISCO-68, die is volgens mij het beste, en met name het geschikts voor het coderen van beroepen van ouders. In deze classificatie was het namelijk mogelijk kleine zelfstandigen en verschillende soorten boeren goed te coderen.
Soulamy		Welke code worden gekend aan personen met meerdere banen? ( moet er een keuze gemaakt worden). HG: je moet inderdaad een keuze maken. Er bestaan geen vaststaande regels voor. Ik neem altijd de eerstgenoemde, tenzij je de indruk krijgt dat een andere dominant is.
Tamira		Hoe kun je de correlatie berekenen tussen de "scores" (codering van beroepen) van de diverse codeurs? HG: In de ‘lange’ codeerfile (waarin alle beroepen onder elkaar zijn gezet), zijn scores gewoon kolommen die met elkaar gecorreleerd kunnen worden. Omdat beroepencodering alleen een nominale classificatie oplevert, moet je de codes wel eerst omzetten in ISEI scores. In de ‘wijde’ file zouden de verschillende codeurs verschijnen als afzonderlijke kolommen, maar nu bij elk beroep afzonderlijk.
Tamira		Hoe bereken je welke codeur de beste is? HG: Een eerste manier is de codeurs met elkaar te vergelijken en dat kan alleen maar voorzover hun gecodeerde beroepen overlappen. Je kun dan via soortelijke technieken als bij factor- en betrouwbaarheidsanalyse uitmaken wei het meeste op elkaar lijken. Dit type analyse is heel gemakkelijk te doen als je alle codeurs alle beroepen laat coderen, maar dat is juist weer heel inefficiënt. Als je de porties verdeeld hebt, maar toch enige overlap heb behouden is het heel informatief om een ‘codeur – rest-correlatie’ te berekenen. Deze techniek heeft beperkingen. Op de eerste plaats kun je hem alleen maar gebruiken als je meer dan twee codeurs hebt (een lage correlatie tussen twee codeurs zegt niet welke het slecht heeft gedaan). Op de tweede plaats is de uitkomst alleen maar dat de codeurs het op dezelfde manier hebben gedaan, niet of dat de goede manier is. Een tweede manier is om de coderingen van verschillende codeurs te correleren met externe validatiecriteria, zoals opleiding, inkomen, maar voor ook: de andere beroepen. Voor deze techniek moet je de lange file omzetten in de wijde file, waarin verschilleden beroepen weer als afzonderlijke variabelen verschijnen. Je kijkt dan naar de correlatiematrix om te zien wie het sterkt met de validatiecriteria correleert. In een lisrel-model van deze correlaties kun je de door codeurs aangebrachte random en systematische fouten precies kwantificeren.
Tamira		Hoe kun je nagaan welke vraag mbt de beroepen - de open vraag of de gesloten vraag - het beste resultaat heeft opgeleverd? HG: Dit gaat met dezelfde methodologie als het vergelijken van verschillende codeurs – je kijkt welke variabelen het sterkt met criteriumvariabelen (als opleiding, inkomen en andere beroepen) correleren. Via lisrel-modellen kun je weer random en systematische fouten onderscheiden. Bij open en gesloten vragen gaat het niet om codeerfouten, maar om door de respondent of interviewer veroorzaakte meetfouten.
Kirtie		ISCO-88 werkt met vaste definities van job en skills. Maar respondenten kunnen pro deo een bedrijf ondersteunen met hun know - how vanwege verwantschapsrelaties, en hun taken dan niet beschouwen zoals ISCO - 88 dat zou doen. Houdt ISCO - 88 rekening met interpretatie verschillen van job en skills tussen de onderzoeker en de onderzochten? HG: Nee, ISCO heeft geen speciale codes voor ‘family workers’. Ik beschouw zelf deze groep altijd als gewone betaalde beroepsarbeid, maar daarop valt wel wat af te dingen. Zo kun je verwachten dat sociale mobiliteit (tov ouders) voor echtgenotes die in het bedrijf van hun man meewerken heel anders in elkaar zit dan voor buitenshuis werkende vrouwen. Om ze dan te coderen als ‘administratieve medewerkers’, ‘landarbeiders’ of ‘verkoopsters’ – dat is het soort werk dat ze doen – levert mogelijk vervuiling van de data op. Een ander, maar verwant probleem is dat ook de scheidslijn tussen ‘meewerkend gezinslid’ en ‘mede-eigenaar’ vaak dun is. Anders dan je misschien denkt is dit geen specifiek Surinaams probleem – het komt in veel landen voor, ook in hoogontwikkelde economieën.
Kirtie		Hoe interpreteert en meet ISCO-88 zorg- en managementtaken van een huisvrouw? Zijn er discussies geweest over het opnemen van een categorie housewife? HG: Huisvrouw is geen betaalde beroepsarbeid. Om het toch zo op te vatten en bv. een mengcode van kok, kinderverzorger, schhonmaker, verpleegster en gezelschapsdame te geven (er zijn wel artikelen waarin dat gebeurt) verheldert niet. Als je wilt analyseren wie er huisvrouw wordt / is en hoe dat in verband staat met sociale herkomst, moet je gewoon een analyses doen met dit discrete kenmerk als afhankelijke variabele.
Kirtie		Wat is de bijdrage van niet westerse landen bij de totstandkoming van de ISCO meetschalen? HG: Dat weet ik niet echt. De ILO is verantwoordelijk voor ISCO en zou – als UN organisatie – wereldwijd moeten werken.
Rayah		In het onderzoek van mw. Sno heb ik gemerkt dat zowel het huidige beroep van de respondent als het 1^e beroep en dat van de ouders zijn gemeten. Beiden worden gecodeerd volgens dezelfde ISCO (1988). Tussen beide ‘waarnemingen’ ligt er soms een behoorlijke tijdsspanne. De aard van beroepen en de nodige skills die daarvoor nodig zijn, zijn in de tussentijd misschien veel veranderd. Mogelijk zijn bepaalde beroepen verdwenen uit de huidige ISCO. Bestaat er ook de optie om te werken met verschillende ISCO’s voor de verschillende waarnemingen en een conversieschema daarvoor te hanteren? HG: Je vraag is eigenlijk of ISCO wel door de tijd heen bruikbaar blijft. Het is een gebruikelijke veronderstelling dat dat niet zo is, en dat het daarom nodig is beroepenclassificaties periodiek aan te passen. De meeste landen doen dat elke 10 jaar (bij de volkstelling), ISCO om de 20 jaar. Persoonlijk twijfel is een beetje aan de noodzaak hiertoe. Als je naar de nieuwste herziening kijk (ISCO88 à ISCO08) zie je op het eerste gezich veel aanpassing aan de nieuwe beroepenstructuur (er wordt bv. een veelheid van nieuwe IT beroepen onderscheiden), maar als je wat verder doorkijkt zie je dat meer fundamentele wijzigingen eigenlijk reparaties van de vorige classificatie zijn en dat dit reparaties weer teruggrijpen op ISCO-68. Een van de interessante eigenschappen van beroepen is dat ze bij alle technologische vernieuwing juist zo constant door de tijd (en internationaal vergelijkbaar) zijn.
Rayah		Zoals ik heb begrijp, dienst de ISCO alleen voor classificatie van beroepen en een eerste rudimentaire ‘rangschikking’. Behalve classificatie, is het juist bij mobiliteit (stijging of daling) belangrijk om te kijken naar de stratificatie: de status van beroepen. Dat wordt gedaan door de ISCO codes om te zetten naar de ISEI codes. Hier speelt des te meer de kwestie van intergeneratie mobiliteit en het stijgen of dalen van beroepen op de schaal. Vroeger was een leerkracht bv een nogal gerespecteerd beroep, maar de status is snel afgenomen. Zijn er ook verschillende ISEI codes voor verschillende tijdsperiodes & samenlevingen? HG: ISCO is alleen voor classificatie, eigenlijk helemaal niet voor rangschikking (hoewel er wel enige ordening in de majopr groups zit). Om rangschikking of schaling aan te brengen hebben je zoiets als ISEI of SIOPS nodig. Ook hier hoor je vaak de veronderstelling dat er door de tijd verandering is in rangorde van of afstand tussen beroepen, maar onderzoekevidentie gaat juist de andere kant op: de rangschikking van beroepen op bv. prestigeschalen is indrukwekkend stabiel. Treiman liet bij de onwikkeling van SIOPS zien dat je met een 20^ste eeuwse schaal heel goed kunt voorspellen op welke volgorde in de 13^e gilden aan processies deelnamen! Dat wil natuurlijk niet zeggen dat er helemaal heen verandering is – maar eerlijk gezegd ken ik geen onderzoek dat dit laat zien. Wat betreft internationale vergelijkbaarheid is er wel wat evidentie: geschoolde handarbeid stond in communistische landen wat meer in aanzien dan elders. In het bijzonder geloof ik dat er geen enkel bewijs is dat onderwijsgevenden gezakt zijn op de maatschappelijke ladder. Dit is een wel vaak geuite veronderstelling. Wat wel zo is, is dat er tegenwoordig meer mensen beroepen hebben boven onderwijzer en minder mensen onder onderwijzer. Maar de volgorde van beroepen is niet veranderd.
Thea		Als de tijdsvolgorde niet te bepalen is of geen rol speelt m.b.t causale relatie is het mogelijk toch een oorzaak-gevolg analyse te bepalen. Kunt u hiervan een voorbeeld geven. HG: Oorzaak-gevolg relaties moeten primair worden vastgesteld door een onderzoeksopzet: panel, retrospectieve vragen, experimenten, tijdsreeksen. Als je in een bepaalde situatie niet kunt uitvinden wat oorzaak en wat gevolg is, betekent dat niet dat er geen oorzaak en gevolg is, maar dat je je onderzoek niet goed hebt opgezet om een causale vraagstelling te beantwoorden.
Thea		Bij de "kip en ei " kwestie m.b.t causale relaties welk is de oorzaak en welke het gevolg? HG: Causale relatie kunnen best wederzijds zijn, maar dan moet je dat wel zo opvatten dat X à Y en Y à X betrekking heeft op twee verschillende tijdstippen. In paneldata kun je met een ‘cross-lagged’ model deze effecten kwantificeren.
Thea		Hoe geschiedt de codering bij beroepen  indien men de werkzaamheden aangeeft die niet onder te brengen zijn bij een beroep? HG: Als de aanduidingen te vaag zijn om een beroep te raden en er is geen ‘dominante’ interpretatie mogelijk, dan is er weinig anders mogelijk dan het als ‘missend’ te scoren. Een truc zou kunnen zijn om twijfelgevallen te markeren en dan uit te zoeken of in die gevallen inderdaad meer random meetfout optreedt. Er zijn zelf wel modellen denkbaar waarin je verschil in betrouwbaarheid kunt verdisconteren.
Presella		Hoe ver mag een enqueteur gaan met vragenstellen bij het formuleren van het beroep van de respondent? Een algemene opmerking, en dat is vooral bij de overheid en de kleine ondernemingen waar taken niet goed geformuleerd zijn, is dat mensen niet precies weten wat ze doen en dat moeilijk kunnen plaasten onder 1 noemer. Kan dit geen gevolg hebben voor het coderen en hierdoor onnodige systematische meetfouten als gevolg hebben? Zoals u zelf zei, “de invloed van je meetfout heeft te maken met de manier van de vraagstelling".
Presella		Hoort hosselen niet tot de informele sector? HG: De meningen over wat ‘hosselen’ precies betekent, verschillen. Zie bv: deze mening. Mijn begrip van de surinaamse bekenis is met name: geen vast dienstverband, een soort free-lancen. IK geloof niet dat onze respondenten primair illegale activiteiten bedoelen. Volgens mij is er dus niets tegen om hosselen onder betaalde arbeid te scharen, maar het is op zichzelf geen beroep – het is een soort dienstverband, en zo is het in de vragenlijst ook opgenomen. De interviewers moeten dus vragen naar de aard van de gehosselde activiteiten.
Presella		Tijdens het coderen ben ik een aantal keren tegengekomen dat mensen hebben gewerkt en dus nu werkloos zijn en bij bedrijf ’hosselen’ wordt opgegeven. Hoe moeten we dit interpreteren? Is dit de juiste weergave? Of is dit een fout van de enqueteur en zou die doorgevraagd moeten hebben wat de persoon nu doet, want als je aangeeft te hosselen dan kan het toch genoemd worden? Kan je deze data gebruiken? HG: dit is volgens mij een sterk overlappende vraag...
Simone		Stel dat er binnen een onderzoek sprake is van een probleem met de betrouwbaarheid en de validiteit. Hoe pak je dit dan aan en wat pak je als eerst aan (hoe ga je te werk)? HG: Validiteit is het doel, maar betrouwbaarheid is het begin. Zonder betrouwbaarheid geen validiteit, maar betrouwbaarheid garandeert nog niet validiteit. Elke reis begint met de eerste stap.
Simone		Er wordt vaak gezegd dat een gesloten vraag iets betrouwbaarder is dan een open vraag, want dan heb je nauwelijks kans op systematische meetfouten. Is dat zo?, want de respondenten kunnen toch ook bijv. de vraag verkeerd invullen, dat is toch dan ook niet betrouwbaar? HG: Gesloten vragen zijn doorgaans betrouwbaarder dan open vragen en dat betekent dat ze minder random meetfouten hebben. Dat komt doordat bij de verdere bewerking van open vragen (interpreteren en coderen) verdere stappen moeten worden gezet, die allemaal hun eigen meetfout hebben en die pakken doorgaans als random meetfout uit. Hoe meer stappen tussen werkelijkheid en datamatrix, de te meer problemen krijg je. Gesloten vragen hebben bovendien als voordeel dat ze gemakkelijk en snel te beantwoorden zijn, waardoor je ook gemakkelijk meerdere vragen kunt stellen en door middeling of modellering random meetfouten kunt wegwerken. Gesloten vragen kunnen wel extra gevoelig zijn voor systematische meetfouten doordat ze naar meerdere dingen tegelijk vragen, of juist slecht een klein onderdeel van het concept, of gevoelig zijn voor response-tendenties. In beginsel heb je daarvan bij open vragen wat minder last. Je kunt je daartegen wapen via een onderzoekdesign waarin de meetfout (bv. vraagvorm) herhaald wordt.
Soulamy		Van resp tot eindverslag vinden er verschillende meetfouten plaats. Waar om kiest u alleen voor "weer/ opnieuw meten" en niet voor doorvragen? Waarom wilt u dit speciaal verklaren middels een kwantitative methode? Bovendien zeg ik dat "hercoderen" niet op nieuw meten is, maar weer een moment waar fouten weer insluipen. HG: Opnieuw vragen (bij de respondent) en opnieuw coderen (door een andere codeurs) doe je primair om random meetfouten op te sporen en te kunnen uitmiddelen of te modelleren. Het punt hierbij is dat je je onderzoek zo moet inrichten, dat de nieuwe fouten inderdaad nieuwe fouten zijn. Als je doorvraagt, maak je je meetfouten van elkaar afhankelijk. Ze middelen dan niet uit, maar vergroten elkaar. Je moet er juist voor zorgen dat het nieuw antwoord het vorige antwoord kan corrigeren, en niet verder leidt in dezelfde richting
Raya		In Lecture 5a gaf je aan dat systematische meetfouten opgespoord moeten worden door gebruik te maken van een ‘correlated error term’ of dmv multiple factoranalyse als deel van het causaal model. Wat zijn correlated error terms en hoe worden die berekend? HG: met een beetje geluk zie je in een explorerende factoranalyse (SPSS) systematische meetfouten als residuen in een “reproduced correlation matrix”, maar niet in PC, alleen in PAF analyse. Ook komen er soms factoren naar boven, die aan de vraagvorm (bv de poling van de items) te wijten zijn. In SEM modellen (lisrel, stata) voor confirmatoire factoranalyse kun je deze effecten berekenen via een gecorreleerde errorterm, of ook door een extra factor te specificeren.
Raya		Voor het schatten van meetrelaties is aangegeven dat er het liefst gewerkt moet worden met een schaal van 3 - 4 indicatoren, om te voorkomen dat er meerdere latente variabelen zijn (multidimensionality -> invalid model). Echter, in het MTMM, wordt juist uitgegaan van meerdere latente variabelen, die ook onderling een relatie hebben, maar met aparte indicatoren. Als dmv van factoranalyse de schalen worden samengesteld, en er indicatoren zijn die lage factor loadings hebben (dus net buiten de 3-4 indicatoren vallen), maar wel van invloed zijn op de latente variabele, mogen die wel gebruikt worden in een MTMM model als indicator van een andere variabele, waar zij misschien wel hoger op loaden? HG: Volgens klassieke inzichten in MTMM is de ideale opzet 3 constructen (‘traits’) en drie indicatoren (‘methods’). Op die manier kun je methoden-effecten (systematische meetfouten) scheiden van de echte traitsscores. Deze regels zijn een beerje overdreven, en zijn geformuleerd voordat er SEM (lisrel) modellen bestonden. In SEM modellen kun je met minder uitgebreide designs ook systematische meetfouten opsporen, via gecorreleerde residuen, doordat je ook andere kenmerken (validatievariabelen) aan het model toevoegt. In een model met twee beroepen en twee indicatoren per beroep (kan zowel gaan over de metingen bij de responent, als de coderingen achteraf) kun je ook naar systematische fouten kijken, als het er bv. opleiding en inkomen aan toevoegt. Als je je beperkt tot alleen de betreffende traits en indicatoren, heb je aan zo’n 2*2 design niets, een factoranalyse van twee factoren en vier indicatoren (6 correlaties) zijn random meetfouten (de vier factorladingen) wel, maar de twee systematische meetfouten niet geidentificeerd.