Dit kennisartikel legt uit hoe auteurs gefabriceerde referenties in hun werk kunnen voorkomen, en hoe docenten en begeleiders referentielijsten van hun studenten kunnen checken.

Spookreferenties (referenties naar niet-bestaande bronnen, gegenereerd door AI) komen steeds vaker voor, zowel in BSc- en MSc-scripties als in wetenschappelijke publicaties zoals peer-reviewed tijdschriftartikelen en proefschriften. Zie bijvoorbeeld dit artikel: Fabricated citations: an audit across 2·5 million biomedical papers - The Lancet.

Valse of verzonnen referenties worden beschouwd als academische fraude en kunnen ernstige gevolgen hebben voor studenten, promovendi en medewerkers. Ze ondermijnen ook de integriteit van de wetenschappelijke literatuur wanneer deze onjuiste verwijzingen door anderen worden aangehaald en hun weg vinden naar wetenschappelijke publicaties.

Voor auteurs

Lees je bron en citeer deze correct

Het lijkt misschien vanzelfsprekend, maar de eerste stap om onjuiste of gefabriceerde referenties te voorkomen is eenvoudig: gebruik geen referenties die je niet zelf hebt gelezen en geverifieerd. Een bron citeren betekent altijd dat je deze hebt gelezen, begrepen en geïnternaliseerd. Vervolgens kun je je bron pas gebruiken om je eigen onderzoek of argument te ondersteunen.

Doe altijd het volgende voordat je een bron citeert:

• Zoek de volledige tekst op. Als je deze niet kunt vinden, kan de Library je hiermee helpen; zie Databases and collections.
• Lees de publicatie (of in elk geval het voor jou relevante deel).
• Verifieer of de publicatie inderdaad ondersteunt wat je wilt zeggen.

Deze stappen voorkomen dat je niet-bestaande bronnen gebruikt (bijvoorbeeld omdat je ze hebt gevonden in een resultaatlijst van een AI-tool zoals ChatGPT of Claude, of in een foutieve referentielijst van een ander gepubliceerd artikel).

Bij het maken van je referentielijst en het afronden van je manuscript adviseert WUR Library het volgende:

• Gebruik referentie management software, maar onthoud: "garbage in = garbage out". Importeer je referenties liefst direct uit betrouwbare bronnen. Als je metadata handmatig moet invoeren, doe dat dan alleen voor bronnen waarvan je weet dat ze bestaan. Je referentie management software controleert niet of een referentie echt is of niet.
• Als je AI gebruikt om de grammatica en structuur in je tekst te verbeteren, zorg er dan voor dat je de referentielijst bij die controle uitsluit. GenAI staat erom bekend ook onderdelen uit je referentielijst te veranderen, zoals titels, auteurs, DOI, enz. Geef in de prompt aan dat er geen in-tekstcitaties mogen worden aangepast en controleer of dit inderdaad ook niet gebeurt.
• Als auteur moet je je referentielijst altijd zorgvuldig controleren op fouten of onjuistheden voordat je je werk indient bij je begeleider,  tijdschrift of docent. Dit zorgt ervoor dat de bronnen die je hebt gebruikt nauwkeurig zijn opgenomen in je referentielijst en dat je geen vervalste bronnen publiceert.

Voor docenten en begeleiders

Het herkennen van spookreferenties

Je kunt twee dingen controleren bij het doornemen van een referentielijst:

1. Bestaat de bron?
2. Ondersteunt de bron de bewering die wordt gedaan?

In dit artikel behandelen we alleen het eerste punt: of de bron bestaat of niet.

Handmatig referenties controleren

Je kunt natuurlijk de referentielijst handmatig controleren. We raden sterk aan om je studenten of promovendi te vragen de DOI in hun referentielijsten op te nemen, of de URL van de bron als er geen DOI beschikbaar is.

Je kunt vervolgens de referentielijst doornemen, elke link openen en de verstrekte informatie vergelijken met de daadwerkelijke informatie.

Als de DOI niet opent of de URL niet werkt, kun je handmatig zoeken naar de bron in Google Scholar of Scopus, met de titel, de auteur of de naam van het tijdschrift. Dit is een betrouwbare manier om een referentie te verifiëren, maar wel tijdrovend.

Controle door Turnitin

Turnitin markeert standaard de volledige referentielijst van een manuscript alsof het geplagieerde tekst is. Turnitin zoekt naar tekstgelijkenis, dus als een referentie al in een ander werk in een vergelijkbare stijl is opgenomen, zal het die referentie als plagiaat markeren. Je kunt deze functie gebruiken om referentielijsten te controleren.

Je kunt de resultaten van de plagiaatcontrole bekijken in Turnitin. Hoewel Turnitin niet automatisch kan verifiëren of een referentie daadwerkelijk bestaat, kunnen de resultaten je helpen om mogelijk verdachte of vervalste referenties te identificeren die verder onderzoek vereisen.

• Als de referentie volledig in één kleur is gemarkeerd, is het waarschijnlijk dat deze referentie elders is gebruikt. Dit betekent niet dat het een correcte, bestaande of niet-gefabriceerde verwijzing is. Dit zou nog steeds het geval kunnen zijn, hoewel de kans klein is. Een valse, verzonnen of onjuiste verwijzing kan door Turnitin worden gemarkeerd als deze wordt geciteerd in een referentielijst uit een gepubliceerd wetenschappelijk artikel.
• Als de referentie in meer dan één kleur is gemarkeerd, gedeeltelijk gehighlight of helemaal niet gemarkeerd is, kan het een gefabriceerde referentie zijn. Maar nogmaals, je zult dit handmatig moeten controleren, want het kan verwijzen naar grijze literatuur, een boekhoofdstuk, iets heel nieuws, iets dat in een andere taal dan het Engels is gepubliceerd, iets dat simpelweg niet in de Turnitin-database staat, enz.

Een Turnitin-match bewijst alleen dat de tekst van de referentie voorkomt in Turnitins vergelijkingscorpus. Het bewijst niet dat de referentie bestaat. Het ontbreken van een match bewijst alleen dat de referentie niet beschikbaar is in Turnitins vergelijkingscorpus. De bron kan echter nog steeds bestaan.

Tools om automatisch referenties te checken

Verschillende tools kunnen referentielijsten automatisch controleren. WUR Library heeft geen aanbevelingen voor een specifiek hulpmiddel. We zijn momenteel bezig met het checken van verschillende tools en zullen dit artikel bijwerken zodra we concreter advies hebben.

Hieronder  noemen we drie gratis en open-source tools die je kunt gebruiken om nepreferenties te controleren. Ze lijken goed te werken, maar we kunnen de resultaten (vals-positief of vals-negatief) niet garanderen. We verwachten ook slechte resultaten als referentielijsten niet goed zijn opgemaakt. Let op: upload nooit de volledige tekst van het manuscript naar de tool. Zelfs wanneer de tool lokaal staat, kan er toch informatie naar de toolprovider worden gestuurd, en is het niet altijd duidelijk welke data wordt gedeeld. Upload daarom alleen de referentielijst zelf.

• Hallucinator; een tool om mogelijk gehallucineerde of verzonnen referenties in academische PDF-artikelen te detecteren. Vereist voorkennis van programmeren.
• Paper Reference Checker is makkelijker te gebruiken. Hiermee kun je snel een enkele referentie controleren of een batchcontrole uitvoeren.
• UB-Mannheim/check-fake-references: Dit is een Python-script ontwikkeld door de bibliotheek van de Universiteit van Mannheim en wordt geleverd met uitgebreide documentatie.

Voor al deze tools geldt altijd het volgende: als de tool een bron niet kan verifiëren, moet je een handmatige controle uitvoeren. Bronnen die geen DOI hebben, zullen ook handmatig gecontroleerd moeten worden. 

Wanneer je een referentie niet kunt verifiëren

Wanneer een bron niet kan worden geverifieerd, kan het ofwel een verzonnen bron zijn of een moeilijk te vinden bron.

De eerste stap is om de student/auteur van het werk te vragen om de details van de bron te geven. Je kunt ook de informatiespecialisten van de bibliotheek vragen om hulp bij het vinden van de bron.

Als je denkt dat je geconfronteerd wordt met een verzonnen referentie in het werk van een BSc- of MSc-student, moet je de richtlijnen van de Examencommissie volgen. Zie dit kennisartikel voor meer informatie. Voor WU dissertaties volg je deze regels en richtlijnen.

Meer informatie en ondersteuning

PhD's en postdocs zijn welkom bij de cursus Searching & Organising Literature en de cursus Scientific Publishing. BSc- en MSc-studenten kunnen deelnemen aan de gratis workshops over Citeren en refereren. Je kunt ook contact opnemen met de Library als je hulp nodig hebt bij het vinden van een moeilijk te vinden bron. Het Copyright Information Point kan je helpen met vragen over plagiaat.