8.12 Holdout-sets, Blindering, Nulcontroles en Cross-pipeline-replicatie: hoe EFT voorkomt dat zij alleen verhalen vertelt

I. Kernconclusie

Deze paragraaf voegt geen nieuwe oordeelslijn op objectniveau toe. Wat zij toevoegt, is een kouder, harder en minder aangenaam stel auditregels. Zolang EFT de roodverschuivingsresiduen, sluiting op de gedeelde basiskaart, structurele stratificatie, nabij-horizonfijnstructuur, drempels van grensapparaten en kwantumvangrails uit 8.4 tot en met 8.11 als “ondersteuning” wil opschrijven, moet zij eerst vier gezamenlijke vangrails accepteren: holdout-sets mogen niet worden gebruikt om criteria terug te draaien, blindering mag geen blik op het antwoord toelaten, nulcontroles mogen niet samen met het hoofdresultaat significant zijn, en cross-pipeline-replicatie mag de waarheid niet door één enkele route laten monopoliseren. Zonder deze vier methodologische poorten kan deel 8, hoe spectaculair ook, nog steeds slechts een narratief met hoge verklaringskracht zijn. Pas voorbij deze vier methodologische poorten begint het op een kandidaat-theorie te lijken die zich wil laten toetsen.

II. Na het objectniveau moet er nog een methodologische hoofdpoort bij

De voorgaande paragrafen 8.4 tot en met 8.11 hebben de objectvelden waarop EFT het liefst wil winnen, en waarop zij ook het gemakkelijkst geraakt kan worden, al op tafel gelegd: de dispersievrije gemeenschappelijke term over sondes heen, de TPR-hoofdas en PER-residuen, de gedeelde basiskaart voor rotatie, lenswerking en samensmelting, structuurgenese, het kosmische negatief en omgevingstomografie, nabij-horizon- en grens-Onderscheidende signaturen, grensapparaten en sterkveldvacuüm, plus kwantumvoortplanting en de niet-communicatievangrail. Maar alleen opschrijven “wat we meten”, “welk resultaat als ondersteuning telt” en “welk resultaat structurele schade toebrengt” is nog niet genoeg. Juist omdat de taal van EFT zelf veel verklaringskracht heeft, is het grootste risico voor een sterk verklarende theorie niet dat er te weinig gevallen zijn, maar dat er bij te veel gevallen achteraf altijd wel een verhaal valt te maken.

Wat de voorgaande tekst nog mist, is een algemene methodologische hoofdpoort: elk resultaat dat punten wil opleveren, moet eerst laten zien dat het onder dezelfde methodologische vangrails is gewonnen. Pas wanneer die hoofdpoort is opgeschreven, heeft de latere eindbalans het recht om onderscheid te maken tussen “directe ondersteuning”, “aanscherping” en “structurele schade”. Anders glijdt zij te gemakkelijk af tot een erelijst van achteraf gekozen voorbeelden.

III. Deze paragraaf voegt geen experimentele familie toe, maar auditdiscipline

Deze paragraaf mag geen statistiekhandboek worden. Dat zou deel 8 plotseling van zijn warmte beroven en bovendien afwijken van wat hier werkelijk moet gebeuren. 8.12 is er niet om de lezer uit te leggen wat trainingssets, testsets, significantie, Bayes-factoren of modelgemiddelden zijn. Zij doet iets onaangenamers: voorkomen dat EFT zichzelf voor de gek houdt.

Daarom zijn de vier regels van 8.12 geen losse technische handelingen, maar variaties op één centrale discipline: criteria vooraf bevriezen; na afloop alleen boeken, niet de regels aanpassen. Hoe de steekproef wordt gekozen, welke objecten in de hoofdsteekproef zitten, welke frequentiebanden of roodverschuivingslagen als holdout dienen, welke omgevingsindicatoren in de hoofdanalyse meegaan, welke uitsluitingsregels geldig zijn en welke scoreregels als hit tellen, moet allemaal zijn vastgelegd voordat de hoofdresultaten worden bekeken. Zonder die stap worden holdout-sets stilletjes terug de training ingetrokken, verandert blindering in theater, kiest men de zwakste nulcontrole, en wordt cross-pipeline-replicatie slechts “dezelfde bias twee keer draaien”.

Even belangrijk is dat de rollen uit elkaar worden gehaald. Veel experimenten en observaties in deel 8 lenen zich van nature voor een gemeenschappelijk skelet: een feedforwardgroep publiceert alleen op basis van omgeving, geometrie en al bevroren proxy’s een voorspellingskaart; een meetgroep haalt de uitlezingen op zonder de inhoud van die kaart te kennen; en een arbitragegroep legt voorspelling en resultaat pas helemaal aan het eind naast elkaar volgens een vooraf geregistreerde scorekaart. Niet elke lijn hoeft dit drie-groepenschema mechanisch te kopiëren, maar het skelet herinnert aan het belangrijkste punt van deze paragraaf: de voorspelling moet vóór de mooie figuur komen, en de regel vóór het fraaie verhaal.

IV. Eerste vangrail: holdout-sets - resultaten mogen de criteria niet terugroepen

Een holdout-set is in 8.12 geen vriendelijke “check op generaliseerbaarheid”, maar een mes dat speciaal bedoeld is om terugregeling te blokkeren. De fout die EFT het gemakkelijkst kan maken, is niet dat zij helemaal geen signaal ziet. Het risico is eerder dat zij na een eerste richting blijft sleutelen aan steekproeven, omgevingsvakken, drempels, achtergronddefinities en fitfamilies totdat die richting is uitgegroeid tot een mooie figuur. De bestaansreden van een holdout-set is precies om die uitweg af te sluiten: je mag in het trainingsdeel je criteria vastleggen, maar je mag het achtergehouden deel niet terughalen om te repareren wat je al hebt beweerd.

In het kosmologische blok kan een holdout-set bestaan uit een roodverschuivingsvenster, een brontype, een hemelgebied, een surveyversie of zelfs een hele onafhankelijke afstandsketen. In het blok van de extreme kosmos kan zij bestaan uit een reeks objecten, epochs, azimutale segmenten, samensmeltende clusters of omgevingsklassen. In het laboratorium- en kwantumblok kan zij bestaan uit een parametervenster, een materiaalklasse, een apparaat, of een groep scanstanden rond een drempel waarvan het label nog niet is vrijgegeven. De vorm mag verschillen, maar de discipline is één: holdout valideert alleen, zij kalibreert niet achteraf terug.

Wat EFT echt punten oplevert, is niet dat een trend die men al in de trainingsset heeft gezien in de holdout nog “een beetje lijkt”, maar dat richting niet omkeert, rangorde niet uiteenvalt en criteria niet worden aangepast. Als de gemeenschappelijke term in 8.4 werkelijk een dispersievrije gemeenschappelijke grondtoon is, dan moet hij in een achtergehouden frequentieband, gebeurtenisvenster of stationsgroep minstens dezelfde richting en hetzelfde venster bewaren. Als de TPR-hoofdas in 8.5 werkelijk de grondtoon kan opnemen, dan mag de algemene α bij een achtergehouden brontype of hemelgebied niet onmiddellijk worden herschreven. Als de gedeelde basiskaart van 8.6 werkelijk geen collage van losse gevallen is, dan mag een bevroren basiskaart bij achtergehouden objecten niet meteen om een nieuwe patchset vragen. Zodra een trend de holdout binnenkomt en van richting verandert, de ordening verliest of opnieuw steekproefselectie nodig heeft, is zij geen hoofdconclusie meer maar slechts een aanwijzing.

Er moet nog één zin extra hard worden opgeschreven: een holdout-set mag niet alleen bestaan uit “het deel dat het gemakkelijkst door de poort komt”. Als een theorie de schoonste, bekendste en meest aantrekkelijke steekproef tot het laatst bewaart, maar risicovolle hemelgebieden, lastig te kalibreren banden, complexe objecten en parametervensters rond drempels al in de training eindeloos heeft uitgeprobeerd, dan is de holdout al besmet. Een echte holdout moet juist bewust de eenheden bevatten die de theorie het hardst kunnen tegenspreken. Het doel van deel 8 is immers niet om het winstpercentage hoog te schrijven, maar om de win- en verliesvoorwaarden hard te maken.

V. Tweede vangrail: blindering - laat de voorspelling spreken vóór de mooie figuur

De waarde van blindering ligt niet in het formele etiket “wetenschappelijker”, maar in het feit dat zij de theorie dwingt haar werkelijk riskante deel vooraf uit te spreken. EFT heeft te veel plekken waar men na het zien van een figuur gemakkelijk een verklaring kan toevoegen: de gemeenschappelijke term lijkt omgevingsversterking, dus men zegt dat omgevingsversterking altijd al werd verwacht; een bepaalde bias lijkt alleen sterker in knoopomgevingen, dus men zegt dat het skelet nu eenmaal zo hoort te werken; een platform toont na de drempel een plateau, dus men zegt dat dit precies op drempeldiscretie lijkt. Als zulke zinnen niet vóór het bekijken van het resultaat zijn opgeschreven, zijn het geen voorspellingen, maar retoriek achteraf.

De blindering die 8.12 vraagt, is daarom niet simpelweg bestandsnamen afdekken of steekproeflabels door elkaar halen. Voor EFT is vooral een gestructureerde feedforward-meet-arbitrageblindering cruciaal. In de feedforwardfase mag de theorie alleen op basis van bevroren omgevingsindicatoren, geometrische informatie, materiaalparameters of historische grootboeken een voorspellingskaart schrijven: welke klasse sterker of zwakker zou moeten zijn, of de verwachte richting gelijk of tegengesteld is, of het resultaat dispersievrij moet blijven, en of het binnen hetzelfde venster zichtbaar moet worden. In de meetfase mag degene die het signaal extraheert niet weten wat op die kaart staat. In de arbitragefase telt een derde partij pas volgens bevroren regels hits, verkeerde richtingen en nulslagen. Alleen dan zet EFT werkelijk haar nek op het spel.

Blindering kan er in verschillende blokken heel verschillend uitzien. In 8.4 en 8.5 kunnen omgevingsstratificatie en brontypelabels worden geblindeerd. In 8.6 tot en met 8.9 kunnen dat het skelet-richtingsveld, de samensmeltingsfase, het niveau van koude plekken, nabij-horizon-oriëntatiesjablonen of objectklassen zijn. In 8.10 en 8.11 liggen materiaalbatch, drempelstand, aandrijfvolgorde, klasse van linkzuiverheid en zelfs de vraag of iets tot een holdout-parametervenster behoort meer voor de hand. Het gaat niet om een uniforme vorm, maar om één uniforme discipline: zeg eerst wat er moet gebeuren, en kijk daarna of het gebeurd is; niet eerst kijken wat er verschijnt en daarna zeggen dat je altijd al wist dat het zo zou zijn.

Blindering heeft nog een vaak onderschatte waarde: zij dwingt EFT om feedforward-voorspelbaarheid en verklaringskracht achteraf uit elkaar te houden. Op papier lijken beide op “het klopte”, maar hun wetenschappelijke status is totaal verschillend. Het eerste is een riskante inzet vóór het resultaat verschijnt; het tweede is het zoeken naar syntaxis waarin het resultaat achteraf past. Wat 8.12 wil beschermen is precies het eerste, want alleen dat kan de winkans van een theorie werkelijk veranderen.

VI. Derde vangrail: nulcontroles - artefacten niet verwarren met nieuwe fysica

Veel oordeelslijnen van EFT houden van structuren die “zwak maar gedisciplineerd” zijn: een dispersievrije gemeenschappelijke term, omgevingsmonotonie, co-lokale schaling, plateaus na drempels, feedforward-hits en een gedeelde basiskaart over sondes heen. Juist omdat zulke signalen vaak geen overweldigend grote totalen zijn, maar eerder rangordes, tekens, gemeenschappelijke vensters, residuen en stratificaties, zijn zij ook bijzonder kwetsbaar voor stille vervalsing door systematiek, selectiefuncties, kalibratiedrift, template-bias en gewoonten in de analyseketen. De rol van nulcontroles is precies om voor zulke artefacten een rechtbank op te zetten.

Een echt harde nulcontrole moet minstens twee typen omvatten.

Nulcontroles zijn geen bijrol en horen niet alleen in een appendix voorbij te schuiven. Voor 8.4 geldt: als tijdomkering, frequentiebandpermutatie en dispersieve controles even goed een “gemeenschappelijke term met nulvertraging” produceren, blijft het hoofdresultaat niet staan. Voor 8.6 en 8.7 geldt: als willekeurig geroteerde skeletten of verstoorde basiskaarten dezelfde co-lineariteit en gedeelde basiskaart opleveren, lijkt het resultaat eerder op algoritmische bias. Voor 8.9 geldt: als nabij-horizonfijnstructuur onder een andere beeldvormingsdefinitie of templaterichting even significant blijft, voedt de Onderscheidende signatuur zich vooral met de verwerkingsketen. Voor 8.10 en 8.11 geldt: als vervangingsconfiguraties, valse belastingen, lege caviteiten, verbroken klassieke grootboekvergelijking of pseudo-drempelcontroles hetzelfde “nieuwe signaal” geven, draait de zogenoemde nieuwe fysica slechts rond in het instrument. Een hoofdresultaat dat zijn specificiteit tegenover nulcontroles niet kan behouden, heeft geen recht om tot ondersteuning te worden verheven.

Daarnaast zijn naast nulcontroles ook positieve controles nodig. De procedure moet dus niet alleen correct falen wanneer er geen EFT-structuur aanwezig is, maar ook correct slagen wanneer een bekende structuur wordt geïnjecteerd of bekende fysica hoort te verschijnen. Als een pipeline noch artefacten kan breken, noch bekende signalen kan terugvinden, heeft haar hoofdresultaat geen enkele scorebevoegdheid. De nulcontroles van deel 8 zijn daarom geen puur sloopwerk. Zij vergrendelen tegelijk het principe: slagen wanneer slagen hoort, falen wanneer falen hoort.

VII. Vierde vangrail: cross-pipeline-replicatie - laat één route de waarheid niet monopoliseren

Een van de gevaarlijkste overwinningen in deel 8 is de overwinning die verdwijnt zodra de route van dataverwerking verandert. Veel grootheden waar EFT om geeft, hangen immers af van complexe extractieketens: hoe achtergronden worden afgetrokken, hoe skeletten worden gewonnen, hoe lenswerking wordt geïnverteerd, hoe ringbeelden worden gereconstrueerd, hoe drempels worden herkend, hoe ruwe stromen worden getimed, en hoe ruis en postselectie in de grootboeken worden verdeeld. Zodra een van deze stappen sterk leunt op de standaardgewoonte van één team, kan een mooi resultaat uit één pipeline nooit automatisch worden opgewaardeerd tot fysische conclusie.

Cross-pipeline-replicatie betekent in 8.12 daarom beslist niet dat dezelfde code met een andere random seed nog twee keer wordt gedraaid. Wat zij eist, is echte onafhankelijkheid: onafhankelijke preprocessingketens, onafhankelijke achtergrondmodellen, onafhankelijke skelet- of beeldreconstructiemethoden, onafhankelijke fitfamilies en onafhankelijke kalibratieroutes, liefst aangevuld met onafhankelijke teams, instellingen en hardwareversies. Voor astronomische data betekent dit dat verschillende surveyproducten, verschillende beeldvormings- of inversiepipelines en verschillende macromodelverzamelingen dezelfde richting moeten geven. Voor laboratoriumdata betekent het dat andere apparaten, andere besturingssoftware, andere dataverzameling en andere naverwerkingsketens het resultaat niet willekeurig van richting mogen laten veranderen.

EFT hoeft hier niet te eisen dat alle pipelines numeriek precies hetzelfde antwoord geven. Wat zij werkelijk nodig heeft, is eenvoudiger en moeilijker te vervalsen: hetzelfde hoofdteken, dezelfde hoofdrangorde en dezelfde hoofdstructuur. Als een signaal alleen overeind blijft bij één soort achtergrondaftrek, één reconstructieregularisatie, één templatebasis of één postselectievenster, en bij andere redelijke pipelines uiteenvalt, dan moet deel 8 niet eerlijkheidshalve schrijven “omstreden maar veelbelovend”, maar “voorlopig slechts een aanwijzing die aan één verwerkingsketen hangt”.

Uiteindelijk moet cross-pipeline-replicatie ook landen in openbare grootboeken en herberekenbaarheid. Niet elk team hoeft alle tussenbestanden in één keer zonder voorbehoud vrij te geven, maar externe controleurs moeten ten minste de sleutelbeslissingen kunnen zien: welke steekproeven zijn uitgesloten, welke parameters zijn bevroren, welke holdout-eenheden zijn niet aangeraakt, welke nulcontroles zijn mislukt en welke onafhankelijke pipelines zijn het niet eens. Als deze grootboeken alleen in handen van het oorspronkelijke team blijven, kan de buitenwereld moeilijk onderscheiden of zij naar een complex verschijnsel kijkt of naar een complex proces.

VIII. Waarom de vier methodologische poorten parallel moeten werken en geen afzonderlijke rituelen mogen worden

Alleen een holdout gebruiken zonder blindering laat ruimte om eerst een trend te zien en daarna zorgvuldig een “redelijke” holdout te kiezen. Alleen blinderen zonder nulcontroles kan betekenen dat niemand naar het antwoord heeft gekeken, maar dat een systematisch artefact nog steeds als verrassing wordt behandeld. Alleen nulcontroles zonder cross-pipeline-replicatie kan ertoe leiden dat één analyseketen in zowel hoofdresultaat als nulcontrole dezelfde bias meedraagt. Alleen cross-pipeline-replicatie zonder holdout maakt het heel goed mogelijk dat meerdere teams samen de trainingsset zo lang overfitten dat zij bijna orakelachtig lijkt. De vier vangrails zijn geen vier decorstukken, maar één keten.

Daarom moet 8.12 ook expliciet een vaak voorkomende compensatielogica weigeren: “we hadden geen holdout, maar we hebben wel geblindeerd; de nulcontroles waren matig, maar de cross-pipeline-overeenstemming was mooi; onafhankelijke replicatie ontbreekt nog, maar de trainingsset ziet er uitzonderlijk goed uit.” Zo’n puntentelling werkt misschien in propaganda, maar is in een audit een overtreding. Deel 8 is er niet om “algemene indrukspunten” te verzamelen. Het gaat om de vraag of de theorie onder de meest ongunstige regels nog kan blijven staan. Als een cruciale poort niet is gehaald, mag de mooie prestatie bij een andere poort dat niet compenseren.

IX. Hoe deze vier vangrails afdalen naar 8.4 tot en met 8.11

Voor 8.4 en 8.5 is de kerntaak van de vier vangrails te voorkomen dat de “gemeenschappelijke term” en de “TPR/PER-verrekening” achteraf aan elkaar worden genaaid. De holdout-set bestaat hier bij voorkeur uit achtergehouden brontypen, hemelgebieden, frequentiebanden en gebeurtenisvensters. Blindering vereist dat de omgevingsvoorspellingskaart en de regels voor de verdeling tussen hoofdgrootheid en residu vooraf worden bevroren. Nulcontroles moeten in de eerste plaats dispersiewet-vervangers, tijdomkering, labelpermutatie en stationpermutatie omvatten. Cross-pipeline-replicatie moet minstens de roodverschuivingsketen, de tijdvertragingketen, een onafhankelijke afstandsketen en de lensmodelleringsketen bestrijken. Zonder al deze vangrails glijden 8.4 en 8.5 gemakkelijk terug naar “deze figuur lijkt er ook op, en die figuur valt ook wel te vertellen”.

Voor 8.6 tot en met 8.9 is de taak van de vier vangrails te voorkomen dat “gedeelde basiskaart, skeletoriëntatie, nabij-horizonfijnstructuur en grens-Onderscheidende signaturen” vervallen tot beeldhermeneutiek. Holdout-sets moeten hier vaker bestaan uit achtergehouden objecten, epochs, roodverschuivingslagen, samensmeltingsfasen en zichtlijn-eenheden. Blindering kan worden gelegd op skelet-richtingsvelden, omgevingsklassen, oriëntatiesjablonen, objectklassen en merkvoorspellingskaarten. Nulcontroles moeten extra nadruk leggen op templaterotatie, willekeurige skeletten, willekeurige maskers, off-axis controles, valse hot spots en cold spots, translatie en resampling. Cross-pipeline-replicatie vereist dat verschillende skeletalgoritmen, verschillende massareconstructies, verschillende beeldvormingsschema’s en verschillende tijdvertragingsextracties tegelijk tot dezelfde richting komen.

Voor 8.10 en 8.11 mogen de vier vangrails nog minder los worden gelaten. Het laboratoriumblok is immers het gevoeligst voor de pseudo-overwinning “het signaal is mooi, maar eigenlijk bestaat het alleen in dit apparaat en dit verwerkingsscript”. De holdout-set kan hier een heel parametervenster, een hele materiaalklasse, een heel apparaat of een hele batch chips zijn. Blindering kan worden gelegd op drempelstand, materiaallabel, aandrijfvolgorde en klasse van linkzuiverheid. Nulcontroles moeten vervangingsconfiguraties, lege caviteiten, valse belastingen, omgekeerde polariteit, verbroken-ketencontroles, tijdmisaanpassing en injectie-terugwinning omvatten. Cross-pipeline-replicatie moet bij voorkeur doorgroeien naar replicatie over instellingen, hardware en besturingssoftware heen, vooral met dubbele openheid van ruwe grootboeken en postselectiegrootboeken. Alleen zo voorkomt deel 8 dat technische toevalligheid als nieuwe bevoegdheid van EFT wordt opgeschreven.

X. Welk methodologisch resultaat ondersteunt EFT werkelijk?

Vanuit 8.12 gezien is echte ondersteuning voor EFT niet dat een bepaald objecttype “meer op EFT lijkt”, maar dat EFT, nadat zij de meest ongunstige regels heeft aanvaard, nog steeds op meerdere oordeelslijnen structurele hits wint. Concreet moeten er minstens een paar dingen tegelijk gebeuren:

Als deze voorwaarden niet op één geïsoleerde fijne lijn gelden, maar tegelijk over meerdere families uit 8.4 tot en met 8.11 heen standhouden, dan raakt EFT voor het eerst echt los van de gevaarlijkste kritiek: dat zij een theorie is die vooral verhalen goed kan vertellen. Dat betekent namelijk dat zij niet alleen objecten kan verklaren, maar ook bereid is haar verklarend gezag door methodologie te laten comprimeren. Belangrijker nog: na die compressie blijft er nog iets over.

Nog één punt moet hard worden opgeschreven: methodologische ondersteuning heeft zelf ook niveaus. De zwakste laag is alleen dat een resultaat niet voor de vangrails is gevallen. Een sterkere laag is dat het voor de vangrails niet alleen overeind bleef, maar ook een viervoudige sluiting liet zien: feedforward-hit, robuuste holdout, scheidbare nulcontroles en dezelfde richting over teams heen. Deel 8 heeft niet de eerste laag nodig, maar de tweede. De eerste zegt alleen dat EFT voorlopig niet op een procedurele fout is betrapt; de tweede zegt dat zij procedureel krediet begint te verdienen.

XI. Welke resultaten zijn aanscherping, maar nog geen onmiddellijke uitsluiting?

Niet elke methodologische moeilijkheid stuurt EFT meteen terug naar de schrijftafel. Sommige resultaten zijn eerder aanscherping dan afkeuring.

XII. Welke resultaten brengen directe structurele schade toe?

Er bestaat nog een vaak onderschatte vorm van methodologische structurele schade: de regels worden steeds pas na het resultaat opgewaardeerd. Vandaag zegt men dat de richting telt, morgen de rangorde, overmorgen alleen het subsample met sterke omgeving; vandaag zijn twee pipelines genoeg, morgen wordt vanwege onenigheid alleen één daarvan vertrouwd; vandaag is het holdout-hemelgebied, morgen wordt dat door een omkering vervangen door een holdout-frequentieband. Zolang de regels achter de resultaten aan rennen, moet 8.12 dit als zware schade beoordelen, want dat betekent dat EFT nog niet heeft geleerd zichzelf aan vaste regels over te dragen.

XIII. In welke situaties kan vandaag nog niet worden geoordeeld?

Er is nog een redelijke maar gevaarlijke vorm van “nog niet beoordeeld”: het object is te zeldzaam, het platform te duur, of de replicatiecyclus te lang. Sommige nabij-horizonfijnstructuren, extreme samensmeltingen of dure kwantumlinks kunnen nu eenmaal niet zo snel als gewone experimenten door meerdere instellingen worden herhaald. In dat geval mag 8.12 voorlopig “onvoldoende bewijsdichtheid” toestaan, maar nooit de vervanging daarvan door “dus voorlopig als ondersteuning boeken”. In de grammatica van deel 8 mogen kosten en zeldzaamheid het oordeel alleen vertragen, niet de winkans verhogen.

XIV. Verwar “kunnen uitleggen” niet met “een audit doorstaan”: de belangrijkste wending van deze paragraaf

Wat deze paragraaf toevoegt, zijn niet enkele extra technische eisen, maar een verschuiving van de houding van het hele deel: van uitleg naar onderwerping aan toetsing. Uitleg is er goed in voor elk nieuw object een zin te vinden waarin het kan worden ondergebracht. Toetsing doet het omgekeerde: zij bindt zichzelf eerst vast, en vraagt dan pas wat er nog overblijft. Voor een theorie als EFT, die de basiskaart wil herschrijven, is deze wending extra belangrijk. Hoe beter zij kan spreken, hoe meer zij moet leren eerst te zwijgen; hoe meer zij kan verklaren, hoe eerder zij de meest ongunstige regels moet accepteren.

Dit is de kern die uit deze paragraaf moet blijven hangen: het gevaar van falsificatie ligt niet in de kracht van de tegenstander, maar in de bereidheid de eigen theorie onder de meest ongunstige regels te toetsen. Als EFT dat weigert, blijft zij een theorie die verhalen vertelt, ook wanneer anderen haar niet onmiddellijk kunnen weerleggen. Omgekeerd weegt zelfs een gedeeltelijke overwinning onder zulke regels zwaarder dan een heel deel vol fraaie verklaringen zonder methodologische vangrails.

XV. Samenvatting van deze paragraaf

Of deel 8 kan standhouden, hangt niet alleen af van wat het waarneemt, maar vooral van de vraag of EFT bereid is zichzelf bij de vier methodologische poorten — Holdout-sets, Blindering, Nulcontroles en Cross-pipeline-replicatie — eerst in het nadeel te plaatsen. Alleen wanneer EFT deze oncomfortabele regels vooraf aanvaardt, kan latere ondersteuning meer zijn dan de echo van haar eigen verhaal.