Validering och Verifiering:
Vad är det och hur bör det utföras?
Kerstin Elvin
EQUALIS användarmöte 18 april 2013
Vad är det?????
Validering
• Engelskans
validate
göra giltigt,
bekräfta.
• ”Validering fastställer att
man mäter det man har för
avsikt att mäta”
• Tillverkarens utvärdering av
reagens / kit
Verifiering
• Latinets
verificare eller verus sant
• ”Verifiering bekräftar att
metoden uppför sig på
specificerat sätt”
• Laboratoriet undersöker
alltså om valideringen
stämmer
Validering
• In Europe it is the statutory responsibility of
the manufacturer to determine, describe and
verify the performance of the measuring
system (EU IVD Directive 98/79 {2})
Validering/Verifiering
• SWEDAC DOC 01:55 från 2011
• Kravreferenser
”Standarder”
– ISO/IEC 17025;
– ISO 15189;
5.4.1, 2, 4 och 5
5.5.1 och 2
Validering/Verifiering
• Metoden ska motsvara kliniska verksamheternas
krav
• Kvalmanualen
– Vilka är ansvariga
– Riktlinjer och rutiner
• Rapport alt. checklista m bilagor
– Arkiveras med primärdata
• Leverantörens validering ska finnas tillgängligt
• Protokoll skall vara godkända och signerade innan
metoden tas i bruk
Validering
Tillverkaren validerar
• Kit-bundna metoder och
metoder utvecklade för
speciellt instrument
ex ImmunoCap allergi
Tillverkaren/Laboratoriet
• Metod (vedertagen) som
anpassas till instrument
ex CCP, ELISA-robot
Laboratoriet
• In-house metod utifrån
publicerad vetenskaplig lit.
Lab validerar/verifierar
(väletablerad metod)
ex. ELISA gliadin
• In-house metod
Egenutvecklad
Laboratoriet validerar
ex. ELISA Anti-TNFa
Verifiering
• Precision
– Repeterbarhet (inomserie)
– Mellanliggande precision
(total precision)
• Mätosäkerhet uppskattas
– Täcka rel mätområde
minst 2 nivåer!
– Stabilitet
• Riktighet
– IRP
– EK
– Tre-lab
• Referensintervall
Cut-off
– Friska blodgivare
• Diagnostisk sensitivitet
och specificitet bör
verifieras (prediktivt värde)
– Jämförelsemetod
• Dataöverföring
Clinical and Laboratory Standards Institute
(EP15och EP5) (förut NCCLS)
• Precision
– Repeterbarhet
(Inomserie)
3 replikat x 5 =15
(helst 5 x 5 =25!
Khatami et al)
Minst 2 nivåer !
– Total precision (CV%)
• Minst 20 dagars analyser
2 aliquot för varje konc
och 2 analyser/dag
Prover sätts i olika
ordning
• Minst 30 dagar om endast
1 analys/dag
Measurement verification in the clinical laboratory:
Zahra Khatami 1, Robert Hill2, Catherine Sturgeon3, Edward
Kearney4, Peter Breadon5 Anders Kallner6
Repeterbarhet
• Minst två poolade
patientprov
• Ingen störande hemolys,
lipidemi eller annat enl
leverantör
• Förvarande enl leverantör
(helst kylförvarat)
Utförande
• 5 replikat x 5 dagar =25
• Analysis of variance
(ANOVA).
Clinical and Laboratory Standards Institute
(EP15och EP5) (förut NCCLS)
• Riktighet (Bias)
– Jämförelsemetod (EP15)
• Minst 20 prov inom det
kliniskt intressanta
mätområdet
• 20-200 vanligt
(E Theodorsson 2012)
– Referensmaterial
• CRM=IRP
• EK
• Preparation fr
tillverkaren
• Preparation tredje part
– Två koncentrationer
– Duplikat x 3-5
Measurement verification in the clinical laboratory:
Zahra Khatami 1, Robert Hill2, Catherine Sturgeon3, Edward Kearney4, Peter Breadon5
Anders Kallner6
Difference graph
2
Jämförelsematerial
>20 patientprov inom
relevant mätområde
jämförs
Diff Test - Reference
1
0
0
20
40
60
80
-1
-2
-3
-4
Mean of Test and Reference
Diff
+/- 1,96 s
Mean bias
Partition bias
Regr
Riktighet referensmaterial
•
•
•
•
Duplikat x 3-5 omgångar
Medelvärde och Standarddeviation
Estimera bias från förväntat värde
Evaluera signifikans av skillnader med
Student’s t-test
Klinisk betydelse
Med
Sjukdom
Utan
Sjukdom
Positivt test
Sant positiva
Falskt
positiva
Negativt test
Falskt
negativa
Sant negativa
Sensitivitet
Sant pos/
Tot sjukdom
Specificitet
Sant neg/
Tot Ej sjukdom
PPV = Sant pos/Tot pos
NPV = Sant neg /Tot neg
Exempel:
Anti BP-180-ak (IgG) och BP-230-ak (IgG) ELISA
verifiering
Orsak till validering/verifiering
Ansvar
• Införande av ny metod för
bestämning av antikroppar
mot BP 180 och BP 230 med
ELISA.
• BMA: Anna-Britta
Johansson
• Tekniskt ansvar: Ulf Sundin
och Anders Wannberg
• Medicinskt ansvar: Kerstin
Elvin
Validering/verifieringskrav
Tillverkarens data
Euroimmun tillhandahåller
kommersiella ELISA-baserade kit
för bestämning av antikroppar
mot BP 180 och BP 230.
Analyserna är validerade av
Euroimmun
• ≥20 RU/ml bedöms positiva.
• I sin validering rapporterar
Euroimmun
BP 180
Sensitivitet: 90%
Specificitet: 98%.
BP 230
Sensitivitet: 57%
Specificitet: 97%
Verifieringsplan
•
•
•
•
1. Cut–off nivå och specificitet för anti-BP 180
respektive anti-BP 230 skall verifieras genom analys
av 60 friska blodgivare av båda könen i åldern 40-70
år.
Krav: Cut-off skall överstiga 95:e percentilen för
respektive analys vilket ger en specificitet på >95%.
2. Den kvalitativa överensstämmelsen mellan IFL
BM och de nya ELISA-metoderna skall undersökas
genom analys av prov positiva med IFL; 21 st prov
positiva för IFL BM.
Krav: Överenstämmelsen d.v.s. relativa
sensitiviteten skall vara > 50% för respektive analys.
3. Patienter med annan blåsdermatos (pemfigus),
positiva för anti-Desmoglein 1 eller 3, skall vara
negativa för anti-BP180 och 230.
Krav: specificitet >95
4. Inom och mellanserievariation ska bedömas
genom analys av låg och hög IK 5 i 6replikat vid 5
tillfällen
Utförande
Resultat
Uppföljning
•
Andel negativa blodgivare för båda
analyserna var 59/60 = 98%
(specificitet 98%).
En cut-off på 20 RU/mL motsvarade
98:e percentilen för BP180 och 99:e
percentilen för BP 230.
1. Inom- och mellanserievariation
2. Mätosäkerhet
3. Riktighet
•
Relativ sensitivitet jämfört med IFL
BM var 71% för BP 180 och 81% för
BP 230
•
Samtliga patienter med annan
blåsdermatos (pemfigus, n=8) var
negativa för både BP 180 och BP 230
(specificitet 100%)
Ackreditering av metoden planeras
då vi fått tillräcklig erfarenhet och kan
bedöma variation, mätosäkerheten
och riktighet.
Konklusioner
• I vår verifiering har Euroimmuns kit för analys av antikroppar
mot BP 180 och BP 230 en hög specificitet (>95%) för bullös
pemfigoid, och relativ sensitivitet ca 70-80% vid analys av BM
positiva sera (IFL).
BP 180 visade lägre relativ sensitivitet än tillverkarens
sensitivitetsdata och BP230 högre än tillverkarens validering.
Detta kan bero på att provurvalet skedde på basen av positiva
IFL resultat.
Verifieringresultaten betraktas som tillfredställande.
• Tillverkarens cut-off på 20 RU/mL kan användas.
• Analyserna implementerade i rutindrift fr.om. 100219
Inom- och mellanserievariation
• Totalt sträva
efter 25
mätningar
5 replikat
5 analystillfällen
Riktighet
– IRP
• CDC, WHO, NIBSC ex ANA specificiteter
• Avsaknad – tidigare krav verifiering av IK 2 ackr lab
– Jämförelsemetod
– EK
• EQUALIS
• Nequas
• Instand
• Tre-labjämförelse
ex ECP, allergen, Anti-C1q
Mätosäkerhet
Variationskoefficienten: CV%
CV%= standardavvikelse x 100
medelvärde
Uttrycker standardavvikelsen som procent av medelvärdet
dvs hur många procent i genomsnitt avviker
observationerna från medelvärdet.
Över längre tid, olika BMA, temperaturer och batcher
Helst minst ett år!
Ackrediteringens omfång
Tack!!!
