Maximizarea acurateței învățării automate cu adnotare și etichetare video:
Un ghid cuprinzător
Descărcați cartea electronică
Imaginea spune o mie de cuvinte este o vorbă destul de comună pe care am auzit-o cu toții. Acum, dacă o imagine ar putea spune mai mult decât o mie de cuvinte, imaginați-vă ce ar putea spune un videoclip? Un milion de lucruri, poate. Unul dintre subdomeniile revoluționare ale inteligenței artificiale este învățarea pe computer. Niciuna dintre aplicațiile inovatoare care ne-au fost promise, cum ar fi mașinile fără șofer sau casele inteligente de vânzare cu amănuntul, nu este posibilă fără adnotare video.
Inteligența artificială este folosită în mai multe industrii pentru a automatiza proiecte complexe, pentru a dezvolta produse inovatoare și avansate și pentru a oferi informații valoroase care schimbă natura afacerii. Viziunea computerizată este un astfel de subdomeniu al inteligenței artificiale care poate modifica complet modul în care funcționează mai multe industrii care depind de cantități masive de imagini și videoclipuri capturate.
Viziunea computerizată, numită și CV, permite computerelor și sistemelor conexe să extragă date semnificative din imagini - imagini și videoclipuri și să ia măsurile necesare pe baza acestor informații. Modelele de învățare automată sunt antrenate să recunoască tipare și să capteze aceste informații în stocarea lor artificială pentru a interpreta în mod eficient datele vizuale în timp real.
Pentru cine este acest ghid?
Acest ghid extins este pentru:
- Voi toți antreprenorii și antreprenorii solitar care strângeți o cantitate masivă de date în mod regulat
- AI și învățarea automată sau profesioniști care încep cu tehnicile de optimizare a proceselor
- Manageri de proiect care intenționează să implementeze un timp de lansare mai rapid pe piață pentru modelele lor AI sau produsele bazate pe AI
- Și pasionaților de tehnologie cărora le place să intre în detaliile straturilor implicate în procesele AI.
Ce este adnotarea video?
Adnotarea video este tehnica de recunoaștere, marcare și etichetare a fiecărui obiect dintr-un videoclip. Ajută mașinile și computerele să recunoască obiectele în mișcare de la cadru la cadru dintr-un videoclip.
Cu cuvinte simple, un adnotator uman examinează un videoclip, etichetează imaginea cadru cu cadru și o compilează în seturi de date de categorii predeterminate, care sunt folosite pentru a antrena algoritmi de învățare automată. Datele vizuale sunt îmbogățite prin adăugarea de etichete cu informații critice despre fiecare cadru video.
Inginerii au compilat imaginile adnotate în seturi de date în condiții predeterminate
categorii pentru a-și antrena modelele ML necesare. Imaginează-ți că antrenezi un model pentru a-și îmbunătăți capacitatea de a înțelege semnalele de trafic. Ceea ce se întâmplă în esență este că algoritmul este antrenat pe date de adevăr de la sol care conțin cantități masive de videoclipuri care arată semnale de trafic, ceea ce ajută modelul ML să prezică cu precizie regulile de trafic.
Scopul adnotării și etichetării video în ML
Adnotarea video este folosită în principal pentru crearea unui set de date pentru dezvoltarea unui model AI bazat pe percepția vizuală. Videoclipurile adnotate sunt utilizate pe scară largă pentru a construi vehicule autonome care pot detecta semnele rutiere, prezența pietonilor, pot recunoaște limitele benzilor și pot preveni accidentele din cauza comportamentului uman imprevizibil.. Videoclipurile adnotate servesc unor scopuri specifice industriei de vânzare cu amănuntul în ceea ce privește achiziția gratuită a magazinelor de vânzare cu amănuntul și oferirea de recomandări personalizate de produse.
De asemenea, este folosit în domenii medicale și asistenței medicale, în special în IA medicală, pentru identificarea precisă a bolii și asistență în timpul intervențiilor chirurgicale. Oamenii de știință folosesc, de asemenea, această tehnologie pentru a studia efectele tehnologiei solare asupra păsărilor.
Adnotarea video are mai multe aplicații din lumea reală. Este folosit în multe industrii, dar industria auto își valorifică în principal potențialul de a dezvolta sisteme de vehicule autonome. Să aruncăm o privire mai profundă asupra scopului principal.
Detectează obiectele
Adnotarea video ajută aparatele să recunoască obiectele capturate în videoclipuri. Deoarece mașinile nu pot vedea sau interpreta lumea din jurul lor, au nevoie de ajutor oamenii să identifice obiectele țintă și să le recunoască cu precizie în mai multe cadre.
Pentru ca un sistem de învățare automată să funcționeze impecabil, trebuie să fie instruit pe cantități masive de date pentru a obține rezultatul dorit
Localizați obiectele
Există multe obiecte într-un videoclip, iar adnotarea pentru fiecare obiect este o provocare și uneori inutilă. Localizarea obiectului înseamnă localizarea și adnotarea celui mai vizibil obiect și partea focală a imaginii.
Urmărirea obiectelor
Adnotarea video este folosită în principal la construirea de vehicule autonome și este esențial să existe un sistem de urmărire a obiectelor care să ajute mașinile să înțeleagă cu exactitate comportamentul uman și dinamica drumurilor. Ajută la urmărirea fluxului de trafic, a mișcărilor pietonilor, a benzilor de circulație, a semnalelor, a indicatoarelor rutiere și multe altele.
Urmărirea activităților
Un alt motiv pentru care adnotarea video este esențială este că este obișnuită antrena vederea computerizatăproiecte ML bazate pe estimarea cu acuratețe a activităților umane și a pozelor. Adnotarea video ajută la înțelegerea mai bună a mediului prin urmărirea activității umane și analizând comportamentul imprevizibil. Mai mult, acest lucru ajută și la prevenirea accidentelor prin monitorizarea activităților obiectelor non-statice, cum ar fi pietonii, pisicile, câinii și nu numai și estimând mișcările acestora pentru a dezvolta vehicule fără șofer.
Adnotare video vs. Adnotare imagine
Adnotările video și imaginile sunt destul de asemănătoare în multe privințe, iar tehnicile utilizate pentru adnotarea cadrelor se aplică și adnotărilor video. Cu toate acestea, există câteva diferențe de bază între acestea două, care vor ajuta companiile să decidă tipul corect de adnotarea datelor au nevoie pentru scopul lor specific.
Date
Când comparați un videoclip și o imagine statică, o imagine în mișcare, cum ar fi un videoclip, este o structură de date mult mai complexă. Un videoclip oferă mult mai multe informații pe cadru și o perspectivă mult mai bună asupra mediului.
Spre deosebire de o imagine statică care arată o percepție limitată, date video oferă informații valoroase despre poziția obiectului. De asemenea, vă informează dacă obiectul în cauză este în mișcare sau staționează și vă spune, de asemenea, despre direcția mișcării sale.
De exemplu, când te uiți la o imagine, s-ar putea să nu poți discerne dacă o mașină tocmai s-a oprit sau a pornit. Un videoclip vă oferă o claritate mult mai bună decât o imagine.
Deoarece un videoclip este o serie de imagini livrate într-o secvență, acesta oferă informații despre obiectele obstrucționate parțial sau complet, precum și prin compararea cadrelor înainte și după cadre. Pe de altă parte, o imagine vorbește despre prezent și nu îți oferă o etapă de comparație.
În cele din urmă, un videoclip are mai multe informații pe unitate sau cadru decât o imagine. Și, atunci când companiile doresc să se dezvolte imersive sau complexe AI și învățare automată soluții, adnotarea video va fi utilă.
Procesul de adnotare
Deoarece videoclipurile sunt complexe și continue, ele oferă o provocare suplimentară adnotatorilor. Adnotatorii trebuie să examineze fiecare cadru al videoclipului și să urmărească cu precizie obiectele în fiecare etapă și cadru. Pentru a realiza acest lucru mai eficient, companiile de adnotare video obișnuiau să reunească mai multe echipe pentru a adnota videoclipuri. Cu toate acestea, adnotarea manuală s-a dovedit a fi o sarcină laborioasă și consumatoare de timp.
Progresele tehnologice au asigurat că computerele, în zilele noastre, pot urmări fără efort obiectele de interes pe toată lungimea videoclipului și pot adnota segmente întregi cu puțină sau deloc intervenția umană. De aceea, adnotarea video devine mult mai rapidă și mai precisă.
Acuratete
Companiile folosesc instrumente de adnotare pentru a asigura o mai mare claritate, acuratețe și eficiență în procesul de adnotare. Prin utilizarea instrumentelor de adnotare, numărul de erori este redus semnificativ. Pentru ca adnotarea video să fie eficientă, este esențial să aveți aceeași clasificare sau etichete pentru același obiect pe tot parcursul videoclipului.
Instrumente de adnotare video poate urmări obiectele în mod automat și consecvent peste cadre și nu uitați să utilizați același context pentru clasificare. De asemenea, asigură o mai mare consistență, acuratețe și modele AI mai bune.
[Citeşte mai mult: Ce este adnotarea și etichetarea imaginilor pentru computer Vision]
Tehnici de adnotare video
Adnotarea imaginilor și video utilizează instrumente și tehnici aproape similare, deși este mai complexă și necesită multă muncă. Spre deosebire de o singură imagine, un videoclip este dificil de adnotat, deoarece poate conține aproape 60 de cadre pe secundă. Adnotarea videoclipurilor durează mai mult și necesită și instrumente avansate de adnotare.
Metoda unei singure imagini
Metoda de etichetare video cu o singură imagine este tehnica tradițională care extrage fiecare cadru din videoclip și adnotă cadrele unul câte unul. Videoclipul este împărțit în mai multe cadre și fiecare imagine este adnotată folosind tradiționalul adnotarea imaginii metodă. De exemplu, un videoclip de 40 fps este împărțit în cadre de 2,400 de cadre pe minut.
Metoda unei singure imagini a fost folosită înainte ca instrumentele de adnotare să fie utilizate; cu toate acestea, aceasta nu este o modalitate eficientă de adnotare a videoclipurilor. Această metodă necesită timp și nu oferă beneficiile oferite de un videoclip.
Un alt dezavantaj major al acestei metode este că, deoarece întregul videoclip este considerat o colecție de cadre separate, creează erori în identificarea obiectelor. Același obiect ar putea fi clasificat sub diferite etichete în cadre diferite, ceea ce face ca întregul proces să piardă din acuratețe și context.
Timpul necesar pentru adnotarea videoclipurilor folosind metoda unei singure imagini este excepțional de mare, ceea ce crește costul proiectului. Chiar și un proiect mai mic de mai puțin de 20 de fps va dura mult timp pentru adnotare. Pot exista o mulțime de erori de clasificare greșită, termene limită ratate și erori de adnotare.
Metoda cadrului continuu
Metoda cadru continuu sau cadru de streaming este cea mai populară. Această metodă utilizează instrumente de adnotare care urmăresc obiectele de-a lungul videoclipului cu locația lor cadru cu cadru. Prin utilizarea acestei metode, continuitatea și contextul sunt bine întreținute.
Metoda cadrului continuu folosește tehnici precum fluxul optic pentru a captura pixelii dintr-un cadru și următorul cu acuratețe și pentru a analiza mișcarea pixelilor din imaginea curentă. De asemenea, asigură că obiectele sunt clasificate și etichetate în mod consecvent pe parcursul videoclipului. Entitatea este recunoscută în mod consecvent chiar și atunci când intră și iese din cadru.
Când această metodă este utilizată pentru adnotarea videoclipurilor, proiectul de învățare automată poate identifica cu precizie obiectele prezente la începutul videoclipului, să dispară din vedere pentru câteva cadre și să reapară din nou.
Dacă pentru adnotare se folosește o singură metodă de imagine, computerul poate considera imaginea reapărată ca un obiect nou, ceea ce duce la o clasificare greșită. Cu toate acestea, într-o metodă de cadru continuu, computerul ia în considerare mișcarea imaginilor, asigurându-se că continuitatea și integritatea videoclipului sunt bine menținute.
Metoda cadru continuu este o modalitate mai rapidă de adnotare și oferă capacități mai mari proiectelor ML. Adnotarea este precisă, elimină părtinirea umană, iar clasificarea este mai precisă. Cu toate acestea, nu este lipsită de riscuri. Unii factori care i-ar putea modifica eficiența, cum ar fi calitatea imaginii și rezoluția video.
Tipuri de etichetare/adnotare video
Pentru adnotarea videoclipurilor sunt folosite mai multe metode de adnotare video, cum ar fi adnotarea reper, semantică, cuboid 3D, poligon și polilinie. Să ne uităm la cele mai populare aici.
Adnotare de reper
Adnotarea de reper, numită și punct cheie, este în general utilizată pentru a identifica obiecte, forme, posturi și mișcări mai mici.
Punctele sunt plasate peste obiect și legate, ceea ce creează un schelet al elementului în fiecare cadru video. Acest tip de adnotare este utilizat în principal pentru a detecta trăsături faciale, ipostaze, emoții și părți ale corpului uman pentru dezvoltarea aplicațiilor AR/VR, aplicații de recunoaștere facială și analize sportive.
Segmentarea semantică
Segmentarea semantică este un alt tip de adnotare video care ajută la formarea unor modele mai bune de inteligență artificială. Fiecare pixel prezent într-o imagine este atribuit unei clase specifice în această metodă.
Prin atribuirea unei etichete fiecărui pixel de imagine, segmentarea semantică tratează mai multe obiecte din aceeași clasă ca o singură entitate. Cu toate acestea, atunci când utilizați segmentarea semantică a instanțelor, mai multe obiecte din aceeași clasă sunt tratate ca instanțe individuale diferite.
Adnotare cuboidă 3D
Acest tip de tehnică de adnotare este utilizat pentru o reprezentare 3D precisă a obiectelor. Metoda casetei de delimitare 3D ajută la etichetarea lungimii, lățimii și adâncimii obiectului atunci când este în mișcare și analizează modul în care acesta interacționează cu mediul. Ajută la detectarea poziției și volumului obiectului în raport cu mediul său tridimensional.
Adnotatorii încep prin a desena casete de delimitare în jurul obiectului de interes și menținând punctele de ancorare la marginea casetei. În timpul mișcării, dacă unul dintre punctele de ancorare ale obiectului este blocat sau nu este vizibil din cauza unui alt obiect, este posibil să se știe unde ar putea fi marginea pe baza lungimii, înălțimii și unghiului măsurate în cadru aproximativ.
Adnotare poligon
Tehnica de adnotare poligonală este utilizată în general atunci când tehnica cutiei de delimitare 2D sau 3D este considerată insuficientă pentru a măsura cu precizie forma unui obiect sau atunci când este în mișcare. De exemplu, adnotarea poligonului poate măsura un obiect neregulat, cum ar fi o ființă umană sau un animal.
Pentru ca tehnica de adnotare a poligonului să fie precisă, adnotatorul trebuie să deseneze linii punând puncte precis în jurul marginii obiectului de interes.
Adnotare polilinie
Adnotarea polilinie ajută la instruirea instrumentelor AI bazate pe computer pentru a detecta benzile de stradă pentru dezvoltarea sistemelor de vehicule autonome de înaltă precizie. Computerul permite aparatului să vadă direcția, traficul și devierea prin detectarea benzilor, granițelor și limitelor.
Adnotatorul desenează linii precise de-a lungul marginilor benzii, astfel încât sistemul AI să poată detecta benzile de pe drum.
Cutie de delimitare 2D
Metoda casetei de delimitare 2D este poate cea mai folosită pentru adnotarea videoclipurilor. În această metodă, adnotatorii plasează casete dreptunghiulare în jurul obiectelor de interes pentru identificare, clasificare și etichetare. Cutiile dreptunghiulare sunt desenate manual în jurul obiectelor prin cadre când acestea sunt în mișcare.
Pentru a se asigura că metoda casetei de delimitare 2D funcționează eficient, adnotatorul trebuie să se asigure că caseta este desenată cât mai aproape de marginea obiectului și etichetată corespunzător în toate cadrele.
Adnotare video Cazuri de utilizare în industrie
Posibilitățile de adnotare video par nesfârșite; cu toate acestea, unele industrii folosesc această tehnologie mult mai mult decât altele. Dar este, fără îndoială, adevărat că aproape am atins vârful acestui aisberg inovator și mai sunt încă să vină. Oricum, am enumerat industriile care se bazează tot mai mult pe adnotarea video.
Sisteme de vehicule autonome
Sistemele de inteligență artificială cu viziune pe computer ajută la dezvoltarea mașinilor care se conduc singure și fără șofer. Adnotarea video a fost utilizată pe scară largă în dezvoltarea sistemelor de vehicule autonome de vârf pentru detectarea obiectelor, cum ar fi semnale, alte vehicule, pietoni, lumini stradale și multe altele.
Inteligența artificială medicală
Industria de asistență medicală înregistrează, de asemenea, o creștere mai semnificativă a utilizării serviciilor de adnotare video. Printre numeroasele beneficii pe care le oferă vederea computerizată se numără diagnosticul medical și imagistica.
Deși este adevărat că AI medicală începe să profite de beneficiile vederii computerizate abia recent, suntem siguri că are o multitudine de beneficii de oferit industriei medicale. Adnotarea video se dovedește utilă în analiza mamografiilor, raze X, tomografii și altele pentru a ajuta la monitorizarea stării pacienților. De asemenea, ajută profesioniștii din domeniul sănătății să identifice din timp afecțiunile și să ajute la intervenții chirurgicale.
Industrie cu amănuntul
Industria comerțului cu amănuntul folosește, de asemenea, adnotări video pentru a înțelege comportamentul consumatorilor pentru a-și îmbunătăți serviciile. Prin adnotarea videoclipurilor consumatorilor în magazine, este posibil să știți cum clienții selectează produsele, returnează produsele la rafturi și previn furtul.
Industria geospațială
Adnotarea video este folosită și în industria de supraveghere și imagini. Sarcina de adnotare include obținerea de informații valoroase din drone, satelit și imagini aeriene pentru a instrui echipele ML pentru a îmbunătăți supravegherea și securitatea. Echipele ML sunt instruite să urmărească suspecții și vehiculele pentru a urmări vizual comportamentul. Tehnologia geospațială alimentează, de asemenea, agricultura, cartografierea, logistica și securitatea.
Agricultură
Viziunea computerizată și capacitățile de inteligență artificială sunt folosite pentru a îmbunătăți agricultura și creșterea animalelor. Adnotarea video ajută, de asemenea, la înțelegerea și urmărirea creșterii plantelor mișcărilor animalelor și la îmbunătățirea performanței mașinilor de recoltat.
Viziunea computerizată poate analiza și calitatea cerealelor, creșterea buruienilor, utilizarea erbicidelor și multe altele.
Mass-media
Adnotarea video este, de asemenea, utilizată în industria media și a conținutului. Este folosit pentru a ajuta la analiza, urmărirea și îmbunătățirea performanței echipei sportive, identificarea conținutului sexual sau violent din postările de pe rețelele sociale și îmbunătățirea videoclipurilor publicitare și multe altele.
Industrial
De asemenea, industria de producție folosește din ce în ce mai mult adnotarea video pentru a îmbunătăți productivitatea și eficiența. Roboții sunt instruiți pe videoclipuri adnotate pentru a naviga prin staționari, a inspecta liniile de asamblare, a urmări pachetele în logistică. Roboții instruiți pe videoclipuri adnotate ajută la identificarea articolelor defecte în liniile de producție.
Provocări comune ale adnotărilor video
Adnotarea/etichetarea video poate pune câteva provocări adnotatorilor. Să ne uităm la câteva puncte pe care trebuie să le luați în considerare înainte de a începe adnotare video pentru viziune computerizată proiecte.
Procedură obositoare
Una dintre cele mai mari provocări ale adnotărilor video este de a face față masivului seturi de date video care trebuie analizate și adnotate. Pentru a antrena cu precizie modelele de viziune computerizată, este esențial să accesați cantități mari de videoclipuri adnotate. Deoarece obiectele nu sunt nemișcate, așa cum ar fi într-un proces de adnotare a imaginii, este esențial să aveți adnotatori cu înaltă calificare care să poată captura obiecte în mișcare.
Videoclipurile trebuie împărțite în clipuri mai mici de mai multe cadre, iar obiectele individuale pot fi apoi identificate pentru adnotare precisă. Cu excepția cazului în care se utilizează instrumente de adnotare, există riscul ca întregul proces de adnotare să fie obositor și consumator de timp.
Acuratete
Menținerea unui nivel ridicat de precizie în timpul procesului de adnotare video este o sarcină dificilă. Calitatea adnotărilor trebuie verificată în mod constant în fiecare etapă pentru a se asigura că obiectul este urmărit, clasificat și etichetat corect.
Cu excepția cazului în care calitatea adnotării nu este verificată la diferite niveluri, este imposibil să se proiecteze sau să antreneze un algoritm unic și de calitate. Mai mult decât atât, categorizarea sau adnotarea incorectă poate afecta serios calitatea modelului de predicție.
scalabilitate
Pe lângă faptul că asigură acuratețea și precizia, adnotările video ar trebui să fie și scalabile. Companiile preferă serviciile de adnotare care le ajută să dezvolte, să implementeze și să scala rapid proiecte de ML fără a avea un impact masiv asupra profitului.
Alegerea furnizorului potrivit de etichetare video
Ultima și probabil cea mai importantă provocare în adnotarea video este angajarea serviciilor unui furnizor de servicii de adnotare a datelor video de încredere și cu experiență. Având un expert furnizor de servicii de adnotare video va contribui foarte mult pentru a vă asigura că proiectele dvs. ML sunt dezvoltate și implementate la timp.
De asemenea, este esențial să angajați un furnizor care să asigure că standardele și reglementările de securitate sunt respectate cu atenție. Alegerea celui mai popular furnizor sau cel mai ieftin s-ar putea să nu fie întotdeauna mișcarea potrivită. Ar trebui să căutați furnizorul potrivit în funcție de nevoile proiectului, standardele de calitate, experiența și expertiza echipei.
Concluzie
Adnotarea video este la fel de mult despre tehnologie ca și echipa care lucrează la proiect. Are o multitudine de beneficii pentru o serie de industrii. Totuși, fără serviciile unor adnotatori experimentați și capabili, este posibil să nu puteți oferi modele de clasă mondială.
Când doriți să lansați un model avansat de IA bazat pe viziunea computerizată, Shaip ar trebui să fie alegerea dvs. pentru un furnizor de servicii. Când este vorba de calitate și acuratețe, experiența și fiabilitatea contează. Poate face o mare diferență în succesul proiectului dumneavoastră.
La Shaip, avem experiența necesară pentru a gestiona proiecte de adnotare video cu diferite niveluri de complexitate și cerințe. Avem o echipă experimentată de adnotatori pregătiți să ofere suport personalizat pentru proiectul dumneavoastră și specialiști în supervizare umană pentru a satisface nevoile proiectului dumneavoastră pe termen scurt și lung.
Oferim doar adnotări de cea mai înaltă calitate, care respectă standardele stricte de securitate a datelor fără a compromite termenele limită, acuratețea și consecvența.
Hai să vorbim
Întrebări frecvente (FAQ)
Adnotarea video este etichetarea clipurilor video utilizate pentru a antrena modele de învățare automată pentru a ajuta sistemul să identifice obiectele. Adnotarea video este un proces complex, spre deosebire de adnotarea imaginii, deoarece implică defalcarea întregului videoclip în mai multe cadre și secvențe de imagini. Imaginile cadru cu cadru sunt adnotate astfel încât sistemul să poată recunoaște și identifica obiectele cu precizie.
Adnotatorii video folosesc mai multe instrumente pentru a-i ajuta să adnoteze videoclipul în mod eficient. Cu toate acestea, adnotarea video este un proces complex și lung. Deoarece adnotarea videoclipurilor durează mult mai mult decât adnotarea imaginilor, instrumentele ajută la accelerarea procesului, la reducerea erorilor și la creșterea preciziei clasificării.
Da, este posibil să adnotați videoclipuri YouTube. Folosind instrumentul de adnotare, puteți adăuga text, evidenția părți ale videoclipului și adăuga link-uri. Puteți edita și adăuga adnotări noi, alegând dintre diferite tipuri de adnotări, cum ar fi balon, text, reflectoare, notă și etichetă.
Costul total al adnotărilor video depinde de mai mulți factori. Primul este durata videoclipului, tipul de instrument utilizat pentru procesul de adnotare și tipul de adnotare necesar. Ar trebui să luați în considerare timpul petrecut de adnotatorii umani și de specialiștii în supraveghere pentru a vă asigura că munca de înaltă calitate este livrată. O lucrare profesională de adnotare video este necesară pentru a dezvolta modele de învățare automată de calitate.
Calitatea adnotărilor depinde de acuratețea și capacitatea de a vă antrena modelul ML pentru scopul specific. O lucrare de înaltă calitate va fi lipsită de părtinire, erori de clasificare și cadre lipsă. Verificările multiple la diferite niveluri ale procesului de adnotare vor asigura o calitate superioară a muncii.