Ανίχνευση κακώσεων σε βίντεο ενδοσκοπικών καψουλών με την χρήση ηλεκτρονικού υπολογιστήΑνίχνευση κακώσεων σε βίντεο ενδοσκοπικών καψουλών με την χρήση ηλεκτρονικού υπολογιστήComputer-aided detection of lesions for endoscopic capsule videos Διπλωματική Εργασία Diploma Work 2018-06-292018elΣήμερα, η ενδοσκόπιση του λεπτού εντέρου με τη χρήση ενδοσκοπικής κάψουλας, αποτελεί το πιο αξιόπιστο μέσον στη διάγνωση ασθενών που πάσχουν από αιμορρα- γία λεπτού εντέρου (Small bowel bleeding -SBB). Ο ασθενής καταπίνει την ειδικά σχε- διασμένη ηλεκτρονική κάψουλα, η οποία κινείται μέσω της γαστρεντερικής οδού φω- τογραφίζοντας το περιβάλλον της. Ο χρόνος που χρειάζεται η κάψουλα για να διανύ- σει το λεπτό έντερο κυμαίνεται, από μια έως πέντε ώρες, ανάλογα τον ασθενή. Οι φωτογραφίες μεταφέρονται με τη βοήθεια λογισμικού και υπό μορφή βίντεο σε Η/Υ για την ανάγνωσή τους από τον ειδικευμένο ιατρό, προς αρωγή της διάγνωσης. Η μείωση του χρόνου ανάγνωσης του βίντεο κατά τη διαγνωστική φάση επιτυγχάνεται αυτόματα με την χρήση αλγορίθμων που βασίζονται κυρίως στην απαλοιφή όμοιων εικόνων, καθώς και εικόνων που απεικονίζουν με σιγουριά υγιείς ιστούς. Η παρούσα εργασία ασχολείται με τα προβλήματα που σχετίζονται με την ανίχνευση αιμορραγιών στο λεπτό έντερο. Υπολογίζεται πειραματικά ένα χρωματολόγιο αναφο- ράς αιμορραγιών, με χρήση των τριών βασικών χρωματικών μοντέλων (RGB, HSV και YCbCr) από δεδομένα διαγνωσμένων πραγματικών περιστατικών, με στόχο την ανά- πτυξη μεθόδου αυτόματης διάγνωσης αιμορραγίας από ενδοσκοπική κάψουλα. Για τον εντοπισμό των ύποπτων εικόνων και των ζωνών αιμορραγιών πάνω σε αυτές, για τα τρία χρωματικά μοντέλα, το λογισμικό που σχεδιάσαμε διενεργεί αυτόματη απαλοιφή όμοιων διαδοχικών εικόνων του βίντεο. Τα δεδομένα που χρησιμοποιούνται προέρχονται από 4.200 εικόνες που εξήχθησαν από 138 βίντεο, εκ των οποίων: 3.200 (από 99 βίντεο) για την ανάπτυξη και επικύρωση της μεθόδου και 1.000 (από 39 βίντεο) για την επαλήθευση της μεθόδου. Οι εικόνες προέρχονται από ενδοσκοπική κάψουλα PillcamTM SB, από διαφορετικούς τυ- χαίους ασθενείς1 οι οποίοι παρουσιάζουν διαπιστωμένη αιμορραγία, ερύθημα και αιμαγγειώματα στην περιοχή του λεπτού εντέρου. Το υλικό προέρχεται από τις πανεπιστημιακές Κλινικές Αθήνας και Θεσσαλονίκης και είναι αξιολογημένο από έμπει- ρους διαγνώστες ιατρούς. Η επαλήθευση των προτεινόμενων αλγορίθμων έγινε σε συνεργασία με έμπειρο ιατρό του πανεπιστημιακού Αρεταίειου Γ. Ν., που τους εφάρ- μοσε σε σύνολο 1.000 τυχαία επιλεγμένων εικόνων από 39 νοσηλευόμενους ασθενείς (εικόνες με ή χωρίς προβλήματα υγείας). Ο προτεινόμενος αλγόριθμος εντοπισμού αιμορραγιών βασίζεται στην εφαρμογή πολλαπλών μασκών με κατώφλια που προκύπτουν από το πειραματικό χρωματολόγιο αιμορραγιών. Οι έγχρωμες εικόνες του βίντεο αναλύονται η κάθε μια χωριστά, στις τρεις συνιστώσες του επιλεγμένου χρωματικού μοντέλου και στη συνέχεια, στην κάθε συνιστώσα, εφαρμόζονται μορφολογικοί τελεστές ελαχίστου και διάμεσης τιμής. Κατόπιν, εφαρμόζονται οι μάσκες εύρους κατωφλίων του πειραματικού χρωμα- τολογίου. Τέλος, για την αφαίρεση των εσφαλμένων ζωνών αιμορραγίας εφαρμόζε- ται μορφολογικός τελεστής ανοίγματος περιοχής με δομικό στοιχείο που υπολογίστηκε από πειραματικές μετρήσεις. Ο προτεινόμενος αλγόριθμος απαλοιφής όμοιων εικόνων βασίζεται στην στατιστική μέτρηση SSE του ιστογράμματος της κάθε εικόνας σε αποχρώσεις του γκρίζου και στην σύγκρισή του με την τιμή του για την προηγούμενη εικόνα του βίντεο. Πάντοτε σε συνεργασία με έμπειρο ιατρικό προσωπικό, οι προτεινόμενοι αλγόριθμοι επαληθεύτηκαν και μετρήθηκαν και στα τρία χρωματικά μοντέλα. Έγινε αξιολόγηση με το πλέον αξιόπιστο και χρησιμοποιούμενο λογισμικό στις ελληνικές πανεπιστημιακές κλινικές σήμερα: SBITM (Suspected Blood Indicator, λογισμικό ανίχνευσης ύποπτων περιοχών αίματος) καθώς και με το πρόγραμμα αυτόματης ανάγνωσης εικόνων ενδοσκοπικώς κάψουλας: QuickviewTM. Τα δύο αυτά αποτελούν ενότητες του πλή- ρους λογισμικού ανάγνωσης: RAPIDTM Reader (λογισμικό ανάκτησης, ανάγνωσης και επεξεργασίας βίντεο από ενδοσκοπική κάψουλα PillcamTM SB) που παρέχει η κατα- σκευάστρια εταιρεία της συγκεκριμένης κάψουλας. Την καλύτερη τιμή ευαισθησίας επιτυχούς εντοπισμού αιμορραγικής εικόνας από βίντεο, για την προτεινόμενη μέθοδο, δίνει ο αλγόριθμος στο χρωματικό μοντέλο YCbCr, που χρησιμοποιεί φίλτρο median και δίνει Sensitivity 99,4% ενώ στο HSV δίνει: Sensitivity 98,0%, Specificity 94,2% και Αccuracy 96,1%, καλύτερες κατά 1,55% και 0,15% αντίστοιχα, από την καλύτερη ευαισθησία δημοσιευμένης μεθόδου μέχρι σή- μερα. Την χαμηλότερη τιμή μη εντοπισμού αιμορραγικής ζώνης αίματος σε παθολο- γική εικόνα από βίντεο, για την προτεινόμενη μέθοδο, δίνει ο αλγόριθμος στο χρω- ματικό μοντέλο HSV με FNR 0,0%, FPR 20,0%, και Precision 83,3%. Η FNR στο HSV, είναι σχετικά καλύτερη κατά 2,1% από την χαμηλότερη δημοσιευμένη μέθοδο μέχρι τώρα. Ο χρόνος μείωσης αυτόματης ανάγνωσης του βίντεο είναι της τάξης του 64%, ίδιος με εκείνον που πετυχαίνει το υπάρχον διαθέσιμο λογισμικό.Συγκριτικά με το διαθέσιμο λογισμικό της PillcamTM SB, οι τιμές αυτές αποδεικνύουν τη σχετική υπε- ροχή της προτεινόμενης αυτόματης διαγνωστικής μεθόδου, με ποσοστό επιτυχίας αυξημένο τουλάχιστον κατά 5% στο specificity και κατά 1% στο sensitivity. Συγκριτικά με τις καλύτερες έως σήμερα δημοσιεύσεις, φαίνεται ότι οι αλγόριθμοι που βασίζονται στην ανάλυση χρώματος και στη μηχανική μάθηση (ΚΝΝ) πετυχαίνουν σχετικά καλύτερο αποτέλεσμα: Sensitivity 99,0%, Specificity 99,0% και Accuracy 98,5%.Today, small bowel capsule endoscopy (SBCE) is the most reliable way to diagnose patients suffering from small bowel bleeding (SBB). The patient swallows a specially designed electronic capsule, which moves through the gastrointestinal (GI) tract, pho- tographing the environment, as it moves on. The time the capsule needs to traverse the small intestine ranges from one to five hours, depending on the situation. The photos are transferred to a computer in order to be reviewed by the doctor, in a form of a video stream, for further diagnosis. Decreasing the time of reading this video dur- ing the diagnostic phase by the medical staff is achieved automatically by using avail- able software that employs algorithms, mainly based on the deletion of similar images and images that do not contain the red color (indicating blood). The present work deals with the specific topic of image processing for the extraction of potential hemorrhagic areas from a series of digital images, which is of great rele- vance to SBB diagnosis. The developed algorithms enable us to segment blood regions from healthy regions, detecting the blood boundaries and their spatial characteristics. Moreover, the algorithm for the simultaneous automatic deletion of the same consec- utive video images is of great help due to its real time-saving employment. All these algorithms process individual endoscopic images and video streams of images to ex- tract the required parameters and are designed, validated and verified with actual real data. The validation and the verification is based on 99 and 39 (total 138) endoscopic videos of different patients2 with established bleeding, erythema and hemangiomas in the small intestine region, as positively diagnosed by the doctors from the Clinics of Greek Medicine Schools of National and Kapodistrian University of Athens. The vali- dation of the proposed algorithms is based on more than 3,200 images from 99 videos, the verification of the proposed program was carried out in collaboration with an ex- perienced doctor of Aretaieio General Hospital, by applying them on randomly se- lected actual clinical data of the University gastroenterological Clinics of Athens and of Aristotle University of Thessaloniki, on a total of more than 1000 images extracted from 39 hospitalized patients (images with or without health problems). The proposed blood detection algorithm is based on multiple mask thresholding method which is employed to identify the blood regions from the healthy. The sug- gested bleeding reference chart is experimentally measured, separately for the RGB, HSV and YCbCr models. The application of the mask is done to each video snapshot after its analysis into a color model and the application of various selected morpho- logical operators, as Minimum or Median. Finally, bleeding zones are delineated ap- plying morphological operation Opening area. The proposed similar image deletion algorithm is based on the statistical processing SSE of the gray scale histogram for each snapshot and the comparison between the successive snapshots of the video stream. The above methodology is implemented separately for all three color models, in order to evaluate which of them performs best, on account to its statistical diagnostic re- sults. In addition, the proposed algorithms were compared with the currently available com- mercial software, in collaboration with experienced medical staff: (i) SBITM (Suspected Blood Indicator) available in the Greek University Clinics and (ii) QuickviewTM image reader, which both are included in the RAPIDTM Reader software for reading videos from endoscopy with the PillcamTM SB capsule (by Given Imaging, Israel). The best statistical verification values for pathological image diagnosis from a video stream, for the proposed method, came by utilizing the YCbCr color model (with me- dian filter): Sensitivity 99,4%, and HSV (with median filter): Sensitivity 98,0%, Specific- ity 94,2%, Αccuracy 96,1%, with a success rate of at least 1,55% and 0,15% better re- sults compared with most recent publications, respectively. The best statistical verification values for the proposed bleeding zone detection method, came by utilizing the HSV color model, with the most important and signifi- cant ratio FNR improved to 0,0%, FPR 20%, and Precision 83,3%. The ratio FNR in HSV, comparing to the most recently lower FNR ratio is better than 2,1%. As for the video's auto-reduction time algorithm, it’s reduction ability is the same, by a magnitude of 64%. Compared to the currently available commercial program SBITM, these values demon- strate the relative superiority of the proposed auto-diagnostic method, with a success rate of at least 5% and 1% respectively in specificity and sensitivity. Compared with most recent publications, it seems that the Machine Learning clustering algorithm KNN, based on color features, can achieve better results: Sensitivity 99%, Specificity 99% and Accuracy 98,5%.http://creativecommons.org/licenses/by-nc/4.0/Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνPolydorou_Alexios_Dip_2018.pdfChania [Greece]Library of TUC2018-06-29application/pdf6.5 MBembargo Polydorou Alexios Πολυδωρου Αλεξιος Zervakis Michail Ζερβακης Μιχαηλ Petrakis Evripidis Πετρακης Ευριπιδης Sergaki Eleftheria Σεργακη Ελευθερια Sergaki Eleftheria Σεργακη Ελευθερια Πολυτεχνείο Κρήτης Technical University of Crete CAD Computer Aided Diagnosis Color mask Morphological operators Color feature YCbCr Color models HSV RGB Capsule endoscopy Small intestine Small bowel bleeding detection