Naslov Detekcija i raspoznavanje osoba u otežanim vremenskim uvjetima primjenom infracrvene termovizije Naslov (engleski) Human detection and recognition in harsh conditions using infrared thermal vision Autor Mate Krišto Mentor Marina Ivašić-Kos (mentor)Član povjerenstva Ivo Ipšić (predsjednik povjerenstva)Član povjerenstva Miran Pobar (član povjerenstva)Član povjerenstva Slobodan Ribarić (član povjerenstva)Ustanova koja je dodijelila Sveučilište u Rijeci Datum i država obrane 2021-02-23, Hrvatska Znanstveno / umjetničko DRUŠTVENE ZNANOSTI Univerzalna decimalna klasifikacijaUDC ) 004 - Računalna znanost i tehnologija. Računalstvo. Obrada podataka Sažetak Naslov doktorskog rada je ujedno i najbolji sažetak rada i u jednoj rečenici opisuje ono
što se htjelo istražiti te eksperimentalno potvrditi ili odbaciti. Uvodno treba istaknuti da
su ciljevi istraživanja uspješno postgnuti te je kroz provedene eksperimente dokazano
da je korištenjem termalne kamere kao senzora računalnog vida moguće povećati
razine sigurnosti štićenih prostora i područja. Uspješnost se dodatno očituje u
kombinaciji s korištenjem detektora objekata temeljenog na konvlolucijskoj neuronskoj
mreži zbog čega je moguća detekcija i raspoznavanje osoba u gotovo svim
vremenskim uvjetima (vedro, magla, kiša) u noćnim uvjetima na različitim
udaljenostima, pri promjeni brzine i načina kretanja, te položaja tijela osoba koje
namjerno, ali ilegalno pokušavaju proći kroz nadzirano područje. Pored toga, u radu je
pokazano da je moguće uspješno raspoznavanje osoba od drugih pokretnih objekata
na slikama, što je u ovom slučaju bio pas. S tim u svezi treba napomenuti da su
testirana dva naučena modela. Prvi model za detekciju osoba učen je na slikama na
kojima je bila označena samo osoba (Human, Person), a isti je naknadno testiran i na
slikama te video zapisima koji su sadržavali i druge pokretne objekte (psa). Također je
značajno istaknuti da naučeni model niti u jednom slučaju nije druge objekte iz okoline,
kao što su stabla ili lišće detektirao kao osobe. Drugi model je naučen kao model s
dvije klase (Human – Non-Human) s ciljem poboljšanja rezultata detekcije i
raspoznavanja, a postignuti rezultati su to i potvrdili. Nadalje, kreirani skup slika,
prigodno nazvan UNIRI Thermal, odnosno u eksperimentalnoj fazi označen kao
UNIRI-TID, iskorišten je i za provjeru mogućnosti detektora temeljenog na neuronskoj
mreži u kontekstu raspoznavanja aktivnosti osoba, odnosno da li osoba hoda
uspravno, hoda pogureno, trči, hoda četveronoške ili leži na tlu. I u ovom slučaju su
postignuti odlični rezultati koji su pokazali da je moguće s velikom pouzdanošću
prepoznati o kojem načinu kretanja je riječ. Navedeno u kontekstu nadzora štićenih
područja može ukazivati na eventualne neprijateljske ili druge nezakonite namjere
osoba koje se kreću u tom području. Osim navedenog, u eksperimentalnoj fazi je
pokazano i da je moguće pouzdan model naučiti na realtivnom malom skupu termalnih
slika. Također su uspoređeni aktualni vrhunski detektori objekata kao što su Faster RCNN, SSD, Cascade R-CNN i YOLOv3, koji su učeni na skupu termalnih slika
ekstrahiranih iz videozapisa koji simuliraju ilegalna kretanja u podružju granica te
drugim štićenim područjima. Zaključno, postignuti rezultati daju dobar temelj za daljnja istraživanja potencijalno
opasnih situacija za sigurnost ljudi i štićenih područja u kontekstu raspoznavanja i
drugih objekata na sceni kao što su civilna i vojna vozila, različite letjelice, padobrani,
ali i prepoznavanje lažnih detekcija kao što su prolazi životinja i identifikacije osoba
koje su zadužene za nadzor tih područja.
Sažetak (engleski) Global terrorist threats and illegal migration have intensified concerns for the security
of citizens, and every effort is made to exploit all available technological advances to
prevent adverse events and protect people and their property. Due to the ability to use
at night and in weather conditions where RGB cameras do not perform well, thermal
cameras have become an important component of sophisticated video surveillance
systems. In this paper, we investigate the task of automatic person detection in thermal
images using convolutional neural network models originally intended for detection in
RGB images. We compare the performance of the standard state-of-the-art object
detectors such as Faster R-CNN, SSD, Cascade R-CNN, and YOLOv3, that were
retrained on a dataset of thermal images extracted from videos that simulate illegal
movements around the border and in protected areas. Videos are recorded at night in
clear weather, rain, and in the fog, at different ranges, and with different movement
types. YOLOv3 was significantly faster than other detectors while achieving
performance comparable with the best, so it was used in further experiments. We
experimented with different training dataset settings in order to determine the minimum
number of images needed to achieve good detection results on test datasets. We
achieved excellent detection results with respect to average accuracy for all test
scenarios although a modest set of thermal images was used for training. We test our
trained model on different well known and widely used thermal imaging datasets as
well. In addition, we present the results of the recognition of humans and animals in
thermal images, which is particularly important in the case of sneaking around objects
and illegal border crossings. Also, we present our original thermal dataset used for
experimentation that contains surveillance videos recorded at different weather and
shooting conditions.
In conclusion, the achieved results provide a good basis for further research of
potentially dangerous situations with a goal to increase personal security and protected
areas in the context of recognition human and other objects on the scene such as
civilian and military vehicles, various aircrafts, parachutes, but also determination of
false detections such as animal passages, and the identification of security personel
in charge of monitoring these areas.
Ključne riječi
Konvolucijske neuronske mreže
detektor objekata
nadzor
termovizijska slika
YOLO
otkrivanje i prepoznavanje ljudi
nacionalna sigurnost
nadzor zaštićenih područja i objekata
Ključne riječi (engleski)
Convolutional Neural Networks
Object Detector
surveillance
Thermal imaging
YOLO
Human detection and recognition
national security
surveillance of protected areas and facilities
Jezik hrvatski URN:NBN urn:nbn:hr:195:956338 Datum promocije 2023 Studijski program Naziv: Informatika Vrsta resursa Tekst Način izrade datoteke Izvorno digitalna Prava pristupa Otvoreni pristup Uvjeti korištenja Repozitorij Repozitorij Fakulteta informatike i digitalnih tehnologija Sveučilišta u Rijeci Datum i vrijeme pohrane 2023-04-05 11:56:36
