Doc. Ing. Lačezar Ličev, CSc
Katedra informatiky
VŠB - Technická univerzita Ostrava
tř. 17. Listopadu
708 33 Ostrava - Poruba
E - mail: lacezar.licev@vsb.cz
The recognition of points of interest leads to the detection and consequent specification of the values of Xi and Yi coordinates. The result is a data file of the coordinates. The problem domain is divided into two parts. The first one includes the processing of graphic information, while the second concentrates on searching for the points and objects of interest.
Rozpoznávání zájmových bodů na snímku slouží k nalezení a pak následně k určení hodnoty souřadnic Xi,Yi. Výsledkem je datový soubor těchto hodnot. Tuto problematiku jsem rozdělil do dvou části. V první části se věnuji zpracování grafickou informaci a ve druhé části na nalezení hledaných zájmových bodů a objektů.
Rozpoznávání zájmových bodů na snímku slouží k nalezení a pak následně k určení hodnoty souřadnic Xi,Yi. Výsledkem je datový soubor těchto hodnot. Na určování polohy jednotlivých bodů existuje celá řada algoritmů a metod. Celou tuto problematiku jsem rozdělil do dvou části. V první části se věnuji implementaci prahování v modulu FOTOM1 a ve druhé části návrhu a realizace modulu FOTOM7 řešící problematiku nalezení hledaných zájmových bodů na světelné stopě a pomocí neuronových sítí.
Modul FOTOM1 pracuje s naskenovanou fotografií důlního profilu a umožňuje na něm určovat polohu zájmových bodů a zájmových objektů, případně i další parametry. Následně pak do tohoto modulu byly přidány nové vlastnosti. Článek se zabývá doplněním systému o nové funkce, zabývající se zadáváním zájmových bodů objektů, respektive jejích rozpoznáním.
Určování zájmových bodů
Modul FOTOM1 používá k určení polohy zájmového bodu myš. Uživatel musel původně najít sám přesnou polohu zájmového bodu na světelné stopě (u systému FOTOM2000). To se ovšem při velkém počtu snímků důlních profilů stává dosti pracné. Aby byla chyba měření co nejmenší, musel uživatel najít tyto body co nejpřesněji. Všechny funkce modulu jsou zachovány, navíc byla přidána možnost výběru zájmového bodu pomocí označení oblasti, ve které se hledaný bod nachází. Systém po analýze dané oblasti, kde pomocí segmentace obrazu zjistí světelné stopy, sám potom vybere jeden z bodů na světelné stopě. V modulu FOTOM1 ve verze FOTOM2001 je tato funkce nazvána jako "speciální zadávání oblastí".
Do nástrojové lišty modulu FOTOM1 byla přidána další tlačítka, obr. 1.
Obr. 1 Nástrojová lišta modulu FOTOM1
Speciální zadávání bodů
Pro zadání oblasti se opět využívá myš (obr. 2). Stiskem levého tlačítka se určí výchozí bod obdélníku. Dále při stisknutém tlačítku a tažením myší si uživatel označí oblast, která je po uvolnění tlačítka automaticky zpracována.
Po zvolení tohoto režimu se určí práh pro celou oblast (tzv. globální práh), který může uživatel ponechat nebo změnit dle vlastního uvážení. Je-li po analýze nalezen zájmový bod, objeví se v dialogu (obr. 3) jeho souřadnice a uživatel je může buďto ponechat nebo změnit. Pomocí daného dialogu lze navíc změnit lokální práh, který slouží k výběru světelných stop (objektů popředí). Taktéž lze zde měnit barvu označení vybraného bodu.
Obr. 2 Výběr oblasti pro analýzu
Při úspěšné analýze je vybraná oblast dočasně překreslena oblastí, jež vznikla po segmentaci obrazu. Je-li navíc vybraná oblast menší než 100 x 100 pixelů, je takto vzniklá oblast nakreslena do zvláštního okna a dvojnásobně zvětšena.
Obr. 3 Dialog analýzy oblasti
Nad vybranou oblastí jsou prováděny následující operace:
Prahování - základní krok pro oddělení objektů (světelných stop) od pozadí. Je zde použita metoda prahování s proměnným prahem. Jako první se určí globální práh pro celou fotografii. Tento práh odděluje objekty popředí od pozadí. V některých aplikacích by toto stačilo, abychom mohli určit zda je libovolný pixel obrazu chápan jako bod pozadí či popředí. V případě nedostatečného osvětlením některých částí snímku mohou nastat situace, že objekt by v obraze ve skutečnosti existoval, ale byl slabě osvětlen a proto bychom jej nemuseli s naší prahovou hodnotou nalézt. Kdybychom ji zvětšili, v jiných částech obrazu bychom mohli najít prahováním objekty, které tam ve skutečnosti nejsou. Proto navíc pro každou vybranou oblast je počítán práh samostatně - tzv. lokální práh. Při samostatném prahování je použita metoda nalezení prahu pomocí histogramu jasu.
Eroze - K nalezení skutečné světelné stopy bez okolního zašumění se používá matematická morfologie. V systému je opět začleněna s určitými úpravami. Jelikož víme, který pomyslný vrchol oblasti analýzy je výchozí, je prováděna eroze jen jedním směrem, a to od výchozího vrcholu po úhlopříčce směrem k vrcholu protilehlému. Eroze se provádí tak dlouho, dokud lze z oblasti odstraňovat body tak, aby nedošlo k porušení souvislosti oblasti.
Výběr zájmového bodu - Po těchto operacích je pak zájmovým bodem určen ten, který má od výchozího bodu nejmenší vzdálenost. Ta se určuje podle následujícího vzorce:
U důlní fotogrammetrie je při každém měření nafoceno velké množství snímků, cca 100 a více. Proto bylo snahou vyřešit pomocí automatického zpracování naskenovaných snímků definování zájmových bodů a objektů. To je úloha, kterou řeší modul FOTOM7.
Funkce modulu
Modul nejdřív načte výchozí hodnoty, které uživatel vytvořil nad jiným, jíž dříve zpracováním snímkem. Pak provede nad zbývajícími vybranými snímky analýzu, při které na novém snímku vyhledá polohu vlícovacích bodů, které jsou definovány z předchozích snímků. Systém tedy zná přibližnou polohu zájmového bodu a provádí pouze jeho dohledání v předem určené oblasti. Pokud najde bod, který vyhovuje, nastaví jej jako zájmový bod hledaného snímku. V případě, že bod není nalezen, je nastaven jako zájmový bod ten z předchozího snímku.
Celý proces je rozdělen do několika částí a umožňuje celkem 4 druhy analýzy zkoumaných snímků podle volby od uživatele.
Možnosti modulu
a) zkoumání světelných stop - pomocí prahování a eroze se určí oblast, která patří do popředí (čili světelné stopy), a pak se určí bod, který je nejbližší výchozímu bodu. V tomto případě se ale nejedná o jeden z vrcholů oblasti, výchozí bod tentokrát leží ve středu oblasti. Z tohoto důvodu už nelze dělat erozi jen jedním směrem, ale musí se provádět standardní metodou (eroze a dilatace). Prahování se provádí obdobně, jak je to uvedeno u předchozího modulu.
b) pomocí neuronové sítě - nad obrazem se opět provede prahování a eroze, navíc se zde určuje hranice oblasti (křivka). Modul řeší určení hraniční křivky gradientní metodou s využitím první derivace. Následně se určí průběh křivosti této hranice a nakonec je pomocí Fourierovy transformace určena samotná hraniční křivka. Ta je vstupem do neuronové sítě. Výsledkem pak je zájmový bod, který leží na této křivce.
Dále u automatické analýzy můžeme nastavit, který naměřený snímek považujeme za výchozí pro další snímky. Opět se zde vyskytují dvě možnosti:
a) pro analýzu daného snímku se použijí naměřené hodnoty ze snímku předcházejícího,
b) pro analýzu všech snímků se použijí stejné naměřené hodnoty, a to z výchozího měření.
Metodu vybereme podle toho, zda jsou snímky dostatečně kvalitní. Mají-li snímky určité zkreslení, které se projevuje stále víc a víc s následujícími snímky, použijeme 1. metodu, která tyto chyby úspěšně eliminuje. Ale při chybném určení zájmového bodu u jednoho snímku se může tato chyba projevit i u snímků následujících. Na rozdíl při použití druhé metody za předpokladu, že snímky jsou kvalitní a nevykazují velké zkreslení, lze výhodně použít
2. metodu, které i při zamlžení určitého snímku dokáže vzniklou chybu u ostatních kvalitních snímků eliminovat.
Tento modul slouží pouze k vytvoření měřičských souborů (mají příponu ".FTM"), které jsou kompatibilní se soubory, vytvořenými modulem FOTOM1, pomocí kterého je lze prohlížet, či při chybě jednoduše opravit. Vzhled modulu je ukázán na obr. 4:
Obr. 4 Dialog modulu FOTOM7
Po zmáčknutí tlačítka "OK" se zobrazí dialog, ve kterém je nutno zadat jméno souborů, které budou při analýze vytvořeny (obr. 5). Vytvořené soubory mají následující tvar: <zadané_jméno+index>.FTM.
Index je generován automaticky: buď má číslo, které označuje pořadí analyzovaného snímku nebo má tvar posloupnosti přirozených čísel, začínajících 1. V tomto dialogu se také volí možnost, zda se pro analýzu bere předcházející měření, či měření výchozí.
Obr.5 Dialog pro spuštění analýzy
Vnitřní chod modulu
a) Metoda světelných stop - Je zde použita obdobná metoda jako v modulu FOTOM1, hlavní rozdíl je v tom, že velikost analyzované oblasti nezadává uživatel, ale je napevno zvolena (po mnoha pokusech byly zvolena oblast v rozměrech 40 x 40 pixelů). Druhý rozdíl spočívá v umístění výchozího bodu analýzy, který je zde zvolen do středu zkoumané oblasti. Důvod je ten, že střed oblasti nám vlastně představuje zájmový bod z předchozího měření a my hledáme nový, který by mu svou polohou vyhovoval - čili nejbližší bod.
b) Neuronové sítě - na rozpoznání je zvolena metodu backpropagation. Funkci modulu lze charakterizovat následovně: hlavním cílem je najít opět zájmový bod, který by odpovídal zájmovému bodu z předchozího měření. Pro každý bod z předchozího měření máme zjištěno to, že tento bod leží na přímce nebo na křivce. Opět vycházím z oblasti, která je pevně zvolena, a to 40 x 40, jejímž středem je zájmový bod z předchozího měření. Po prahování a erozi zjistím hranici oblasti, dále průběh křivosti této hranice a nakonec pomocí Fourierovy transformace hraniční křivku oblasti. Ta je vstupem do neuronové sítě, výstupem je pak informace, zda se jedná o přímku či o křivku. Tato výstupní informace se pak porovná s údajem, uvedeným pro hledaný bod (leží buď na přímce nebo křivce). Jestli údaje souhlasí, znamená to, že jsme našli odpovídající oblast a určíme zájmový bod jako středový bod dané křivky. V případě, že údaje si neodpovídají, znamená to, že hledaná oblast neexistuje a bod je určen totožný s bodem z předchozího měření.
Poznatky z implementace modulu FOTOM7
Při zkoušení systému jsem dospěl k několika zajímavostí:
1) Při použití prvního snímku měření jako výchozího snímku mohou nastat tyto případy: světelná stopa je zřetelná a výrazná na všech snímcích nenastává žádný problém při rozpoznávání (bod 3 na obr. 6a). V okamžiku, kdy je stopa zamlžena, může nastat chyba - jelikož systém nemůže žádný bod najít, ponechá bod výchozí, tzn. je vysoká pravděpodobnost, že bude ležet jinde, než by měl (bod 3 na obr. 6b). Při analýze dalších snímků pak při světelné stopě dostatečně viditelné se tato chyba může automaticky opravit (obr. 6c). Jiný problém nastává v situaci, kdy je na snímku světelná stopa zamlžena, ale jiná je zřetelná. Pak je zájmový bod určen někde jinde a tato chyba se může odrazit i při analýze ostatních snímků.
Obr. 6 Automatické rozpoznání 1.metodou
2) Při použití předchozího snímku jako výchozího snímku. Největší problém spočívá v tom, že předchozí chyba v měření ovlivní následující měření. Najde-li se bod někde jinde, je pak tato informace použita pro následující měření a všechny ostatní body jsou nalezeny s tutéž chybou.
Při měření v případě, že máme více zájmových bodů v analyzované oblasti, může dojít k té chybě, že po analýze na více snímcích jsou tyto zájmové body uloženy jako totožné (obr. 7 - body 21, 22, 27, 28). To se pak musí napravit ruční editací jednotlivých snímků. Tatu chybu lze snadno detekovat modulu pro 2D modelování procesu měření.
Obr. 7 Automatické rozpoznání 2.metodou
Systém FOTOM2001 vznikl doplněním systému FOTOM2000 o doplnění modulu FOTOM1 o další funkci a o další moduluyFOTOM5, FOTOM6 a FOTOM7. Tyto nové moduly byly taktéž vypracovány na Katedře informatiky FEI VŠB TU Ostrava a dovolují provádět tyto úlohy:
Modul FOTOM1 - označení zájmových bodů a objektů,
Modul FOTOM1 slouží ke zpracování snímků ve formátu BMP. Zde označuje na snímcích zájmové body, zájmové objekty, dále výpočty vzdáleností, úhlů atd. V panelu nástrojů tohoto modulu jsou umístěny ikony pro spuštění ostatních pěti modulů aplikace.
Modul FOTOM2 - 2D modelovaní procesu měření,
V tomto modulu lze zobrazit hodnoty parametrů, vzdáleností a úhlů zájmových objektů na obrazovce ve formě grafů, tyto grafy lze vytisknout na tiskárně. Dále může prohlížet hodnoty z grafů v tabulkách a ty ukládat do souboru.
Modul FOTOM3 - 3D modelovaní procesu měření,
Tento modul slouží pro trojrozměrné zobrazení jámy v prostoru s možností další manipulace se zobrazeným modelem.
Modul FOTOM4 - animace procesu měření.
Modul slouží pro 2D animaci série snímků a objektů.
Modul FOTOM5 - měření hodnot odchylek
Modul FOTOM5 byl vytvořen pro zobrazení a další zpracování hodnot odchylek parametrů zájmových objektů od průměrných nebo projektových hodnot vhodně zvolených pro dané měření.
Modul FOTOM6 - porovnání dvou měření
Modul FOTOM6 slouží pro porovnání dvou měření, skládajících se ze série snímků, provedených na stejném objektu, shodujících se počtem snímků, metodou měření, měřícím intervalem a posloupností vzájemně korespondujících snímků.
Modul FOTOM7 - rozpoznávání zájmových bodů objektů na snímku
Modul FOTOM7 slouží n rozpoznávání zájmových bodů objektů a objektů na snímku, odd. 2.
Rozpoznávání zájmových bodů na snímku je činnost velmi důležitá, neboť na ni záleží efektivnost a rychlost zpracování fotografické informace. V předloženém příspěvku bylá popsaná aplikace v prostředí systému FOTOM2001, jíž dříve experimentálně ověřené metody a způsoby, jak rozpoznávat zájmové body nebo zájmové objekty.
Dosažené výsledky potvrdily správnost postupu a takto vzniklý systémem lze úspěšně využívat při měření objektů fotogrammetrickou metodou. Fotogrammetrický systém FOTOM2001 byl vypracován na Katedře informatiky FEI VŠB TU Ostrava.
Vývoj fotogrammetrického systému FOTOM přispívá k vyřešení konkrétních požadavků kladených na jednosnímkovou fotogrammetrii jako ucelený systém na kvalitativni vyšší úrovni, než jsou stávající technické a softwarové prostředky.