Celý proces zpřístupnění netextových objektů lze zjednodušeně rozdělit do tří kroků: detekce, popis a vyhledání.
Popis a standardizace netextových objektů
Identifikace objektů je pouze prvním krokem. Aby bylo možné s nimi dále pracovat, je potřeba je popsat a uložit tento metadatový popis ve standardizované podobě.
V projektu Orbis Pictus objekty popisujeme dvěma způsoby: pomocí vektorových reprezentací a textových popisů. Vektorové reprezentace umožňují vyhledávání podle podobnosti mezi objekty a pro jejich tvorbu testujeme existující modely, jako jsou CLIP a ALIGN. Textové popisy, které doplňují vektory, jsou jednak generovány přímo pomocí neuronových sítí podobných velkým jazykovým modelům, ale také je pro ně využívána extrakce informací z okolního textu.
Metadata a popisy jsou ukládány ve formátu ALTO, který umožňuje přesné zachycení struktury stránek včetně netextových prvků. Práce s tímto formátem je součástí zmíněné certifikované metodiky.
Vyhledávání
Strukturovaný a interoperabilní zápis metadat netextových objektů je zásadní pro možnost efektivní indexace a využití v digitálních knihovnách. Identifikované objekty bude díky tomu možné vyhledávat textovým dotazem i obrázkem.
Při textovém vyhledávání se bude využívat plný text vygenerovaných popisů objektů. Většinu kategorií netextových prvků bude ale možné vyhledávat také pomocí vektorového vyhledávání. Uživatel bude mít možnost zadat dotaz buď jako text, nebo nahráním vlastního obrázku. Na základě uživatelského dotazu bude vytvořena vektorová reprezentace, která se porovná s uloženými objekty, a vyhledají se ty s nejvyšší mírou podobnosti.
Další rozvoj projektu Orbis Pictus
Na nástroj AnnoPage, který zajistí detekci a základní popis netextových objektů, naváže v příštím roce nástroj PeopleGator. Ten umožní identifikovat osoby zobrazené v netextových objektech a propojit dokumenty, ve kterých se tyto osoby vyskytují. Vyhledávat bude možné jak pomocí obrazového dotazu, tak podle jména osoby. Součástí projektu bude také vytvoření databáze identifikovaných osob, která propojí vyobrazení nalezená v digitálních knihovnách s externími zdroji jako Wikimedia Commons nebo Obalkyknih.cz.
V roce 2026 bude dokončeno i nové softwarové řešení Kramerius Orbis Pictus, které umožní pokročilou práci s netextovým obsahem digitálních knihoven, například vyhledávání v kategoriích, práci s výřezy dokumentů a sdílení obsahu. Všechny vyvinuté nástroje a funkce budou následně integrovány do České digitální knihovny a zpřístupněny všem zapojeným knihovnám prostřednictvím rozhraní Česká digitální knihovna – Orbis Pictus.