مورد إلكتروني
Informazio espaziala aztertzen eredu multimodaletan
| العنوان: | Informazio espaziala aztertzen eredu multimodaletan |
|---|---|
| بيانات النشر: | 2022-12-23 |
| تفاصيل مُضافة: | Azkune Galparsoro, Gorka Salaberria Saizar, Ander Máster Universitario en Ingeniería Computacional y Sistemas Inteligentes Konputazio Ingeniaritza eta Sistema Adimentsuak Unibertsitate Masterra Máster Universitario en Ingeniería Computacional y Sistemas Inteligentes Konputazio Ingeniaritza eta Sistema Adimentsuak Unibertsitate Masterra Atxa Landa, Eneko |
| نوع الوثيقة: | Electronic Resource |
| مستخلص: | Lan honetan, irudiak eta testua prozesatzen dituzten transformer multimodalak aztertu dira, irudiak prozesatzeko garaian objektuen posizioa kodetzeko duten eran sakonduz. Ikerketa hori egiteko, objektuen posizioa kodetzeko modu, edo spatial embedding, desberdinak konparatu dira elkarren artean. Oinarritzat VisualBERT izeneko transformer multimodal bat hartu da, zeinak ez duen spatial embeddingik erabiltzen izatez, eta hainbat embedding inplementatu dira eta elkarren artean konparatu. Visual question answering (VQA) hartu da konparatzeko erabiliko den ataza bezala, zeinetan irudi bat eta honen gaineko galdera bat hartuta galderari erantzun behar zaion. Bertan ikusiko da ea spatial embedding desberdinek nolako eragina duten galderei erantzuterako garaian. VQA v2.0 datu-multzoa erabiliko da probak egiteko hasieran, atazari lotua dagoen datu-multzoa izanik. Ondoren, honen azpimultzo bat egingo da, galdera espazialek soilik osaturiko instantziak hartuz, ikusteko, espezifikoki arrazonamendu espazialean nolako eragina duen. Gainera, beste bi transformer multimodalekin konparatuko da VisualBERT, LxMERT eta ViLTekin, hauek integratzen dituztelako spatial embeddingak hasieratik, eta beraz, ondorioak ateratzen lagundu dezakeelako konparaketa honek. Esperimentazio eta konparaketaren ondoren, hainbat ondorio aterako dira: lehenik, ikusiko da, spatial embeddingek ez dutela diferentziarik suposatzen VQA atazan VisualBERT erabiltzerakoan. Gainera, honen arrazoia, ziurrenik, sareen aurre-entrenamendua dela argudiatuko da, informazio espaziala erabiltzen ikasteko fine-tuning fasea nahikoa ez dela ondorioztatuz. Horiek horrela, etorkizunerako hainbat ikerketa proposamen egingo dira, spatial embeddingak hobeto erabiltzen ikasteko helburuarekin. |
| مصطلحات الفهرس: | ikaskuntza sakona, ataza multimodalak, transformerrak, ikusmen artifiziala, lengoaia naturalen prozesamendua, info:eu-repo/semantics/masterThesis |
| URL: | |
| الإتاحة: | Open access content. Open access content |
| ملاحظة: | Basque Spanish |
| أرقام أخرى: | ESUPV oai:addi.ehu.eus:10810/58980 1364679613 |
| المصدر المساهم: | REPOSITORIO DE LA UNIVERSIDAD DEL PAIS From OAIster®, provided by the OCLC Cooperative. |
| رقم الأكسشن: | edsoai.on1364679613 |
| قاعدة البيانات: | OAIster |
| الوصف غير متاح. |