Blog


Resultaten tweede evaluatie

Geplaatst 10 mei 2010 06:08 door Willem Van den Eynde

In de eerste versie van mijn systeem kon je foto's nemen, bekijken en afdrukken. Aan de hand van de eerste evaluatie heb ik dit systeem verbeterd en uitgebreid met een panorama- en een galerij-functie. De voorbije weken heb ik deze nieuwe, uitgebreidere versie laten evalueren door een 12-tal gebruikers. De evaluatie toont aan dat de verbeteringen hun effect gehad hebben en dat de nieuwe panorama-functie verbeterd kan worden door meer feedback te geven. 

Gebruikers

Twaalf gebruikers namen deel aan de evaluatie: 6 testpersonen van de KULeuven en 6 testpersonen van de studentenresidentie Juntos. De helft van de gebruikers hadden de eerste versie mee helpen evalueren. De andere helft waren gebruikers die het systeem nog nooit gebruikt hadden. Dit gemengd publiek heeft zijn reden. Van de oude gebruikers wou ik te weten komen of ze het systeem daadwerkelijk verbeterd was tegenover de vorige versie. Aan de hand van de nieuwe gebruikers wil ik nagaan wat er nog overblijft van de negatieve commentaren na mijn verbeteringen aan de navigatie en markerherkenning.
  • 12 testpersonen
    • 6 KULeuven
      • 3 nieuwe gebruikers
      • 3 oude gebruikers
    • 6 studentenresidentie Juntos
      • 3 nieuwe gebruikers
      • 3 oude gebruikers

Verbeteringen

Tijdens de eerste evaluatie gaven de gebruikers als opmerking dat de navigatie van de foto's moeilijk te bedienen was. Ze wisten me te melden dat de bediening te traag was en niet altijd reageerde. Mijn oplossing bestaat erin een soort momentum toe te voegen aan de foto's, waardoor deze langer in beweging blijven. Doordat ze langer in beweging blijven zijn er minder "scroll-bewegingen" nodig dan in de eerste versie. Aangezien deze twee punten zo opmerkelijk naar voren kwamen tijdens deze eerste testversie heb ik deze extra bevraagd in mijn tweede evaluatie sessie. 

 
De grafiek toont het aantal negatieve reacties in de vorige versie (blauw) en de nu verbeterde versie (rood). 

De bovenstaande grafiek toont de aantal negatieve reactie tussen de twee testversies op het gebied van navigatie en markerherkenning. Er zijn nog steeds negatieve reacties omtrent de navigatie, zo wouden ze "een meer precieze controle". Ook waren er nog enkele negatieve opmerkingen rond de markerherkenning, dit kwam bijvoorbeeld door sterke tegenbelichting en oranje gloed van lampen. Deze zorgde ervoor dat de markers niet goed meer herkend konden worden. Wel is het duidelijk dat er een zeer drastische daling is bij het frustratie-niveau bij zowel het navigeren als herkennen van markers. 

Think-a-loud

 
 De grafiek toont de resultaten van de think-a-loud van de verbeterde versie. 

Net zoals tijdens de eerste evaluatie versie heb ik ook tijdens deze evolutie sessie tijd genomen voor een think a loud. Dit heeft als doel de zwakkere punten van het systeem naar boven te halen. Opmerkelijk tijdens deze sessie was de nieuwe panorama-functie.

Deze nieuwe functie moet volgens enkele gebruikers verbeterd worden. Het duurt even vooraleer de panorama-foto verwerkt is. De gebruikers wisten niet goed wanneer de foto gelukt en of verwerkt was. Concreet houdt het probleem in dat ze niet juist weten wanneer de verwerking afgelopen was of die nog bezig was. Een zandlopertje, progress-bar of iets dergelijks kan dit probleem oplossen. 

Positie marker om foto's te navigeren

Op de foto-marker worden de foto's getoond die de gebruikers getrokken hebben. In de vorige versie bestond de foto-marker uit een stuk karton die de gebruikers in hun handen vasthielden.  In de verbeterde versie is die kartonnen versie vervangen door een sticker-versie die je op je hand kon plaatsen. Het was altijd al de bedoeling geweest om de foto's op de hand te tonen. Met de kartonnen versie legden de gebruikers de marker soms neer terwijl het de bedoeling was dat je de marker altijd meenam.

Ik heb aan de gebruikers gevraagd waar ze de nieuwe sticker zouden plaatsen. De voorkeur van de meeste gebruikers ging uit naar de sticker te plakken op de buitenkant van hun hand.

 
De grafiek toont dat de meetste mensen de nieuwe sticker-foto-marker op de buitenkant van hun hand houden.


Thesis-meeting 3-5-2010

Geplaatst 3 mei 2010 03:02 door Willem Van den Eynde

Waren aanwezig: Bram, Sten en mezelf.

Besproken:

  • evaluatie
    • reeds 5 gebruikers van kot laten evalueren
    • nog 5 of meer mensen evalueren van KULeuven dinsdagvoormiddag
    • ook nieuwe gebruikers vragen
      • onderscheid maken tussen nieuwe en oude gebruikers
      • nieuwe gebruikers ondervragen om bias van oude gebruikers te vermijden
  • thesistekst
    • niet wachten tot op het laatste voor besluit, nu al over nadenken
    • kijken naar richtlijnen eindwerken op site departement
  • planning en TODO
    • thesis-meetings gaan dinsdag om 10u door ipv 's maandags
    • voor het begin van de werkweek hoofdstukken doorlezen, feedback op dinsdag 
    • literatuurstudie tegen volgende week uitschrijven
    • nadenken over besluit
    • niet enkel evalueren deze week

Thesis-meeting 26-4-2010

Geplaatst 28 apr. 2010 01:16 door Willem Van den Eynde

Waren aanwezig: Bram, Sten en mezelf

Besproken:

  • test webcam besproken
  • voorbereiding presentatie overlopen
  • TODO
    • literatuurstudie updaten
      • is er ondertussen nog iets nieuws bijgekomen?
    • evaluatie starten

Presentatie 26-4-2010

Geplaatst 25 apr. 2010 10:07 door Willem Van den Eynde   [ 28 apr. 2010 01:15 bijgewerkt ]

presentatie april


Test nieuwe webcam: Playstation Eye

Geplaatst 19 apr. 2010 13:18 door Willem Van den Eynde   [ 19 apr. 2010 14:22 bijgewerkt ]

Bram stelde voor een andere camera uit te proberen, waardoor de markers beter herkend zouden kunnen worden. Als je nu je de markers iets te snel beweegt, worden die niet meer herkent omwille van motion blur. Deze motion blur ontstaat door een kleine sluitertijd (of door andere foefjes waar goedkope webcams onder lijden).

Hieronder volgen twee filmpjes en screenshots: bovenaan staat de thresholded-afbeelding zoals die gebruikt wordt om de marker te herkennen en onderaan staat de originele afbeelding.

 Oude webcam: Logitech Quickcam 9000
 Nieuwe webcam: Playstation Eye
 

YouTube-video

 

YouTube-video

 
 
Er is veel motion blur waardoor de marker slechter herkend wordt: het woord "Hiro" is nauwelijks herkenbaar.
 Er is veel minder motion blur waardoor de marker beter herkend wordt: het woord "Hiro" is hier nog perfect leesbaar.

Nog twee vergelijkende video's waarbij 2 klein bewegende markers herkend moeten worden:
   Oude webcam: Logitech Quickcam 9000 Nieuwe webcam: Playstation Eye

YouTube-video

YouTube-video



Uit bovenstaande vergelijking blijkt dat de Playstation Eye beter de bewegende markers herkent dan de Logitech Quickcam 9000 die ik voordien gebruikte.
  

Thesis-meeting 19/4/2010

Geplaatst 19 apr. 2010 02:16 door Willem Van den Eynde

Waren aanwezig: Bram en mezelf.

Besproken:

  • Bram was er de voorbije 2 meetings niet, daarom heb ik met hem samen de vorige meetings overlopen
  • Vorige week gewerkt aan:
    • concurrency toevoegen aan panorama-gedeelte
    • algoritme geschreven om snelle bewegingen te detecteren adhv een array van markers
    • paper en code uitgetest om van een 2d afbeelding om te vormen naar 3d
  • Tips voor presentatie
    • 1 minuut inleiding over AR en thesisonderwerp
    • alles kort uitleggen wat de evaluatie voorafging
    • uitleggen hoe het AR-systeem eruit ziet
    • hoe heb je geëvalueerd
    • wat waren de resultaten
    • wat heb je gedaan om het systeem te verbeteren + argumentatie
    • demo geven, maar ook een filmpje maken als backup
  • thesistekst maken in Latex, maar doorsturen als pdf
    • NU al beginnen om "risico te spreiden"
  • presentatie maandag 26 april
  • Planning
    • doel: volgende week beginnen met evaluatie
      • daarvoor moet deze week alles goed werken
      • ook werken aan tekst deze week
  • TODO:
    • slides presentatie doorsturen
    • thesistekst outline uitbreiden
      • 5 à 10-tal puntjes per hoofdstuk opsommen
    • niet teveel tijd meer steken om van een 2d-foto naar een 3d-afbeelding te gaan
    • demo verder uitwerken
    • evaluatie voorbereiding verder uitwerken
    • playstation eye webcam uittesten
      • zou mogelijk minder motion blur moeten geven

Thesis-meeting 12-4-2010

Geplaatst 12 apr. 2010 00:49 door Willem Van den Eynde

Waren aanwezig:

Besproken:

  • demo panorama
    •  
       
       
       
      eerste foto
       tweede foto
       derde foto
       vierde foto
       
       panorama gemaakt uit bovenstaande foto's

    • ik gebruik panorama-tools (hugins) om de panorama te maken, dikwijls werkt een andere gelijkaardige tool PTGui beter.
       Soms wordt foto slecht gecropt

    • nog te doen
      • threading
  • deze week:
    • panorama verbeteren
    • exhibition
    • evaluatie voorbereiden
  • Tegen volgende week nieuwe demo

Thesis-meeting 6-4-2010

Geplaatst 1 apr. 2010 00:59 door Willem Van den Eynde

Waren aanwezig: Sten en mezelf. Bram is naar Senegal.

Besproken:
  •  Voorbije week:
    • planning update
      • komende twee weken werken aan panorama en photo-exhibition
      • daarna evaluatie
    • outline thesistekst
    • navigatie: geselecteerde foto groter en op voorgrond, momentum, multiple marker
    • panorama op marker
    • multiArray probeersel om vlugge bewegingen te herkennen
    • markers z-axis: pose estimation geeft een fout van 6cm
  • Panorama:
    • transform 2d image to 3d
    • Structure From Motion
    • interview gebruikers
      • panorama nemen: vingers toe houden, horizontaal bewegen
        • implementatie:
          • adhv tijd
          • adhv features tracken: maar hoe iets vlug en effectief tracken
      • exhibition: marker tegen muur houden
        • mozaïek cfr film "Bunny Bull" (Sten)
  • Eens een betere camera proberen (vragen aan Bram)
    • zou onder meer beter moeten kunnen omgaan met motion blur, waardoor de markers beter herkend worden bij kleine bewegingen
  • Na de paasvakantie nieuwe demo met panorama nemen en photo-exhibition

Thesis-meeting 29-3-2010

Geplaatst 29 mrt. 2010 02:18 door Willem Van den Eynde   [ 2 jun. 2010 05:03 bijgewerkt ]

Waren aanwezig: Bram, Sten en mezelf

Besproken:

  • resultaten evaluatie
  • De presentatie komt eraan:
  • Deze week
    • belangrijkste pijnpunten aanpakken: zie verbeteringen hierboven
    • outline tekst
      • al een paar weken aan het uitstellen, nu zal ik dit eerst doen vooraleer aan iets anders te beginnen
    • planning updaten
    • uitbreidingen
      • prototypen
      • gebruikers ondervragen
      • => moet in het algemeen nog iets concreter zijn

Resultaten think-a-loud

Geplaatst 25 mrt. 2010 07:35 door Willem Van den Eynde   [ 25 mrt. 2010 08:07 bijgewerkt ]

Doelstelling

De eerste doelstelling uit mijn evaluatie was een goed overzicht te krijgen van de pijnpunten van het systeem adhv een think-a-loud en vragenlijst. Planning evaluatie

Resultaten

Wanneer een gebruiker iets vervelend of juist iets leuk vond kreeg dit respectievelijk een negatief(rood) of een positief(groen) punt. Elke gebruiker heeft een nummer wat een makkelijke referentie is voor mezelf.


http://spreadsheets.google.com/pub?key=t3fmyWgreb8kfIK3CilPM4A&output=html

Aan de ene kant was de algemene indruk dat Augmented Reality erg "cool" is, aan de andere kant mag het systeem een stuk robuuster zijn: de markers worden niet goed herkend bij snelle bewegingen en slechte belichting. Dit wordt erger naarmate de markers kleiner worden.

1-10 of 72

Comments