Om een hoekje kijken

Met 3D tv-beelden blijft geen detail verborgen. Wat gebeurt er onder de tafel? Wie staat daar stiekem achter de deur?

Zonder speciale bril de hersenen foppen, dat kan met het mede in Delft ontwikkelde Panorama-systeem. De kijker kan hiermee zonder 3D-bril ruimtelijke videobeelden zien. Dat moet videoconferencing net zo natuurlijk maken als een persoonlijke ontmoeting.

Ook zakenlui hoeven niet meer op pad. Zonder jetlag zitten ze rond de tafel met een klant in Japan en de baas in Brazilië. 3D videobeelden maken een gesprek op afstand net zo natuurlijk als een persoonlijke ontmoeting.

Volgens dr.ir. André Redert, voormalig promovendus bij de afdeling Mediamatica van ITS, gaat 3D-tv het helemaal maken. Met de huidige 2D beelden is het nog behelpen. Gebruikers van apparatuur voor videoconferencing klagen over de afwezigheid van ruimtelijk gevoel, de slechte resolutie, trage verbindingen, kleine beelden en het gebrek aan oogcontact.

Samen met onderzoekers uit andere Europese landen ontwikkelde Redert het Panorama-systeem voor 3D videoconferencing, waarin twee personen elkaar — zonder speciale bril — in een ruimtelijk beeld op een scherm zien. De gesprekspartners kunnen elkaars gezicht ook van de zijkant bekijken. ,,Het is het eerste systeem dat real time echte 3D beelden genereert”, zegt Redert, die deze week promoveerde. Zijn onderzoek werd grotendeels betaald door de Europese Commissie, die denkt dat met videoconferencing veel reistijd en -geld bespaard kan worden.

Omniversum

Stereobeelden bestaan al meer dan honderd jaar. Wie kent niet de ouderwetse viewmaster, die uit een simpele kaart met dia’s de prachtigste ruimtelijke beelden tevoorschijn tovert? De diepte in die beelden ontstaat doordat de plaatjes voor beide ogen een klein beetje verschillen. De hersenen zijn gewend om dit verschil te vertalen naar een ruimtelijke structuur (zie kader).

Dit principe wordt ook toegepast in ruimtelijke films, zoals in het Omniversum. Op het scherm worden de films voor het linker- en het rechteroog met verschillende soorten gepolariseerd licht op elkaar geprojecteerd. De toeschouwers krijgen een speciale bril op waarmee ieder oog slechts een van beide films ziet. Redert: ,,In het verleden is ook wel eens geëxperimenteerd met stereobeelden op tv. De kijkers moesten een brilletje opzetten met een rood en een groen glas. Dat was geen succes. Het beeld had rare kleuren. Bovendien willen kijkers niet met een brilletje op de bank zitten.”

Voor de ideale videoconferencing zijn ‘gewone’ stereobeelden niet toereikend. ,,Een echt driedimensionaal beeld verandert als je er vanuit een andere hoek tegenaan kijkt”, zegt Redert. ,,Dat effectkun je met stereobeelden niet nabootsen.”

In zijn laboratorium bij elektrotechniek demonstreert Redert het verschil tussen stereo- en 3D-beelden. Op het beeldscherm verschijnt een kubus die is opgebouwd uit gekleurde blokjes. Een blik door een speciale gepolariseerde bril levert het vertrouwde stereobeeld. ,,Beweeg je hoofd nu maar eens naar links en naar rechts”, zegt Redert. ,,Dan zie je dat de kubus sterk vervormt.”

Met een druk op de knop aan de zijkant van de bril staat de kubus plotseling stil. Het is net alsof hij echt in de ruimte zweeft. Door met het hoofd te bewegen kun je naar believen het linker-, het rechter- of het bovenvlak bekijken. Redert: ,,De computer registreert de bewegingen van het hoofd door middel van een infraroodsignaal. Bij elke beweging genereert de computer het beeld dat past bij de nieuwe kijkrichting.”

Ribbels

In zijn proefschrift beschrijft Redert hoe dit multi-viewpoint-principe wordt gebruikt voor 3D videoconferencing. In het Panorama-systeem zitten twee proefpersonen elk voor een eigen beeldscherm. Twee camera’s met een onderlinge afstand van ongeveer vijftig centimeter filmen één van de proefpersonen. De computer berekent uit deze beelden een driedimensionaal model. Een seconde later verschijnt een afbeelding van dit model bij de ander op het scherm.

Net als bij de kubus registreert de computer de positie van de waarnemer met een infraroodstraal. In plaats van een bril krijgt die alleen een metalen stipje op zijn voorhoofd. Op het scherm presenteert de computer het beeld dat overeenstemt met de kijkrichting.

Om ook het ruimtelijke effect zonder stereobril te kunnen zien, gebruikten de onderzoekers een zogenaamd lenticulair scherm. Zo’n scherm is opgebouwd uit verticale ribbels. Achter elke ribbel zit een deel van het linker en een deel van het rechter beeld. De ribbels werken als een soort lens: ze zorgen ervoor dat de tweede beelden precies op het juiste oog vallen.

Redert heeft aan verschillende onderdelen van het Panorama-systeem bijgedragen. Hij bedacht een slim algoritme om de beelden van de opnamekant over te zenden naar de ontvangstkant. In het driedimensionale model van de opgenomen persoon heeft elke pixel behalve een kleur ook een grijswaarde die de diepte weergeeft. Redert bedacht dat je in plaats van de werkelijke grijswaarde beter het verschil ten opzichte van de vorige pixel kunt oversturen. Omdat de grijswaarde continu varieert, is het verschil altijd plus of min een. ,,Het is eigenlijk te simpel voor woorden, maar dit idee heeft het systeem veel eenvoudiger en sneller gemaakt”, zegt Redert

Vervolgens bekeek hij of de uiteindelijke 3D beelden op het beeldscherm van de ontvanger wel overeenkomen met het oorspronkelijke object. Zijn de oren op het scherm even groot als in het echt? En zitten ze op de goede plaats? Redert bewees wiskundig dat het systeem in theorie honderd procent werkt.

Om zijn theoretische model te toetsen gebruikte hij de opstelling met de kubus. Proefpersonen moesten door de stereobril naar de kubus kijken en opmeten hoe groot die was. De bevindingen klopten goed met het theoretische model. Vervolgens liet Redert het beeld een paarkeer omschakelen tussen een stereoscopisch en een volledig 3D beeld. De proefpersonen vonden het 3D beeld veel mooier. ,,Sommige mensen werden zelfs boos als ik de knop weer terug zette, en ze niet meer boven op de kubus konden kijken.”

Ware grootte

Als vervolg op het Panorama-project doet de TU Delft nu mee aan het programma Virtue, dat begin dit jaar van start ging. Virtue moet een commercieel systeem opleveren waarmee drie gesprekspartners met elkaar kunnen communiceren. Elk van de deelnemers zit aan een half ronde tafel met daarop een groot beeldscherm. Op het scherm ziet elke deelnemer de twee anderen ongeveer op ware grootte.

,,De deelnemers moeten het gevoel hebben dat ze bij elkaar aan tafel zitten”, zegt dr.ir. Emile Hendriks van ITS. ,,Daarvoor moeten ze elkaar echt aan kunnen kijken.” De beelden worden nu niet in stereo afgebeeld, maar net als in het Panorama-systeem kunnen de gebruikers elkaar wel van verschillende kanten bekijken. ,,Voor stereobeelden heb je lenticulaire schermen nodig. Die zijn niet te krijgen in de afmetingen die wij willen gebruiken.”

Diepte

Als we een vaas met daarachter een schilderij bekijken, zien onze ogen elk een ander beeld daarvan. De hersenen berekenen hoe ver die voorwerpen op het linkernetvlies zijn verschoven ten opzicht van het rechter netvlies. Het verschil tussen de afstanden xL en xR is een maat voor de diepte-afstand tussen de waargenomen voorwerpen.

Big Brotherfans moeten nog even geduld hebben. In de toekomst wanen ze zich in het Big Brotherhuis, zonder ook maar een stap buiten de deur te zetten. Met 3D tv-beelden blijft geen detail verborgen. Wat gebeurt er onder de tafel? Wie staat daar stiekem achter de deur?

Zonder speciale bril de hersenen foppen, dat kan met het mede in Delft ontwikkelde Panorama-systeem. De kijker kan hiermee zonder 3D-bril ruimtelijke videobeelden zien. Dat moet videoconferencing net zo natuurlijk maken als een persoonlijke ontmoeting.

Ook zakenlui hoeven niet meer op pad. Zonder jetlag zitten ze rond de tafel met een klant in Japan en de baas in Brazilië. 3D videobeelden maken een gesprek op afstand net zo natuurlijk als een persoonlijke ontmoeting.

Volgens dr.ir. André Redert, voormalig promovendus bij de afdeling Mediamatica van ITS, gaat 3D-tv het helemaal maken. Met de huidige 2D beelden is het nog behelpen. Gebruikers van apparatuur voor videoconferencing klagen over de afwezigheid van ruimtelijk gevoel, de slechte resolutie, trage verbindingen, kleine beelden en het gebrek aan oogcontact.

Samen met onderzoekers uit andere Europese landen ontwikkelde Redert het Panorama-systeem voor 3D videoconferencing, waarin twee personen elkaar — zonder speciale bril — in een ruimtelijk beeld op een scherm zien. De gesprekspartners kunnen elkaars gezicht ook van de zijkant bekijken. ,,Het is het eerste systeem dat real time echte 3D beelden genereert”, zegt Redert, die deze week promoveerde. Zijn onderzoek werd grotendeels betaald door de Europese Commissie, die denkt dat met videoconferencing veel reistijd en -geld bespaard kan worden.

Omniversum

Stereobeelden bestaan al meer dan honderd jaar. Wie kent niet de ouderwetse viewmaster, die uit een simpele kaart met dia’s de prachtigste ruimtelijke beelden tevoorschijn tovert? De diepte in die beelden ontstaat doordat de plaatjes voor beide ogen een klein beetje verschillen. De hersenen zijn gewend om dit verschil te vertalen naar een ruimtelijke structuur (zie kader).

Dit principe wordt ook toegepast in ruimtelijke films, zoals in het Omniversum. Op het scherm worden de films voor het linker- en het rechteroog met verschillende soorten gepolariseerd licht op elkaar geprojecteerd. De toeschouwers krijgen een speciale bril op waarmee ieder oog slechts een van beide films ziet. Redert: ,,In het verleden is ook wel eens geëxperimenteerd met stereobeelden op tv. De kijkers moesten een brilletje opzetten met een rood en een groen glas. Dat was geen succes. Het beeld had rare kleuren. Bovendien willen kijkers niet met een brilletje op de bank zitten.”

Voor de ideale videoconferencing zijn ‘gewone’ stereobeelden niet toereikend. ,,Een echt driedimensionaal beeld verandert als je er vanuit een andere hoek tegenaan kijkt”, zegt Redert. ,,Dat effectkun je met stereobeelden niet nabootsen.”

In zijn laboratorium bij elektrotechniek demonstreert Redert het verschil tussen stereo- en 3D-beelden. Op het beeldscherm verschijnt een kubus die is opgebouwd uit gekleurde blokjes. Een blik door een speciale gepolariseerde bril levert het vertrouwde stereobeeld. ,,Beweeg je hoofd nu maar eens naar links en naar rechts”, zegt Redert. ,,Dan zie je dat de kubus sterk vervormt.”

Met een druk op de knop aan de zijkant van de bril staat de kubus plotseling stil. Het is net alsof hij echt in de ruimte zweeft. Door met het hoofd te bewegen kun je naar believen het linker-, het rechter- of het bovenvlak bekijken. Redert: ,,De computer registreert de bewegingen van het hoofd door middel van een infraroodsignaal. Bij elke beweging genereert de computer het beeld dat past bij de nieuwe kijkrichting.”

Ribbels

In zijn proefschrift beschrijft Redert hoe dit multi-viewpoint-principe wordt gebruikt voor 3D videoconferencing. In het Panorama-systeem zitten twee proefpersonen elk voor een eigen beeldscherm. Twee camera’s met een onderlinge afstand van ongeveer vijftig centimeter filmen één van de proefpersonen. De computer berekent uit deze beelden een driedimensionaal model. Een seconde later verschijnt een afbeelding van dit model bij de ander op het scherm.

Net als bij de kubus registreert de computer de positie van de waarnemer met een infraroodstraal. In plaats van een bril krijgt die alleen een metalen stipje op zijn voorhoofd. Op het scherm presenteert de computer het beeld dat overeenstemt met de kijkrichting.

Om ook het ruimtelijke effect zonder stereobril te kunnen zien, gebruikten de onderzoekers een zogenaamd lenticulair scherm. Zo’n scherm is opgebouwd uit verticale ribbels. Achter elke ribbel zit een deel van het linker en een deel van het rechter beeld. De ribbels werken als een soort lens: ze zorgen ervoor dat de tweede beelden precies op het juiste oog vallen.

Redert heeft aan verschillende onderdelen van het Panorama-systeem bijgedragen. Hij bedacht een slim algoritme om de beelden van de opnamekant over te zenden naar de ontvangstkant. In het driedimensionale model van de opgenomen persoon heeft elke pixel behalve een kleur ook een grijswaarde die de diepte weergeeft. Redert bedacht dat je in plaats van de werkelijke grijswaarde beter het verschil ten opzichte van de vorige pixel kunt oversturen. Omdat de grijswaarde continu varieert, is het verschil altijd plus of min een. ,,Het is eigenlijk te simpel voor woorden, maar dit idee heeft het systeem veel eenvoudiger en sneller gemaakt”, zegt Redert

Vervolgens bekeek hij of de uiteindelijke 3D beelden op het beeldscherm van de ontvanger wel overeenkomen met het oorspronkelijke object. Zijn de oren op het scherm even groot als in het echt? En zitten ze op de goede plaats? Redert bewees wiskundig dat het systeem in theorie honderd procent werkt.

Om zijn theoretische model te toetsen gebruikte hij de opstelling met de kubus. Proefpersonen moesten door de stereobril naar de kubus kijken en opmeten hoe groot die was. De bevindingen klopten goed met het theoretische model. Vervolgens liet Redert het beeld een paarkeer omschakelen tussen een stereoscopisch en een volledig 3D beeld. De proefpersonen vonden het 3D beeld veel mooier. ,,Sommige mensen werden zelfs boos als ik de knop weer terug zette, en ze niet meer boven op de kubus konden kijken.”

Ware grootte

Als vervolg op het Panorama-project doet de TU Delft nu mee aan het programma Virtue, dat begin dit jaar van start ging. Virtue moet een commercieel systeem opleveren waarmee drie gesprekspartners met elkaar kunnen communiceren. Elk van de deelnemers zit aan een half ronde tafel met daarop een groot beeldscherm. Op het scherm ziet elke deelnemer de twee anderen ongeveer op ware grootte.

,,De deelnemers moeten het gevoel hebben dat ze bij elkaar aan tafel zitten”, zegt dr.ir. Emile Hendriks van ITS. ,,Daarvoor moeten ze elkaar echt aan kunnen kijken.” De beelden worden nu niet in stereo afgebeeld, maar net als in het Panorama-systeem kunnen de gebruikers elkaar wel van verschillende kanten bekijken. ,,Voor stereobeelden heb je lenticulaire schermen nodig. Die zijn niet te krijgen in de afmetingen die wij willen gebruiken.”

Diepte

Als we een vaas met daarachter een schilderij bekijken, zien onze ogen elk een ander beeld daarvan. De hersenen berekenen hoe ver die voorwerpen op het linkernetvlies zijn verschoven ten opzicht van het rechter netvlies. Het verschil tussen de afstanden xL en xR is een maat voor de diepte-afstand tussen de waargenomen voorwerpen.