Onze beeldcultuur produceert in hoog tempo pakhuizen vol videomateriaal. Het archiveren hiervan is nu nog mensenwerk, maar binnenkort houdt uw videorecorder zelf bij wat hij opneemt. Over het nakende einde van de tv-commercial.
Informatietheorie
Hijgerige futurologen voorspellen het al jaren. De televisie en de computer zullen versmelten tot een epicentrum van ongekend vertier en informatie. Van die claim is nog niet veel terechtgekomen. Aandacht opeisende verlengstukken voor de beeldbuis, zoals de CD-I en WebTV, konden de couch potato niet bekoren. De apparaten stierven een stille dood. Interactie en tv, het lijkt gewoon niet te klikken.
De werkelijke revolutie op tv-gebied zou wel eens kunnen komen van een apparaat dat bijna iedereen in huis heeft. De videorecorder, die zijn belofte van uitgesteld en zorgeloos kijkgemak nooit helemaal heeft waargemaakt, is aan een tweede jeugd bezig.
Tapes zijn in elk geval passé denkt Alan Hanjalic, docent visual content management bij ITS. ,,Iedereen kan straks honderden uren aan tv-uitzendingen op een harddisk opnemen”, voorspelt hij. ,,En de productie aan multimedia informatie neemt alleen maar toe. De manier waarop we met al dat materiaal omgaan zal dus moeten veranderen.”
Hanjalic promoveert 7 december op een automatisch beeldanalyse-systeem. Dat is vooral bedoeld om het materiaal in grote mediatheken te indexeren, maar het kan thuis ook goede diensten bewijzen. Het televisietoestel en de computer komen elkaar hierbij weer tegen. Niet om de kijker weer eens tot interactiviteit aan te sporen, maar juist het tegenovergestelde. De kijker raadpleegt zijn omroepgids straks namelijk niet meer, en laat de programmaselectie volledig aan zijn videorecorder over.
Het beloven barre tijden voor de programmabladen te worden. Over een paar jaar is het zover. ,,Dan worden digitale televisieuitzendingen de standaard”, licht Hanjalic toe. ,,Daarmee kun je veel meer programma-informatie meezenden dan nu het geval is. Op basis van gebruikersprofielen weet de videorecorder dan precies welke uitzendingen voor de eigenaar interessant zijn. De opnames worden door de recorder bovendien geïndexeerd, zodat de kijker snel van programma naar programma kan zappen.”
Handig
2 Het systeem heeft gen problemen met het herkennen van de nieuwslezer Illustratie: Gripp
De in Amerika verkrijgbare TiVo en ReplayTV zijn hiervan de eerste voorboden. Deze personal tv receivers dumpen tientallen uren aan tv-programma’s op een harddisk. Via internet halen de apparaten dagelijks het programmamenu op.
Van 1995 tot 1998 werkte Hanjalic mee aan de volgende generatie videorecorders. In het project Smash (Storage for Multimedia Systems in the Home), onderzochten enkele Europese elektronicafabrikanten en onderzoeksinstituten wat digital video broadcasting allemaal vermag. Dat ging stukken verder dan TiVo en ReplayTV. De promovendus hield zich vooral bezig met de analyse van het videomateriaal. Het is de bedoeling dat de toekomstige videorecorder zelf programmaonderdelen kan herkennen.
,,De programma-informatie die met digitale tv-uitzendingen kan worden meegestuurd is beperkt. Je kunt bijvoorbeeld het begin van elk programma doorseinen met een globale inhoudsgave erbij. Maar het zou ook handig zijn als je de meest interessante delen van de uitzending kunt opzoeken. Bepaalde scènes van een film, het weerbericht, of een doelpunt van een basketbalwedstijd.”
Automatische patroonherkenning, nu al met redelijk succes ingezet voor het lezen van handschrift, kan hier soelaas bieden. ,,Begin jaren negentig kwamen de eerste ideeën hierover los, met name op Stanford, Berkely en MIT”, vertelt Hanjalic. ,,En de vraag naar systemen die visuele informatie zelf kunnen analyseren en indexeren neemt toe. Dat is vooral van belang voor grote video-archieven. Een journalist die beelden zoekt voor een rapportage, kan met zo’n systeem snel vinden wat hij zoekt.”
Maar hoe leer je een apparaat tv-kijken? ,,Als je een nieuwsprogramma ziet, weet je meteen waar het nieuws ophoudt en de reclame begint. En dat weet je binnen een fractie van een seconde. Je moet een manier vinden om deze menselijke cognitie tevertalen in de technische mogelijkheden die je hebt.”
Hoe het menselijk brein dit kunstje flikt, weet echter niemand. De onderzoeker draaide de vraag daarom om. In plaats van de kijker ontleedde hij het beeldmateriaal. Hij maakte een model van een film.
,,De film heb ik gedefinieerd als een serie episodes waarvan de globale consistentie van het beeldmateriaal gelijk is. Een filmdialoog kun je makkelijk herkennen. Eerst zegt persoon A iets, dan persoon B, dan is weer persoon A weer in beeld, enzovoorts. Die opeenvolging is heel kenmerkend. En dat zie je ook in het audio- en videosignaal terug. Zo is voor vrijwel elke soort scene een typerende verzameling eigenschappen te vinden.”
Harder
In het jargon van de informatietheorie heten die kenmerken low level features. Deze verschillen per programma. Het journaal heeft ook op signaalniveau andere karakteristieken dan een wasmiddelenreclame.
,,Een simpel kenmerk is dat het geluidsvolume toeneemt. Reclames klinken altijd harder dan de programma’s waar ze tussen zitten. Verder zijn er verschillen in het beeldsignaal. Dat van een nieuwslezer is statisch, er zit weinig verandering in. Bij reclames beginnen bepaalde kenmerken, zoals het kleurgebruik, juist wild te oscilleren. Voor sport gelden weer andere features, snelle bewegingen bijvoorbeeld. Zo kan je programmasoorten makkelijk uit elkaar houden.”
Nu is reclame om meerdere redenen een makkie. Spotjes worden immers vaak op vaste tijdstippen uitgezonden. Het analyseren van films is echter andere koek. Hanjalic had drie jaar nodig om zijn algoritmen te verfijnen. De computerinstructies werden vervolgens getest op Four Weddings and a Funeral en Jurassic Park.
Dat was een bewuste keuze, benadrukt hij. ,,Deze films zijn zeer verschillend. Four Weddings is vrij rustig, terwijl Jurassic Park van de ene actiescene naar de andere springt. Dat is dus goed testmateriaal.”
Het systeem stelde niet teleur. Ongeveer driekwart van de filmscènes werd als zodanig herkend. Een kwestie van statistiek. ,,Elk scene heeft binnen een reeks opeenvolgende frames, de losse beelden, vaak dezelfde hoeveelheid kenmerken. Je kunt bijvoorbeeld naar het kleurhistogram kijken. Dat verandert van frame tot frame maar heel geleidelijk. Door nu naar de plekken te zoeken waar die verandering plots toeneemt, kun je de grenzen van de scène vinden.”
Door een tijdje vooruit te kijken, kan het systeem aardig inschatten waar de confronterende dialoog stopt en de wilde achtervolging begint. Het apparaat laadt daarvoor eerst een deel van de uitzending in zijn geheugen. Daarna worden clusters van kenmerken in het afgespeelde frame vergeleken met de features van frames die verder op de harde schijf staan. Zolang de overeenkomst rond de vijftig tot zeventig procent is, zit het er dik in dat het dezelfde scene is.
Abstract
,,Het gaat erom dat de visuele compositie over langere termijn ongeveer gelijk is”, preciseert Hanjalic. ,,Het apparaat kijkt gewoon hoever het komt. Ondertussen speelt het apparaat het programma in zijn buffer alvast af. De kijker ziet de uitzending dus vertraagd, in delayed real-time. Dat is nodig omdat het algoritme een aantal shots vooruit moet kunnen kijken.”
Regisseurs zullen het niet eens zijn met zijn definitie van een film. Het algoritme werkt dan ook niet geheel probleemloos. ,,De low level features geven soms geen uitsluitsel”, erkent hij. ,,Een film is ook een artistiek product en de verschillen tussen scènes zijn soms meer filmisch abstract dan fysisch meetbaar. Je moet dus rekenen op een slaagkans van rond de vijfenzeventig procent. Als de ene scène eindigt met een Schots heuvellandschapland en andere begint daar ook mee, dan heb je een probleem.”
Bij het detecteren van commercials rond nieuwsuitzendingen is de kans op succes echter 95 tot 100 procent. Door eliminatie kan het systeem de luiers eenvoudig van het wereldleed scheiden. ,,Het voordeel van nieuws is dat je niet alles hoeft te analyseren. Het journaal heeft namelijk een makkelijk format. Je hebt de reportages, de nieuwslezer en eventueel reclames tussendoor. De beelden met de lezer en de commercials kun je vrij makkelijk herkennen. En de rest is dus reportage.”
Daar komt nog bij dat de toekomstige videorecorder ook het programmaoverzicht krijgt meegezonden. Het schiften van de spotjes is dan zo gepiept. Slecht nieuws dus voor de reclamemakers? ,,Tja”, grinnikt Hanjalic.
,
Informatietheorie
Hijgerige futurologen voorspellen het al jaren. De televisie en de computer zullen versmelten tot een epicentrum van ongekend vertier en informatie. Van die claim is nog niet veel terechtgekomen. Aandacht opeisende verlengstukken voor de beeldbuis, zoals de CD-I en WebTV, konden de couch potato niet bekoren. De apparaten stierven een stille dood. Interactie en tv, het lijkt gewoon niet te klikken.
De werkelijke revolutie op tv-gebied zou wel eens kunnen komen van een apparaat dat bijna iedereen in huis heeft. De videorecorder, die zijn belofte van uitgesteld en zorgeloos kijkgemak nooit helemaal heeft waargemaakt, is aan een tweede jeugd bezig.
Tapes zijn in elk geval passé denkt Alan Hanjalic, docent visual content management bij ITS. ,,Iedereen kan straks honderden uren aan tv-uitzendingen op een harddisk opnemen”, voorspelt hij. ,,En de productie aan multimedia informatie neemt alleen maar toe. De manier waarop we met al dat materiaal omgaan zal dus moeten veranderen.”
Hanjalic promoveert 7 december op een automatisch beeldanalyse-systeem. Dat is vooral bedoeld om het materiaal in grote mediatheken te indexeren, maar het kan thuis ook goede diensten bewijzen. Het televisietoestel en de computer komen elkaar hierbij weer tegen. Niet om de kijker weer eens tot interactiviteit aan te sporen, maar juist het tegenovergestelde. De kijker raadpleegt zijn omroepgids straks namelijk niet meer, en laat de programmaselectie volledig aan zijn videorecorder over.
Het beloven barre tijden voor de programmabladen te worden. Over een paar jaar is het zover. ,,Dan worden digitale televisieuitzendingen de standaard”, licht Hanjalic toe. ,,Daarmee kun je veel meer programma-informatie meezenden dan nu het geval is. Op basis van gebruikersprofielen weet de videorecorder dan precies welke uitzendingen voor de eigenaar interessant zijn. De opnames worden door de recorder bovendien geïndexeerd, zodat de kijker snel van programma naar programma kan zappen.”
Handig
2 Het systeem heeft gen problemen met het herkennen van de nieuwslezer Illustratie: Gripp
De in Amerika verkrijgbare TiVo en ReplayTV zijn hiervan de eerste voorboden. Deze personal tv receivers dumpen tientallen uren aan tv-programma’s op een harddisk. Via internet halen de apparaten dagelijks het programmamenu op.
Van 1995 tot 1998 werkte Hanjalic mee aan de volgende generatie videorecorders. In het project Smash (Storage for Multimedia Systems in the Home), onderzochten enkele Europese elektronicafabrikanten en onderzoeksinstituten wat digital video broadcasting allemaal vermag. Dat ging stukken verder dan TiVo en ReplayTV. De promovendus hield zich vooral bezig met de analyse van het videomateriaal. Het is de bedoeling dat de toekomstige videorecorder zelf programmaonderdelen kan herkennen.
,,De programma-informatie die met digitale tv-uitzendingen kan worden meegestuurd is beperkt. Je kunt bijvoorbeeld het begin van elk programma doorseinen met een globale inhoudsgave erbij. Maar het zou ook handig zijn als je de meest interessante delen van de uitzending kunt opzoeken. Bepaalde scènes van een film, het weerbericht, of een doelpunt van een basketbalwedstijd.”
Automatische patroonherkenning, nu al met redelijk succes ingezet voor het lezen van handschrift, kan hier soelaas bieden. ,,Begin jaren negentig kwamen de eerste ideeën hierover los, met name op Stanford, Berkely en MIT”, vertelt Hanjalic. ,,En de vraag naar systemen die visuele informatie zelf kunnen analyseren en indexeren neemt toe. Dat is vooral van belang voor grote video-archieven. Een journalist die beelden zoekt voor een rapportage, kan met zo’n systeem snel vinden wat hij zoekt.”
Maar hoe leer je een apparaat tv-kijken? ,,Als je een nieuwsprogramma ziet, weet je meteen waar het nieuws ophoudt en de reclame begint. En dat weet je binnen een fractie van een seconde. Je moet een manier vinden om deze menselijke cognitie tevertalen in de technische mogelijkheden die je hebt.”
Hoe het menselijk brein dit kunstje flikt, weet echter niemand. De onderzoeker draaide de vraag daarom om. In plaats van de kijker ontleedde hij het beeldmateriaal. Hij maakte een model van een film.
,,De film heb ik gedefinieerd als een serie episodes waarvan de globale consistentie van het beeldmateriaal gelijk is. Een filmdialoog kun je makkelijk herkennen. Eerst zegt persoon A iets, dan persoon B, dan is weer persoon A weer in beeld, enzovoorts. Die opeenvolging is heel kenmerkend. En dat zie je ook in het audio- en videosignaal terug. Zo is voor vrijwel elke soort scene een typerende verzameling eigenschappen te vinden.”
Harder
In het jargon van de informatietheorie heten die kenmerken low level features. Deze verschillen per programma. Het journaal heeft ook op signaalniveau andere karakteristieken dan een wasmiddelenreclame.
,,Een simpel kenmerk is dat het geluidsvolume toeneemt. Reclames klinken altijd harder dan de programma’s waar ze tussen zitten. Verder zijn er verschillen in het beeldsignaal. Dat van een nieuwslezer is statisch, er zit weinig verandering in. Bij reclames beginnen bepaalde kenmerken, zoals het kleurgebruik, juist wild te oscilleren. Voor sport gelden weer andere features, snelle bewegingen bijvoorbeeld. Zo kan je programmasoorten makkelijk uit elkaar houden.”
Nu is reclame om meerdere redenen een makkie. Spotjes worden immers vaak op vaste tijdstippen uitgezonden. Het analyseren van films is echter andere koek. Hanjalic had drie jaar nodig om zijn algoritmen te verfijnen. De computerinstructies werden vervolgens getest op Four Weddings and a Funeral en Jurassic Park.
Dat was een bewuste keuze, benadrukt hij. ,,Deze films zijn zeer verschillend. Four Weddings is vrij rustig, terwijl Jurassic Park van de ene actiescene naar de andere springt. Dat is dus goed testmateriaal.”
Het systeem stelde niet teleur. Ongeveer driekwart van de filmscènes werd als zodanig herkend. Een kwestie van statistiek. ,,Elk scene heeft binnen een reeks opeenvolgende frames, de losse beelden, vaak dezelfde hoeveelheid kenmerken. Je kunt bijvoorbeeld naar het kleurhistogram kijken. Dat verandert van frame tot frame maar heel geleidelijk. Door nu naar de plekken te zoeken waar die verandering plots toeneemt, kun je de grenzen van de scène vinden.”
Door een tijdje vooruit te kijken, kan het systeem aardig inschatten waar de confronterende dialoog stopt en de wilde achtervolging begint. Het apparaat laadt daarvoor eerst een deel van de uitzending in zijn geheugen. Daarna worden clusters van kenmerken in het afgespeelde frame vergeleken met de features van frames die verder op de harde schijf staan. Zolang de overeenkomst rond de vijftig tot zeventig procent is, zit het er dik in dat het dezelfde scene is.
Abstract
,,Het gaat erom dat de visuele compositie over langere termijn ongeveer gelijk is”, preciseert Hanjalic. ,,Het apparaat kijkt gewoon hoever het komt. Ondertussen speelt het apparaat het programma in zijn buffer alvast af. De kijker ziet de uitzending dus vertraagd, in delayed real-time. Dat is nodig omdat het algoritme een aantal shots vooruit moet kunnen kijken.”
Regisseurs zullen het niet eens zijn met zijn definitie van een film. Het algoritme werkt dan ook niet geheel probleemloos. ,,De low level features geven soms geen uitsluitsel”, erkent hij. ,,Een film is ook een artistiek product en de verschillen tussen scènes zijn soms meer filmisch abstract dan fysisch meetbaar. Je moet dus rekenen op een slaagkans van rond de vijfenzeventig procent. Als de ene scène eindigt met een Schots heuvellandschapland en andere begint daar ook mee, dan heb je een probleem.”
Bij het detecteren van commercials rond nieuwsuitzendingen is de kans op succes echter 95 tot 100 procent. Door eliminatie kan het systeem de luiers eenvoudig van het wereldleed scheiden. ,,Het voordeel van nieuws is dat je niet alles hoeft te analyseren. Het journaal heeft namelijk een makkelijk format. Je hebt de reportages, de nieuwslezer en eventueel reclames tussendoor. De beelden met de lezer en de commercials kun je vrij makkelijk herkennen. En de rest is dus reportage.”
Daar komt nog bij dat de toekomstige videorecorder ook het programmaoverzicht krijgt meegezonden. Het schiften van de spotjes is dan zo gepiept. Slecht nieuws dus voor de reclamemakers? ,,Tja”, grinnikt Hanjalic.
Informatietheorie
Hijgerige futurologen voorspellen het al jaren. De televisie en de computer zullen versmelten tot een epicentrum van ongekend vertier en informatie. Van die claim is nog niet veel terechtgekomen. Aandacht opeisende verlengstukken voor de beeldbuis, zoals de CD-I en WebTV, konden de couch potato niet bekoren. De apparaten stierven een stille dood. Interactie en tv, het lijkt gewoon niet te klikken.
De werkelijke revolutie op tv-gebied zou wel eens kunnen komen van een apparaat dat bijna iedereen in huis heeft. De videorecorder, die zijn belofte van uitgesteld en zorgeloos kijkgemak nooit helemaal heeft waargemaakt, is aan een tweede jeugd bezig.
Tapes zijn in elk geval passé denkt Alan Hanjalic, docent visual content management bij ITS. ,,Iedereen kan straks honderden uren aan tv-uitzendingen op een harddisk opnemen”, voorspelt hij. ,,En de productie aan multimedia informatie neemt alleen maar toe. De manier waarop we met al dat materiaal omgaan zal dus moeten veranderen.”
Hanjalic promoveert 7 december op een automatisch beeldanalyse-systeem. Dat is vooral bedoeld om het materiaal in grote mediatheken te indexeren, maar het kan thuis ook goede diensten bewijzen. Het televisietoestel en de computer komen elkaar hierbij weer tegen. Niet om de kijker weer eens tot interactiviteit aan te sporen, maar juist het tegenovergestelde. De kijker raadpleegt zijn omroepgids straks namelijk niet meer, en laat de programmaselectie volledig aan zijn videorecorder over.
Het beloven barre tijden voor de programmabladen te worden. Over een paar jaar is het zover. ,,Dan worden digitale televisieuitzendingen de standaard”, licht Hanjalic toe. ,,Daarmee kun je veel meer programma-informatie meezenden dan nu het geval is. Op basis van gebruikersprofielen weet de videorecorder dan precies welke uitzendingen voor de eigenaar interessant zijn. De opnames worden door de recorder bovendien geïndexeerd, zodat de kijker snel van programma naar programma kan zappen.”
Handig
2 Het systeem heeft gen problemen met het herkennen van de nieuwslezer Illustratie: Gripp
De in Amerika verkrijgbare TiVo en ReplayTV zijn hiervan de eerste voorboden. Deze personal tv receivers dumpen tientallen uren aan tv-programma’s op een harddisk. Via internet halen de apparaten dagelijks het programmamenu op.
Van 1995 tot 1998 werkte Hanjalic mee aan de volgende generatie videorecorders. In het project Smash (Storage for Multimedia Systems in the Home), onderzochten enkele Europese elektronicafabrikanten en onderzoeksinstituten wat digital video broadcasting allemaal vermag. Dat ging stukken verder dan TiVo en ReplayTV. De promovendus hield zich vooral bezig met de analyse van het videomateriaal. Het is de bedoeling dat de toekomstige videorecorder zelf programmaonderdelen kan herkennen.
,,De programma-informatie die met digitale tv-uitzendingen kan worden meegestuurd is beperkt. Je kunt bijvoorbeeld het begin van elk programma doorseinen met een globale inhoudsgave erbij. Maar het zou ook handig zijn als je de meest interessante delen van de uitzending kunt opzoeken. Bepaalde scènes van een film, het weerbericht, of een doelpunt van een basketbalwedstijd.”
Automatische patroonherkenning, nu al met redelijk succes ingezet voor het lezen van handschrift, kan hier soelaas bieden. ,,Begin jaren negentig kwamen de eerste ideeën hierover los, met name op Stanford, Berkely en MIT”, vertelt Hanjalic. ,,En de vraag naar systemen die visuele informatie zelf kunnen analyseren en indexeren neemt toe. Dat is vooral van belang voor grote video-archieven. Een journalist die beelden zoekt voor een rapportage, kan met zo’n systeem snel vinden wat hij zoekt.”
Maar hoe leer je een apparaat tv-kijken? ,,Als je een nieuwsprogramma ziet, weet je meteen waar het nieuws ophoudt en de reclame begint. En dat weet je binnen een fractie van een seconde. Je moet een manier vinden om deze menselijke cognitie tevertalen in de technische mogelijkheden die je hebt.”
Hoe het menselijk brein dit kunstje flikt, weet echter niemand. De onderzoeker draaide de vraag daarom om. In plaats van de kijker ontleedde hij het beeldmateriaal. Hij maakte een model van een film.
,,De film heb ik gedefinieerd als een serie episodes waarvan de globale consistentie van het beeldmateriaal gelijk is. Een filmdialoog kun je makkelijk herkennen. Eerst zegt persoon A iets, dan persoon B, dan is weer persoon A weer in beeld, enzovoorts. Die opeenvolging is heel kenmerkend. En dat zie je ook in het audio- en videosignaal terug. Zo is voor vrijwel elke soort scene een typerende verzameling eigenschappen te vinden.”
Harder
In het jargon van de informatietheorie heten die kenmerken low level features. Deze verschillen per programma. Het journaal heeft ook op signaalniveau andere karakteristieken dan een wasmiddelenreclame.
,,Een simpel kenmerk is dat het geluidsvolume toeneemt. Reclames klinken altijd harder dan de programma’s waar ze tussen zitten. Verder zijn er verschillen in het beeldsignaal. Dat van een nieuwslezer is statisch, er zit weinig verandering in. Bij reclames beginnen bepaalde kenmerken, zoals het kleurgebruik, juist wild te oscilleren. Voor sport gelden weer andere features, snelle bewegingen bijvoorbeeld. Zo kan je programmasoorten makkelijk uit elkaar houden.”
Nu is reclame om meerdere redenen een makkie. Spotjes worden immers vaak op vaste tijdstippen uitgezonden. Het analyseren van films is echter andere koek. Hanjalic had drie jaar nodig om zijn algoritmen te verfijnen. De computerinstructies werden vervolgens getest op Four Weddings and a Funeral en Jurassic Park.
Dat was een bewuste keuze, benadrukt hij. ,,Deze films zijn zeer verschillend. Four Weddings is vrij rustig, terwijl Jurassic Park van de ene actiescene naar de andere springt. Dat is dus goed testmateriaal.”
Het systeem stelde niet teleur. Ongeveer driekwart van de filmscènes werd als zodanig herkend. Een kwestie van statistiek. ,,Elk scene heeft binnen een reeks opeenvolgende frames, de losse beelden, vaak dezelfde hoeveelheid kenmerken. Je kunt bijvoorbeeld naar het kleurhistogram kijken. Dat verandert van frame tot frame maar heel geleidelijk. Door nu naar de plekken te zoeken waar die verandering plots toeneemt, kun je de grenzen van de scène vinden.”
Door een tijdje vooruit te kijken, kan het systeem aardig inschatten waar de confronterende dialoog stopt en de wilde achtervolging begint. Het apparaat laadt daarvoor eerst een deel van de uitzending in zijn geheugen. Daarna worden clusters van kenmerken in het afgespeelde frame vergeleken met de features van frames die verder op de harde schijf staan. Zolang de overeenkomst rond de vijftig tot zeventig procent is, zit het er dik in dat het dezelfde scene is.
Abstract
,,Het gaat erom dat de visuele compositie over langere termijn ongeveer gelijk is”, preciseert Hanjalic. ,,Het apparaat kijkt gewoon hoever het komt. Ondertussen speelt het apparaat het programma in zijn buffer alvast af. De kijker ziet de uitzending dus vertraagd, in delayed real-time. Dat is nodig omdat het algoritme een aantal shots vooruit moet kunnen kijken.”
Regisseurs zullen het niet eens zijn met zijn definitie van een film. Het algoritme werkt dan ook niet geheel probleemloos. ,,De low level features geven soms geen uitsluitsel”, erkent hij. ,,Een film is ook een artistiek product en de verschillen tussen scènes zijn soms meer filmisch abstract dan fysisch meetbaar. Je moet dus rekenen op een slaagkans van rond de vijfenzeventig procent. Als de ene scène eindigt met een Schots heuvellandschapland en andere begint daar ook mee, dan heb je een probleem.”
Bij het detecteren van commercials rond nieuwsuitzendingen is de kans op succes echter 95 tot 100 procent. Door eliminatie kan het systeem de luiers eenvoudig van het wereldleed scheiden. ,,Het voordeel van nieuws is dat je niet alles hoeft te analyseren. Het journaal heeft namelijk een makkelijk format. Je hebt de reportages, de nieuwslezer en eventueel reclames tussendoor. De beelden met de lezer en de commercials kun je vrij makkelijk herkennen. En de rest is dus reportage.”
Daar komt nog bij dat de toekomstige videorecorder ook het programmaoverzicht krijgt meegezonden. Het schiften van de spotjes is dan zo gepiept. Slecht nieuws dus voor de reclamemakers? ,,Tja”, grinnikt Hanjalic.
Do you have a question or comment about this article?
delta@tudelft.nl
Comments are closed.