Ga verder na de inhoud
Blik en brein van zelfrijdende auto op scherp gesteld
Onderzoek

Blik en brein van zelfrijdende auto op scherp gesteld

Hoe maak je van technologie een betrouwbare copiloot?

7 minuten
27 juli 2020

Met hun expertise in beeldverwerking en artificiële intelligentie helpen onderzoekers van de KU Leuven om onze auto’s een scherpe camerablik en een goed getraind stel ‘hersens’ te geven. En zo komen we steeds dichter bij een wagen die we het stuur helemáál durven toevertrouwen.

De wedloop om de ontwikkeling van een volledig zelfrijdende auto is al een tijdje aan de gang. Het deelnemersveld is divers: van hippe techbedrijven tot klassieke autofabrikanten. De ene gaat al wat roekelozer te werk en schakelt sneller dan de andere.

“Daarom werken wij zo graag met Toyota”, zegt professor Luc Van Gool. “Bij elke stap zien we opnieuw hoeveel belang ze hechten aan veiligheid.”

Aan de afdeling ESAT - PSI, Beeld- en Spraakverwerking leidt Van Gool een 15-koppig team van doctoraatsstudenten en ingenieurs dat onder meer een belangrijke rol speelt binnen TRACE (Toyota Research on Automated Cars in Europe), een netwerk van vooraanstaande onderzoekscentra met expertise in computervisie-technologie.

Koffiemolen op je dak

Als geen ander weten Van Gool en zijn team informatie uit camerabeelden te halen. Zo verkende een zelfrijdende robot op rupsbanden een vijftal jaar geleden de moeilijk toegankelijke Romeinse catacomben van Priscilla. Het was dankzij zeven slimme camera’s en beeldverwerkingssoftware van Leuvense onderzoekers dat de robot het gangenstelsel driedimensionaal in beeld kon brengen.

Het gaat dan bijvoorbeeld om lidars, die via ronddraaiende laserstralen de positie van de wagen bepalen en de objecten in de omgeving in kaart brengen. “Die dingen zijn duur en bovendien rij je dan rond met een ‘draaiende koffiemolen’ op je dak”, zegt dr. Marc Proesmans, die het TRACE-project leidt. “Dat is niet zo’n groot probleem voor pakweg een Uber-taxi: je verdient de kosten terug en het maakt de passagiers niet uit hoe de wagen eruit ziet. Bij privéwagens ligt dat anders: die moeten budgetvriendelijk zijn, een gestroomlijnde look hebben en toch alles kunnen. Daarom proberen we zoveel mogelijk te bereiken met camera’s.”

Privéwagens moeten budgetvriendelijk zijn, er gestroomlijnd uitzien en toch alles kunnen. Daarom proberen we zoveel mogelijk te bereiken met camera’s.

Kleurrijk verkeer

De intelligentie in de slimme software die de Leuvense onderzoekers ontwerpen komt van ‘neurale netwerken’, die geïnspireerd zijn op de werking van onze hersenen. Zo kan de software bijvoorbeeld leren om het verkeer te analyseren.

De onderzoekers voeden de technologie met de nodige leerstof. Ze verzamelen tienduizenden verkeerssituaties door met een wagen rond te rijden in de buurt van het Europese hoofdkwartier van Toyota in Zaventem, maar bijvoorbeeld ook in Leuven en omgeving. De auto is uitgerust met camera’s, maar ook met lidars, radars, gps enzovoort. Die sensoren maken het mogelijk om later de output van hun eigen algoritmes te controleren en vormen van ‘sensorfusie’ te bestuderen: combinaties van camera’s met lidars en/of radars.

Om het leerproces van de software op gang te brengen, komt het er vervolgens op aan de verkeersbeelden zorgvuldig ‘in te kleuren’: alles wat auto is, krijgt bijvoorbeeld een gele kleur, de rijweg krijgt paars, wegmarkeringen rood, bomen en struiken groen … Dat annoteren is een cruciale stap, die nog voortdurend verfijnd wordt. Onlangs is er zelfs een Leuvense start-up opgericht die erin gespecialiseerd is.

Bedoeling is dat de auto op basis van de originele beelden en die inkleuring leert om de verschillende elementen in het verkeer zelf te herkennen, en de situatie bliksemsnel te interpreteren. Als er plots een voetganger opduikt voor je wagen, is het een kwestie van milliseconden.

“De software moet dus veel meer kunnen dan gewoon voorspellen: Als ik met deze snelheid blijf rijden, ben ik op dat moment daar”, zegt Proesmans. “Ze moet ook kunnen anticiperen op gevaarlijke situaties.”

De auto moet de verschillende elementen in het verkeer kunnen herkennen en de situatie bliksemsnel interpreteren. Als er plots een voetganger opduikt voor je wagen, is het een kwestie van milliseconden.

De weg op

Elke partner binnen TRACE heeft zijn eigen sterktes. Het Leuvense team brengt het onderzoekswerk samen en test de algoritmes op de weg. “De wagen waarmee we dat doen rijdt nog niet op zichzelf, maar op schermen kunnen we zien hoe hij zou anticiperen op het verkeer en welke beslissingen hij zou nemen. Op basis daarvan kunnen we bijsturen”, zegt Proesmans.

Het klinkt allemaal al behoorlijk ingewikkeld, maar er zijn ook nog eens geografische verschillen in het verkeer waarmee je rekening moet houden. “Bij ons zijn wegmarkeringen bijvoorbeeld mooie witte lijnen, maar in sommige Amerikaanse regio’s werken ze met bolletjes”, aldus Proesmans. “Als je daar een systeem op loslaat dat getraind is in Europa, vergist het zich.”

“Het is dus cruciaal dat we de software trainen met heel gevarieerde input. Daarom zijn onze partners aan het rondrijden in andere Europese steden om beelden van het verkeer te maken. Het liefst willen we onze gegevens ook uitwisselen met bijvoorbeeld Amerikaanse en Aziatische onderzoekers die ermee bezig zijn, maar de verstrengde privacyregels in Europa maken dat momenteel moeilijk.”

Professoren Proesmans en Van Gool

Een andere uitdaging zijn de verschillende niveaus van zelfstandigheid in het verkeer. Het handigst zou zijn als alle wagens op hetzelfde moment autonoom zouden worden, maar dat is een illusie. “Je zit sowieso met een overgangsfase met zowel menselijke bestuurders als wagens die verschillende vormen van autonomie hebben”, zegt Van Gool. “Daarom bekijken we ook hoe je ervoor kan zorgen dat een – deels – zelfrijdende auto zich meer gedraagt als een mens. Als een autonome auto remt, kan die bijvoorbeeld maar beter rekening houden met de reactiesnelheid van een menselijke achterligger.”

Parkeren in de schaduw

Het doel van het Leuvense onderzoek is om een heel concrete bijdrage te leveren aan de Toyota-wagens van de toekomst. Met hun onderzoek maken Van Gool en co ook deel uit van Leuven.AI, het recent opgerichte KU Leuven-instituut voor Artificiële Intelligentie (zie kader onderaan). De meerwaarde van samenwerking tussen de verschillende disciplines vinden ze vanzelfsprekend, zeker ook voor hun eigen onderzoek.

“We hebben het tot nu toe over het visuele gehad, maar autorijden heeft bijvoorbeeld ook een auditief aspect”, zegt Proesmans. “Je luistert naar wat er gebeurt, je hoort de andere voertuigen … En we zullen ook steeds meer kunnen praten met onze auto: ‘Parkeer maar in de schaduw onder die boom.’ Dan wil je dat de auto goed begrijpt wat je gezegd hebt. Aan de KU Leuven wordt ook op dat vlak onderzoek gedaan.”

“Bovendien moet de auto op een gegeven moment ook beslissingen nemen op basis van al die waarnemingen die hij via camera’s en sensoren binnenkrijgt”, zegt Van Gool. “Dat is het domein van de meer traditionele artificiële intelligentie, die regelgebaseerde systemen ontwerpt, en ook daar staat Leuven erg sterk in.”

Bange Europeanen

Auto’s nemen het stuur steeds meer over, zoveel is duidelijk, maar wanneer zullen volledig zelfrijdende wagens echt gemeengoed worden? Proesmans: “Er zijn al veel straffe uitspraken gedaan die later weer ingeslikt moesten worden. Er komt ook zoveel bij kijken. De auto’s moeten niet alleen zichzelf kunnen besturen, ze moeten ook nog eens met elkaar kunnen communiceren. Niet evident, met zoveel verschillende merken en systemen. Bovendien heb je daar snel internet met veel capaciteit voor nodig. De invoering van 5G is op dat vlak een belangrijke stap.”

De auto’s moeten niet alleen zichzelf kunnen besturen, ze moeten ook nog eens met elkaar kunnen communiceren.

En misschien het belangrijkste: de mens moet het willen. Zeker in onze contreien is dat nog een heikel punt. “In enquêtes die de vraag stellen ‘zou je je kind in een autonome auto laten rijden’ zie je grote geografische verschillen”, vertelt Van Gool. “Europeanen zijn heel conservatief, terwijl bijvoorbeeld Brazilianen hun kind met een gerust hart in die auto zien vertrekken (lacht).”

“Wij in Europa moeten ophouden met overal vooral de risico’s te zien en de vooruitgang over te laten aan de rest van de wereld. Als we goed nadenken over de technologie en die slim invoeren, kan het verkeer er alleen maar veiliger op worden.”

Onderzoek rond AI gebundeld in instituut

Het recent opgerichte KU Leuven-instituut voor artificiële intelligentie ‘Leuven.AI’ biedt onderzoekers een forum om ideeën uit te wisselen en gezamenlijke projecten op te zetten. Het biedt daarnaast expertise aan over alle aspecten van AI: de mogelijkheden en beperkingen, maar ook de ethische, juridische en maatschappelijke implicaties. En uiteraard is het instituut actief op onderwijsvlak, in de vorm van cursussen en bijdragen aan onderwijsprogramma’s.

Leuven.AI is één van de vijf officieel erkende ‘KU Leuven Instituten’. Het gaat om netwerken die onderzoekers en onderzoeksgroepen uit verschillende disciplines samenbrengen rond belangrijke wetenschappelijke en maatschappelijke thema’s.