Datagedreven Logistiek

Impact vergroten met moderne technologie in logistieke vraag stukken

TUE-onderzoeker Willem van Jaarsveld werkt aan software om de levering van reserveonderdelen in hightech optimaal te sturen. Hij raakte geïnspireerd om reinforcement learning te gebruiken door het computerprogramma dat de menselijke wereldkampioen versloeg in het bordspel go.

“Elk uur dat een waferscanner inactief is, kost een chipmaker miljoenen. Daarom is het voor een bedrijf als ASML cruciaal om zo snel mogelijk een vervangend onderdeel ter plaatse te hebben als er iets kapot gaat in een van zijn systemen”, legt Willem van Jaarsveld uit. “Maar het is net zo belangrijk om de supply chain weer op orde te krijgen, zodat er geen leveringsproblemen ontstaan ​​als hetzelfde onderdeel later ergens anders nodig is.”

Van Jaarsveld is expert op het gebied van procesoptimalisatie op het gebied van onderhoudslogistiek. Hij is universitair hoofddocent aan de Technische Universiteit Eindhoven, in de groep Operations Planning Accounting & Control (OPAC) van de faculteit Industrial Engineering & Innovation Sciences. Daarnaast is hij onderzoeksdirecteur bij het European Supply Chain Forum, een aan de TUE gelieerd competentiecentrum dat samenwerkt met het Eindhoven Artificial Intelligence Systems Institute (EAISI) en het High Tech Systems Center (HTSC). In beide rollen doet hij onderzoek naar het optimaal aansturen van de hightech supply chain met behulp van machine learning technieken.

Reinforcement learning oftewel versterkend leren

“Hoe zorg je ervoor dat een machine bijna 100 procent van de tijd operationeel is, tegen de laagst mogelijke kosten?” zegt Van Jaarsveld en schetst het probleem waaraan hij werkt – een probleem dat al snel heel complex wordt. “Bij hightech zijn vaak veel verschillende, complexe onderdelen betrokken. Je wilt niet veel van deze onderdelen op voorraad hebben omdat ze zo duur zijn. Het is ook gewoon niet mogelijk omdat leveranciers maar een beperkte capaciteit hebben om ze te bouwen. De gebruikers van de machines bevinden zich over de hele wereld, dus je magazijnen ook, en cruciale onderdelen maken vaak een voorzorgsrit naar verschillende klanten voordat ze daadwerkelijk ergens nodig zijn.”

Van Jaarsveld vervolgt: “Zulke supply chains zijn zeer dynamisch: zo nu en dan krijg je nieuwe informatie en heb je te maken met onvoorziene gebeurtenissen. Niets gaat ooit helemaal volgens plan. De grote, wereldwijde schaal maakt het ook extreem moeilijk om alles bij te houden. Traditionele optimalisatiestrategieën schieten hier tekort, maar het past precies in het straatje van kunstmatige intelligentie.”

Geen wonder dus dat AI-onderzoekers zich enthousiast op het probleem hebben gestort. Aanvankelijk iets te enthousiast naar de smaak van Van Jaarsveld. “Vroeger dacht iedereen dat alles met kunstmatige intelligentie kon worden opgelost. Ook in de onderhoudslogistiek zie ik allerlei technieken bijna blindelings worden toegepast. Koppel je ERP-systeem gewoon aan AI en het leert op magische wijze allerlei slimme trucjes. Daar geloof ik niet in. Deze technieken hebben tientallen miljoenen inputs nodig voor verstandige patroonherkenning. In de zeer dynamische praktijk van de logistiek heb je het geluk dat je er duizend hebt.”

Dit weerhield Van Jaarsveld er niet van om zelf met AI te werken, met name met een techniek die ‘Reinforcement learning’ wordt genoemd. “Google Deepmind heeft dit gebruikt om software te maken die zichzelf heeft geleerd om allerlei moeilijke spellen te spelen. Ik was al lang op zoek naar methoden die beter geschikt waren voor realtime aansturing van logistieke ketens. Toen ik een van die Deepmind-programma’s, Alphago, de menselijke wereldkampioen in Go zag verslaan, wist ik het meteen: Reinforcement learning is de methode. Vanaf 2018 ben ik vol in deze onderzoeksrichting gegaan.”

Een voorbeeld van een agent die het spel speelt. Na verschillende storingen op een rij hebben klanten in Taiwan en Hong Kong geen reserveonderdeel meer van een specifiek onderdeel in een nabijgelegen magazijn. De agent besluit dat onderdeel naar Singapore te brengen omdat van daaruit beide locaties snel te bereiken zijn. Credit: Willem van Jaarsveld

Serious game

Bij Reinforcement learning leert een zogenaamde softwareagent goede strategieën in interactie met een omgeving, meestal een simulatie. Het programma doet dit door een actie uit te voeren waarvoor het wordt beloond of gestraft. Als het wordt beloond, weet het dat het op de goede weg is en kan het daarop voortbouwen; als het wordt bestraft, moet het van koers veranderen. Door veel uit te proberen, leert de agent welke zetten in welke situaties slim zijn. Met behulp van een neuraal netwerk kan hij de strategie generaliseren naar omstandigheden die hij in de simulatie niet is tegengekomen.

Van Jaarsveld past deze aanpak toe door een uitdaging uit de logistieke praktijk om te zetten in een zogenaamde serious game, er een agent voor te ontwikkelen en de agent in de game te trainen. Het spel bestaat uit een set regels (de dynamiek), de acties die de agent kan uitvoeren en een beloning (of straf). De spelregels worden herhaald totdat het spel een voldoende nauwkeurige weergave van de werkelijkheid is. Op dat moment is de agent klaar om in de echte wereld te stappen en echte beslissingen te nemen.

“In een typische hightech supply chain bestaat het speelveld uit klantlocaties waar de machines staan en magazijnen waar de onderdelen voor die machines staan”, geeft Van Jaarsveld als voorbeeld. “Wereldwijd heeft de machineleverancier enkele strategische magazijnen. Deze wisselen goederen met elkaar uit en distribueren deze verder naar meer regionale voorwaartse magazijnen, die rechtstreeks aan de klanten leveren. De vervangende onderdelen komen dit netwerk binnen in het centrale magazijn. Van daaruit worden ze via zogenaamde overslag over de hele wereld gedistribueerd.”

“Op basis van het aantal onderdelen dat leveranciers per jaar kunnen produceren en de faalfrequentie van die onderdelen, afgeleid van de gemiddelde tijd tussen storingen en data van de ‘installed base’, kun je het spel nu spelen. Je simuleert allerlei probleemsituaties en kijkt telkens hoeveel overslag nodig is om de keten weer op orde te krijgen. Je begint simpel, maar voegt dan allerlei complexiteiten toe, bv. dat je liever proactief verzendt dan last-minute omdat dat acht keer zo duur is, of dat een van de klanten voorrang moet krijgen omdat je een eerdere misstap.”

Plug-and-play

In opdracht van ASML heeft Van Jaarsveld dit idee uitgewerkt tot een proof of concept, opgeleverd in 2019. Samen met TUE-collega Yingqian Zhang, masterstudent Valentin Dmitrochenko en ASML-projectleider Douniel Lamghari-Idrissi vergeleek hij de resultaten met een aanpak ontwikkeld door het bedrijf zelf. Van Jaarsveld: “Bij ASML waren ze redelijk tevreden over hun eigen werk, maar ze hadden ook het gevoel dat het beter kon. En dat gevoel bleek terecht: onze werkwijze leverde een flinke extra besparing op. Onder de indruk van het feit dat we hun aanpak hadden verslagen en dat we ook konden uitleggen hoe, besloten ze mee te doen aan een groot vervolgproject.”

Dit Dynaplex-project is afgelopen augustus gestart onder leiding van Van Jaarsveld, Zhang en een derde TUE-collega, Remco Dijkman. Met subsidie ​​van het Topconsortium voor Kennis en Innovatie Dinalog (TKI Dinalog) gaan ze de komende vier jaar toe naar het ontwikkelen van een volledige proof of concept toepassing bij ASML. “Met de masterstudent hebben we gekeken naar een paar componenten en een vijftal magazijnen; nu willen we opschalen naar de hele keten en aantonen dat het werkt in een simulatieomgeving. Dan kunnen we naar de praktijk.”

Naast de hightech supply chain ziet Van Jaarsveld nog andere kansrijke use cases. “Planning in de semicon front-end bijvoorbeeld. Daar maken wafels verschillende rondes door verschillende machines. Deze schema’s worden voor een langere periode opgesteld, maar kunnen soms al na een paar uur worden weggegooid. Hoewel we met ASML nog steeds in het stadium zijn waarin we twee jaar geleden zaten, hebben we goede hoop dat we bij elke stap dynamisch de optimale route voor elke wafer kunnen bepalen.”

“Onze aanpak is breed toepasbaar”, stelt Van Jaarsveld. “Vroeger kostte het veel puzzelen en soms jaren onderzoek om een ​​specifiek probleem aan te pakken, maar onze algoritmen zijn heel eenvoudig aan te sluiten op verschillende gevallen. Het is zo simpel als plug-and-play. Ik zie daar veel potentie in voor de toekomst. In de projecten die we nu doen, proberen we ook echt te werken aan een plug-and-play-architectuur, zodat andere bedrijven er uiteindelijk ook van kunnen profiteren. Bedrijven in de transportlogistiek bijvoorbeeld, zoals Ewals Cargo Care en Koninklijke Den Hartogh. Als deelnemers aan Dynaplex hopen ze later de vruchten van het project te plukken.”

Bron: Bits & Chips
Main picture credit: Angeline Swinkels

Geef de eerste reactie