...

Het bedrijf Regterschot Racing wil een website applicatie hebben , waarop de data van de sensoren in de auto , te zien is. Regterschot Racing verwacht in ieder geval van één sensor, de GPS, twintig keer per seconde data te krijgen. Het is voor Regterschot Racing belangrijk dat deze data goed overkomt vanaf de auto naar de website applicatie en dat dit zo snel mogelijk, het liefst in real-time, overkomt. Het is voor ons van belang om dit onderzoek uit te voeren , om zo te weten te komen welke techniek het beste aansluit bij de wensen van Regterschot Racing. Iets waar we ook rekening mee moeten houden is dat de Raspberry Pi de data in ieder geval op slaat opslaat in een MySQL database. Dit proces loopt via een message broker. Een message broker is een soort van tussenpersoon bij twee of meer applicaties. Het is mogelijk of om van applicatie A een bericht te sturen naar applicatie B. Ook kunnen applicatie A en C berichten sturen naar alleen applicatie B, of juist alleen applicatie A naar B en D. Eén van de voordelen die een message broker heeft is dat berichten altijd aankomen. Een bericht wordt verstuurd en pas als er een response komt wordt het bericht uit de queue (wachtrij) van de broker verwijderd. Als de broker geen response krijgt wordt het bericht nogmaals verstuurd totdat dit succesvol is. Het hebben van een queue is handig voor het hebben van een first in first out ordering, maar ook het bewaren van berichten voor als een server niet bereikbaar is. 

Na het onderzoek zal er in ieder geval een prototype van de broker, en de gevonden oplossing voor het overbrengen van de data. Dit prototype zal een basis zijn voor de rest van de applicatie. Het prototype van de broker is eigenlijk alleen bedoelt om een klein beetje bekender te geraken met de techniek van een broker. De ESE studenten zullen namelijk de broker zelf opzetten, waar wij alleen de data vanuit deze broker nodig gaan hebben.

Hoofd- en deelvragen

Onze Mijn hoofdvraag is: 'Welke techniek kunnen wij gebruiken om real-time data weer te geven op een website?' Om deze vraag te kunnen beantwoorden, hebben we heb ik ook een aantal deelvragen opgezet. Onze Mijn eerste twee deelvragen gaan over de technieken die bekend zijn, of veel gebruikt worden, voor het weergeven van data in real-time op een website. Deze deelvraag is opgesplitst in welke technieken er zijn die gebruik maken van een MySQL database en technieken die geen gebruik maken van deze database. Bij de tweede deelvraag zal er gekeken worden naar technieken die geen gebruik maken van een database. Bij deelvraag 3 zal er gekeken worden naar welke technieken voor het streamen van data naar de pit er in autoraces worden toegepast. Een voorbeeld hiervan kan zijn: 'Welke techniek wordt er gebruikt bij F1 races om de data van de baan naar de pit te sturen?' In de vierde deelvraag zullen we zal ik ingaan op de voor- en nadelen van de bovengenoemde technieken. In het kort hebben we heb ik de volgende deelvragen:

• Welke technieken, die veel gebruikt worden of ons bekend zijn, maken gebruik van een MySQL database?
• Welke technieken, die veel gebruikt worden of ons bekend zijn, maken geen gebruik van een database of andere database?
• Welke technieken worden bij autoraces gebruikt om de data van de auto naar een pit te krijgen?
• Wat zijn een aantal voor- en nadelen van de verschillende technieken voor het weergeven van real-time data?

...

Bij SSE stuurt de client een request naar een server. De server opent dan een connectie tussen de twee. De server stuurt niks terug tot het moment dat deze nieuwe data krijgt. Op het moment dat deze nieuwe data krijgt stuurt hij deze naar de client. De connectie wordt echter niet gesloten en blijft dus bestaan. Dit zorgt ervoor dat de client niet opnieuw een request hoeft te sturen, maar gewoon kan wachten op de nieuwe data van de server.

_{Figuur 4 (Veen, 2012)}

...

WebSocket

Een websocket WebSocket lijkt veel op SSE. Een websocket WebSocket is te vergelijken met bijvoorbeeld WhatsApp. Bij SSE wordt er een connectie geopend en kan de server ten alle tijde data sturen naar de client. Bij een websocket WebSocket kan dit ook, echter kan ook de client nieuwe data sturen naar de server, wat niet mogelijk is bij SSE. 

...

De techniek van Herrera, dat gebruik maakt van het transactielogboek, is een techniek die alles al meer direct doet. De data wordt opgeslagen en de Java applicatie weet dat gelijk. Via de pusher channel staat het bijna direct op de website. Een van de voordelen dat deze techniek heeft, is dat er nooit data op wordt gehaald als deze niet wordt opgeslagen. Herrera geeft zelf al aan dat het systeem dat hij gebruikt het proces niet vertraagd wordt door triggers. Zo snel als er een update is in de database, weet ook de Java API dit. Vervolgens kan de API dit aan de pusher doorgeven die het dan weer op de website zet. Al deze stappen lijken misschien meer dan het ophalen van data maar is al een stuk efficiënter en sneller. Het gebruikt meerdere elementen die ook los van elkaar be  staanbestaan. Zo lijkt het ophalen van data enigszins op long polling (wachten tot er data is in plaats van vragen of het er al is).

...

Long polling is een soort van opvolger en in dit geval een betere opvolger van polling. Long polling begint op dezelfde manier. Er wordt een request gestuurd naar de server vanaf de client. Hier is ook gelijk al te zien wat er beter is aan long polling ten opzichte van 'gewoon' polling. Bij polling wordt er een response gestuurd. Deze response is zo snel mogelijk, dus of met data, of er is geen nieuwe data. Long polling wacht tot er nieuwe data is. Is er nog geen data, dan ook geen response. Is er wel nieuwe data, dan krijg je ook de response. Zo snel als de response binnenkomt wordt er ook weer een nieuwe request gestuurd ,zodat de mogelijk nieuwe data weer zo snel mogelijk binnenkomt. Bij long polling is het echter wel zo dat een server of client soms denkt dat de connection te lang open heeft gestaan en dat deze connection na een tijd gesloten wordt. Het gebruikt meer resources dan een websocketWebSocket. Ook kan het zijn dat er meerdere poll requests open staan naar een server en de volgorde van de berichten niet klopt.

Server-sent events

...

WebSockets

Server-sent events en websockets WebSockets lijken veel op elkaar, ook is er in dit geval één kopje voor de twee samen. Een aantal verschillen tussen de twee, is dat SSE over HTTP gebruikt kan worden, terwijl websockets WebSockets hun eigen protocol hebben. Een groot verschil tussen deze data transfer technieken, is wie requests en responses kan sturen. Bij SSE wordt er één keer een request gestuurd naar de server. Deze request is een aanvraag om te verbinden. Daarna kan alleen de server berichten terug sturen. De client kan geen berichten naar de server sturen. Dit is ook waar SSE voor gemaakt is. Websockets WebSockets die wel berichten kunnen sturen naar de server als er eenmaal een connectie is geopend zijn overbodig. Daarnaast zijn er andere voor- en nadelen te benoemen, zoals dat SSE maar een maximum aantal van open connecties mag hebben. Een makkelijke oplossing voor dit probleem is het gebruik van meerdere host names. In plaats van www.example.com kan je ook www1.example.com en www2.example.com gebruiken.

...

'Welke techniek kunnen wij gebruiken om real-time data weer te geven op een website?' Is onze mijn hoofdvraag. Tijdens dit onderzoek hebben we heb ik verschillende deelvragen beantwoord om op deze vraag een antwoord weten te bedenken. Hieronder een samenvatting van onze mijn bevindingen en de uiteindelijke techniek die we wij willen gaan gebruiken.

Als we los kijken naar alle systemen, dan zijn er twee die uitspringen. Dit zijn de server-side events en websocketsWebSockets. Deze twee bijna identieke technieken zijn de technieken die ons mij het beste best lijken. Een websocket WebSocket en een server-side event service zijn de twee keuzes die het meest real time data weergeven, zonder dat deze technieken extra middelen gebruiken 

Omdat er gebruik wordt gemaakt van een message broker, is onze mijn oplossing niet afhankelijk van de rest van de andere systemen. We Wij zouden met een websocket WebSocket de data van de broker kunnen 'consumeren'. De broker krijgt de data van de Raspberry Pi en zal deze distribueren naar verschillende consumers, in dit geval de websocket WebSocket en database. De websocket WebSocket zou in dit geval de data in de juiste vorm kunnen gieten voor de website. Dit zou ervoor zorgen dat de data die op de website binnenkomt gelijk kan worden omgezet naar de visuele weergaves. Omdat de broker ook gelijk de data naar de database stuurt, kunnen we later deze gebruiken om de data te tonen van vorige races. Het kan zo zijn dat als we vanuit de database een berekening willen maken, er een gebruiker wordt aangemaakt op de website. Het is mogelijk dat dit ook weer via de broker moet (omdat het niet naar de database moet maar ook naar een andere harde schijf die ergens ligt). Om deze reden kiezen wij er bewust voor om een websocket WebSocket te gaan gebruiken in combinatie met een message broker en niet een server-side events service. 

...

Kilbride-Singh, K. (2022, 17 oktober). WebSockets vs Long Polling. Ably. https://ably.com/blog/websocketsWebSockets-vs-long-polling

Pure Storage. (2021, 20 december). How Formula 1 Car Sensors Create Data at Every Turn. https://blog.purestorage.com/perspectives/how-formula-1-car-sensors-create-data-at-every-turn/

Veen, T. [Tieme] Van. (2012, 12 oktober). What are Long-Polling, WebsocketsWebSockets, Server-Sent Events (SSE) and Comet? Stack Overflow. https://stackoverflow.com/questions/11077857/what-are-long-polling-websocketsWebSockets-server-sent-events-sse-and-comet