Blog

Datacenter

Performance impact van oost-west verkeersdrukte in en om het datacenter

9 okt 2018

Stelt u eens voor: een leidinggevende wil toch niet dat alle medewerkers vooral of zelfs alleen maar met elkaar op hun eigen afdeling praten over technologie en de ‘business’ en niet ook met anderen en klanten? Wanneer het gaat om hard- en software geldt hetzelfde. De trend naar steeds meer gevirtualiseerde, software-gedefinieerde datacenters en innovaties zoals offloaded data transfer (ODX), storage array integratie (VAAI) en hyper converged infrastructuur (HCI), veroorzaken steeds meer oost-west dataverkeer. Tenzij het datacenter qua performance structureel oversized is, blijft er door deze toename van interne verkeersdrukte steeds minder performance over voor dataverkeer tussen datacenter en andere bedrijfsonderdelen of klanten. Uiteraard is dit des te frustrerender naarmate eindgebruikers en klanten veeleisender, en bedrijfsapplicaties latency-gevoeliger zijn. Bovendien wordt de potentie van informatietechnologie en datacenter als ‘business enabler’ minder gerealiseerd naarmate er minder performance overblijft voor de ‘business’ zelf.

Frank Teegelbeckers door Frank Teegelbeckers

Ombuiging van deze nieuwe trend en terugkeer naar conventionele datacenters zijn geen optie en bieden geen oplossing. Geen optie, want conventionele hard- en software worden amper nog ontwikkeld en zijn steeds minder leverbaar. Geen oplossing, omdat het de bottleneck slechts verschuift van datacenter naar buiten.
De logische oplossing is enerzijds reductie van intern oost-west verkeer zonder toename van extern dataverkeer, en anderzijds efficiëntere afhandeling van oost-west verkeer. Een andere trend is dat storagesystemen zelf ook steeds sneller worden. Dit vraagt eveneens om een oplossing zodat storageclusters en netwerken hiervan optimaal profiteren. Deze blog focust op meer efficiëntie en, specifieker, op een technologie om dat te realiseren, en op twee concurrerende protocollen om die technologie te optimaliseren.

Remote Direct Memory Access

Deze technologie, afgekort als rDMA is een innovatieve extensie van DMA sec en krijgt sinds 2018 steeds meer draagvlak in industrie en markt. Met DMA kunnen netwerk-, audio- en videokaarten via de systeembus, voorheen southbridge, lokaal bij het werkgeheugen, met minimale tussenkomst van processor en besturingssysteem. Dit verbetert systeemprestaties het meeste in transparante modus, omdat DMA de systeembus dan niet monopoliseert tot alle data in het werkgeheugen is geladen, maar alleen gebruikt wanneer de processor de systeembus tijdelijk niet nodig heeft.

Met rDMA kunnen lokale netwerkkaarten bij het werkgeheugen van andere online systemen, om data daar te laden of op te vragen, zonder veel processor interrupts en context switches. Net als DMA reduceert het processorbelasting en bevordert het systeemprestaties in termen van throughput en latency. Anders dan DMA optimaliseert het performance van meer dan één systeem, bijvoorbeeld tussen servers onderling, tussen storagesystemen in clusters, tussen conventionele servers en storage, en tussen GPU-systemen om machine learning te versnellen. rDMA compenseert zo de negatieve impact van toenemend oost-west verkeer binnen het datacenter, op performance van dataverkeer voor de ‘business’ zelf en buiten het datacenter.

iWARP versus RoCE

Anders dan DMA sec voor interne data processing door een systeem, vereist rDMA een netwerkprotocol. Dit fungeert als een envelop die rDMA data bij elkaar houdt. Verder faciliteren afzender en adressering erop, dat data correct door de juiste systemen wordt verwerkt. iWARP en RoCE zijn de enige ethernet-protocollen voor rDMA.
RoCE staat voor rDMA over Converged Ethernet, is ontwikkeld door de Infiniband Trade Association, bestaat sinds 2003, en wordt tegenwoordig populair aangeduid als Rocky. Vooral de firma Mellanox lobbyt intensief voor RoCE. Net als iWARP realiseert RoCE meer performance door efficiëntere toegang tot het werkgeheugen en minder processorbelasting. Anders dan iWARP verbetert RoCE systeemprestaties nog meer, door ook nog eens de notoire latency van het TCP-protocol te omzeilen.

Grafieken blog frank Teegelbeckers

 

 

 

 

 

(Bron: Storage Networking Industry Association)

Hoe? RoCE versie 2 verstuurt rDMA data over UDP en heeft dus sowieso minder overhead voor processor en netwerkkaart. In UDP ontbreken immers controlemechanismen om stagnerend dataverkeer te voorkomen, zoals flow control en window size. RoCE gebruikt daarvoor Data Center Bridging, een extensie van ethernet, die een netwerkconnectie functioneel verdeelt in pijplijnen met verschillende prioriteiten. rDMA data gaat door hoog geprioriteerde pijplijnen. Dit voorkomt dat data onderweg verloren gaat, en daarmee ook een noodzaak voor retransmissies. Het maakt de controlemechanismen van TCP praktisch overbodig en transmissies toch betrouwbaar en snel.

Hoe kan iWARP dan concurreren?

iWARP vereist geen Data Center Bridging of speciale switches en is dus gemakkelijker te implementeren, budgetvriendelijker, en in veel gevallen kosteneffectiever. Verder kan het protocol ook technisch qua performance en schaalbaarheid concurreren met RoCE. iWARP is geen acroniem, mogelijk wel een knipoog naar ‘WARP speed’, waarmee ruimteschip Enterprise uit de klassieke science-fiction serie Star Trek sneller dan licht reisde. Het is ontwikkeld door de Internet Engineering Task Force en beschikbaar sinds 2007. Vooral Intel promoot het draagvlak in industrie en markt voor dit protocol, door chipsets te fabriceren met speciale instructies voor efficiëntere processing van rDMA data over iWARP. Twee lagen in dit protocol fungeren als hefboom van het onderliggende TCP-protocol. Ten eerste, Direct Data Placement faciliteert segmentatie en assemblatie van data over een verzadigd TCP netwerk. Het omzeilt zo, in tegenstelling tot RoCE, pauzering van de verkeersstroom bij overmatige drukte. Ten tweede, Marker PDU Alignment biedt extra cyclische redundatie checks, waardoor de betrouwbaarheid van iWARP over ‘best effort’ TCP-netwerken niet onder doet voor transmissies over hoog geprioriteerde converged ethernet pijplijnen, en die zelfs kan overstijgen.

Wat is beter?

Volgens Mellanox steekt RoCE in alle belangrijke opzichten met kop en schouders uit boven iWARP. Volgens concurrent Chelsio doet iWARP niet onder voor RoCE. Beiden hebben (on)gelijk. Het zijn immers niet de technische specificaties op zich, die een technische oplossing beter maken dan een andere. Het is, zoals eerder geblogd, de mate waarin technische specificaties aansluiten op de behoefte van de klant. Iedere klant is uniek. Voor advies op maat over reductie van oost-west dataverkeer en optimalisering van datacenter performance staan onze consultants graag voor u paraat. Heeft u nog vragen of wilt u een afspraak maken, dan hoor ik het graag.

Geïnteresseerd?

Frank Teegelbeckers
Neem contact op met onze specialist Frank Teegelbeckers

Frank Teegelbeckers is tien jaar Datacenter Engineer bij Telindus Technical Operations. Daarvoor was hij drie jaar werkzaam als Storage Engineer bij NetApp en vijf jaar als Server en Netwerk Engineer bij HP. Frank kenmerkt zich door zijn pragmatische benadering van acute verstoringen en door zijn systematische aanpak van terugkerende technisch-operationele problemen. Hij heeft zich de laatste jaren gespecialiseerd in performance optimalisatie, virtualisatie en software defined storage. Frank is geboren en getogen in een Limburgs dorpje, getrouwd met een Moskovita, vader van een puberende dochter, en houdt verder van reizen, tuinieren en barbecueën met vrienden en familie.

geen reacties
Plaats een reactie