Verbeteringen in het Voys netwerk

Murphy’s law

Vandaag werd Murphy’s wet op ons netwerk bewezen. Ons gehele netwerk is ingericht op uptime en redundatie en deze werkte niet naar behoren.

Er was een storing op een glasverbinding en hier zouden we snel antwoord op moeten hebben. Bij een dergelijke storing hebben we twee mogelijke oplossingen.

1. We schakelen volledig over op Groningen via een IPSec tunnel
2. We schakelen het verkeer uit Amsterdam via een tunnel door naar Groningen.

Oplossing 1 is in enkele minuten actief. Oplossing 2 kost ongeveer 20 minuten.

Omdat er echter een nieuwe VLAN verbinding in Amsterdam is gekomen werkte de IPSec backup niet naar behoren. De leverende operator heeft dit opgelost door een nieuwe IPSec verbinding te configureren maar dit nam veel tijd, 45 minuten, in beslag.

De link in Amsterdam kon niet omgelegd worden omdat deze uit was geschakeld om een niet aan Voys gerelateerd netwerkissue op te lossen.

Vervolgens viel het glaspad, met een onbekende oorzaak uit. Het betreft een glasvezelbreuk en NL-IX is nog aan het onderzoeken wat de oorzaak hiervan is. De fiber is om 12:30 wederom gerepareerd.

Door deze opsomming van problemen was inkomend verkeer niet mogelijk en hiervoor bied ik, namens Voys en alle collega’s onze excuses aan. Daarnaast beloof ik verbetering. We zijn in samenwerking met onze netwerk leverancier al enige tijd bezig met een aantal netwerk verbeteringen en de binnenkort door te voeren upgrades wil ik bij deze graag verder toelichten.

Het netwerk – VoIP

Voys heeft een redundante opstelling in Groningen en in Amsterdam. In Amsterdam staat onze primaire koppeling met de operator. Deze maakt voor de registratie en de SIP signalering, verbinding met een DAL (direct access line). Het RTP verkeer (de spraak) gaat over het internet. Er ligt op dit moment een tweede VLAN klaar voor zowel registratie als RTP en deze moet binnen twee weken in gebruik zijn.

Als de VLAN faalt schakelen we over op een IPSec tunnel die vanaf Groningen wordt opgebouwd. Dit gaat naar de fallback setup van de operator, zodat we ook bij een storing op de primaire locatie van de operator bereikbaar blijven.

Faalt de primaire operator volledig (VLAN werk niet en IPSec werkt niet) dan schakelen we over naar de fallback operator waarmee we tevens een redundante verbinding hebben over het internet. Dit gaat automatisch, maar uitval bij de primaire operator is tot op heden nog niet voorgekomen.

Voor internationale nummer gebruiken we de internationale operator. Deze levert inkomende gesprekken af op onze locatie in Amsterdam. Is deze niet bereikbaar dan schakelen we over naar Groningen. Deze operator wordt alleen gebruikt voor inkomend verkeer.

Het Voys netwerk uitgetekend.

Het netwerk – internet

Internet nemen we af bij Osso. Er zijn Global transit providers voor internationale eindbestemmingen en Openpeering voor Nederlandse eindbestemmingen. Daarnaast is er connectie met NL-IX en GN-IX waarmee er onder andere directe peering is met RoutIT en Ziggo.

• Globalpeering -> kan al het internet verkeer verwerken
• Openpeering -> verwerkt Nederlands internet verkeer
• Direct peering -> verwerkt provider specifiek verkeer.

In Amsterdam (Telecity 2) is er verbinding met Joint Transit, NL-IX en Openpeering. In de rekenhal is er verbinding met CJ2 en GN-IX. In SIG is er verbinding met CJ2.

Tussen de rekenhal en Telecity 2 ligt een glasverbinding (Wavelength). Als deze uitvalt maken SIG en TC2 verbinding via een tunnel over het internet. Voor 1 november 2011 komt er een tweede wavelength bij (vanaf SIG naar TC2).

Mogelijke storingen en oplossings scenario’s

Joint Transit

Indien er tussen internet verkeer tussen ons en de primaire operators niet goed wordt verwerkt resulteert dit in een lage kwaliteit van inkomende of uitgaande verbindingen. De storing wordt veroorzaakt in de link met Joint Transit (Global peering). We kunnen op dat moment onze IP’s announcen via een andere transit provider zodat het verkeer via een andere route binnen komt. Dit moet handmatig worden uitgevoerd en kost ongeveer 30 minuten.

Een mooiere oplossing is “in the making”: een direct VLAN waarover ook RTP wordt gerouteerd. Bij acute storingen is het ook mogelijk om Amsterdam af te schakelen.

Storing wavelength NL-IX

De verbinding tussen de rekenhal en TC2 valt uit. Op het moment dat dit gebeurt wordt er handmatig een tunnel opgebouwd. Dit ondervangt lange outages bij langdurige storingen. Bij een korte onderbreking is het probleem echter opgelost, voordat de noodmaatregel ingeschakeld wordt. Per 1 november is er een tweede wavelength en zal er bij uitval van de NL-IX verbinding automatisch en gelijk worden overgeschakeld op de tweede wavelength. De telefoonverbindingen blijven dan zelfs staan. Je mist hooguit een paar packages in je audiostream.

Afschakelen van Amsterdam

Op het moment dat er problemen zijn met de wavelength of de VLAN verbindingen in Amsterdam, kunnen we Amsterdam “uitschakelen”. Hierbij worden alle verbindingen verbroken en alle nieuwe gesprekken die worden opgebouwd lopen daarna via Groningen. Dit moet handmatig worden uitgevoerd en neemt ongeveer 10 minuten in beslag (organisatorisch). De overschakeling zelf is binnen 30 seconden uitgevoerd.

Afschakelen van Groningen

Als om welke reden dan ook de servers in Groningen niet te bereiken zijn of bij volledige uitval van het datacenter of de verbinding van Groningen naar het (inter)net, schakelen we over naar Amsterdam. De schakeling vindt bij volledige uitval automatisch plaats. De core servers in Amsterdam nemen dan de registraties van de klanten over. Dit gebeurt bij een herregistratie van een toestel of centrale, of bij het opbouwen van een nieuw gesprek. De klant moet hiervoor de 217.21.203.xx als “trusted” zien*.

*Zowel de IP’s van Groningen als de IP’s in Amsterdam moeten ongeblokkeerd bij de klant binnen kunnen komen. Bij een stricte firewall mag je deze voor RTP en SIP verkeer als trusted instellen.

Klanten die op IP registreren

Indien een klant niet op DNS niveau registreert, dient hij handmatig om te schakelen naar een andere core server bij uitval van de door hem standaard gebruikte core server.

Grote verbeteringen

Er komen dus een aantal grote verbeteringen:

1. Er komt een tweede wavelength
2. Er komt een upgrade van de DAL voor zowel SIP als RTP verkeer
3. Er komt een backup verbinding naar de netwerk apparatuur in Amsterdam.
4. Er worden binnenkort extra IP’s toegevoegd aan sip.voys.nl. Als je een stricte firewall gebruikt mag je opgeven dat je naast 217.21.192.xx ook SIP verkeer kunt verwachten van 217.21.203.xx.

Communicatie

Op het moment dat er een grote storing is op het netwerk is Voys telefonisch vaak niet te bereiken, of alleen te bereiken vanaf het eigen netwerk. Actuele informatie over storingen vind je altijd op status.voys.nl. Deze pagina beschikt over een RSS feed.

Het duurt ongeveer 10 minuten voordat hier informatie te vinden is. Daarnaast zullen we twitter actief in gaan zetten bij storingen. Voys is op twitter te vinden onder @VoysTelecom. We zijn aan het onderzoeken of we op een goede manier een telefonische ingang kunnen realiseren buiten ons netwerk om.