Hans Pronk

When algorithms rule the world…

by

Toen ik afgelopen maandag na zo’n 48 uur off the grid mijn mail/Facebook/Twitter en what-more-have-you checkte zag ik dat mijn zorgvuldig geassembleerde publicatie-proces stevig uit de bocht gevlogen was. Om een mij nog steeds onduidelijke reden besloot Feedburner zo’n 11 keer kort op elkaar dat de rss-feed van mijn godrop.it-account nieuwe items bevatte en deed daar de wereld via Twitter kond van. Aangezien al deze tweets dezelfde tekst alsmede dezelfde link naar dezelfde post bevatten leidde dit vanzelfsprekend – zeker na de tiende iteratie van het bericht – tot een zekere mate van irritatie bij mijn geachte volgers. En omdat ik via IFTTT mijn Facebook, G+, LinkedIn en Instapaper aan mijn Twitter account geknoopt heb zorgde elke hik van het systeem voor een nieuwe reeks berichten in alle gekoppelde systemen.

Niet goed dus1 en ik werd me weer eens pijnlijk bewust van het feit dat a) we ondertussen behoorlijk afhankelijk geworden zijn van ketens van op algoritmen gebaseerde black-boxes2 en b) dat deze, zeker als ze impliciet of expliciet gekoppeld worden, veel fragieler zijn dan we zouden wensen. Ik hoef slechts het Knight Capital drama in gedachten te roepen om een gevoel voor de eventuele gevolgen van een falen in een netwerksysteem te krijgen.

Jon Postel stipuleerde ooit zijn fameuze robustness principle:

Be conservative in what you do, be liberal in what you accept from others.

Gezien de huidige verknoping van systemen lijkt dit laatse deel – ‘be liberal in what you accept’ – geen houdbaar paradigma meer. De gevolgen van foutieve inputs/outputs in de keten/netwerk kunnen door de versterking ervan door de keten heen Knight Capital-achtige proporties aannemen en op deze wijze onderdelen van de keten – of zelfs de gehele keten of netwerk – doen instorten. En omdat in veel gevallen structuur van deze ketens en netwerken – at best – onhelder is, is het dus ook niet helder wie of wat kan instorten e.g. wat de gevolgen van verstoringen kunnen zijn.

algo

De malheur met mijn eigen keten zie ik dan ook maar als een wake-up call. Enerzijds om daar waar ik zelf van systemen gebruik maak deze goed na te lopen op mogelijke zwakheden. Zo heb ik voorlopig een extra controleschakel ingevoegd die de RSS-feed nu expliciet ontdubbelt op basis van item-title zodat een nieuwe eruptie van tweets op basis van de RSS-feed nu niet meer zou mogen gebeuren. Tegelijkertijd heb ik ook een extra element in de keten ingevoegd dat op zichzelf weer tot nieuwe verstoringen leiden kan. En aan de andere kant is een dergelijke wake-up call een goede aanleiding weer eens fundamenteel na te denken over de wijze waar (autonome) algoritmes nu of in de nabije toekomst onze wereld besturen, hoe wenselijk dat eigenlijk is en op welke wijze het beste safeguards toegevoegd kunnen worden.

En nu maar hopen dat na posten dit bericht precies eenmaal in de verschillende systemen terecht komt…

  1. Winnaar van de prijs voor de beste reactie is overigens zonder twijfel @joostbeukers :-) ↩
  2. Om maar eens paar willekeurige voorbeelden te noemen: meer dan 60% van de aandelen worden tegenwoordig zonder menselijke tussenkomst verhandeld. Google News “algorithmically harvests” nieuwsartikelen van meer dan 50,000 nieuws bronnen in 30 talen die volgens Google door zo’n 1 miljard unieke bezoekers per week bezocht worden en daardoor in toemenende mate bepalen wat “nieuws” is. Ook meer dan 60% van Netflix gebruikers baseren hun keuzes puur op door algoritmes gekozen content die ook daar sturend geworden zijn. ↩

XS4all: van pioniersbedrijf tot marketingmachine

by

Na vele jaren trouwe klant van XS4all geweest te zijn betrek ik sinds gisteren mijn internet connectie bij Ziggo.
De reden? Met name de wijze waarop XS4all zijn bestaande klanten behandelt en informeert. Verder is de dienstverlening, zeker in vergelijking met Ziggo behoorlijk prijzig terwijl de snelheid nog niet de helft is van de aansluiting die Ziggo mij nu voor minder geld biedt.

De reden waarom ik tot nu toe steeds bij XS4all gebleven ben was een soort merkverbondenheid. Echter XS4all van nu is met name een marketing- en geldmachine, onvergelijkbaar met het pioniersbedrijf dat het vroeger ooit was. Nu is dat natuurlijk hun goed recht, het is tenslotte niet mijn bedrijf, maar na mijn laatste ervaringen met de klantenservice en de helpdesk vond ik dat het mooi geweest is.

Ziggo biedt in feite een soortgelijke service met meer capaciteit voor een lagere prijs. Verder zijn er niet veel verschillen. Zo is bijvoorbeeld de meegeleverde hardware van beide leveranciers eigenlijk te slecht voor woorden. Vooral het Wifi-deel en bij Ziggo ook de routerfunctie van de CPE zijn feitelijk onbruikbaar. Maar voor mijn XS4all verbinding had ik al een Airport Extreme aangeschaft die deze problemen niet kent en gewoon werkt.

En eigenlijk is de conclusie dat een internet aansluiting tegenwoordig een standaard telecom product is waar de marketeers de dienst uitmaken en waar met name op prijs geconcurreerd wordt en er geen ruimte meer is voor kwalitatief betere spelers.

© Hans Pronk / 2012

Mosh, high-latency terminal-emulatie done right!

by

beheer en terminals

Hoewel voor de gemiddelde gebruiker een terminal-sessie met een server of bulletin-board toch echt iets uit het verleden is, is dit voor een ieder die iets met beheer doet nog steeds de standaardprocedure voor veel beheerwerk. Er zijn echter weinig specifieke programma’s beschikbaar voor dit nobele beheerwerk. Waarschijnlijk komt dit doordat het in toenemende mate een niche-markt is geworden EN omdat goede connectiviteit steeds meer een gegeven is. Want zolang je maar via een stabiele high-speed/low-latency verbinding toegang tot de host-systemen kan verkrijgen voldoen de standaard programma’s als ssh goed.

Ik heb echter aan den lijve ondervonden dat zodra je de wereld van satelliet-internet binnenstapt ssh daar niet zo geschikt voor is. Elke toetsaanslag wordt eerst met een latency van zo’n 800 msec naar de host gezonden die daarna met een zelfde vertraging de scherm-update terug stuurt. Het effect hiervan in de praktijk is dat het best even duurt voor je een ingetypt karakter ook daadwerkelijk op je scherm ziet wat nogal vervelend werkt. De kern van het probleem is dat in de klassieke terminal oplossing de client wel heel erg dom is, waardoor voor alle acties de host de hoofdrol speelt. Dit geeft in een high-latency omgeving een vrijwel onwerkbare situatie die een andere aanpak noodzakelijk maakt.

Mijn eerste oplossingsrichting behelsde het gebruik van telnet3270, een terminal-protocol waarbij een behoorlijk deel van de verwerking op de client gebeurt waardoor de invloed van latency minder wordt. Ik heb namelijk begin jaren negentig een lezing bijgewoond die over problemen met terminals over satellietverbindingen door de US-army in Desert-Storm ging, die dit toen met telnet3270 opgelost had. Een oplosssing uit de oude doos dus. Helaas bleek dat telnet3270-programmatuur voor zowel hedendaagse mac’s als linux-varianten niet beschikbaar is en verder kleven er aan telnet en z’n varianten nogal wat security problemen. Exit telnet3270 dus!

mosh, geen stream maar state machine

Een post op de blog van Jan-Piet Mens attendeerde me op het bestaan van mosh, een nieuwe aanpak voor terminal-verbindingen met remote systemen. Na een korte test bleek deze aanpak een uitstekende oplossing voor mijn uitdaging. En inderdaad, ik ben Jan-Piet Mens een glas bier schuldig :-).

De kern van mosh is dat het in tegenstelling tot traditionele systemen (die feitelijk niet meer doen dan op basis van streams toetsaanslagen van de client heen- en schermupdates van de server terugsturen) een layer-4 state-machine is. De client en de server kennen beiden de eigen status en de veranderingen daarin die ze in continuïteit met elkaar synchroniseren. Ergo, als je bij mosh een toets indrukt zie je het resultaat lokaal direct op het scherm terwijl de client op de achtergrond de status op de host update. Mosh “voorspelt” dus eigenlijk de veranderingen op de host. Netto resultaat: geen optische latency meer bij het typen. Bijkomend voordeel is dat wanneer de verbinding even wegvalt, bijvoorbeeld bij gebruik van Wifi- of 3G-verbindingen, bij herstel ervan de sessie nog steeds bestaat en je weer verder kunt waar je gebleven was. Dit geldt ook als je in de tussentijd een ander ip-adres toegewezen hebt gekregen, iets waar bijvoorbeeld ssh en telnet niet tegen kunnen. Kortom, het werkt ook bij roaming en flaky internet verbindingen.

Voor de initiële connectie wordt een ssh-sessie gestart die de remote-server (in user-space, geen root acces nodig dus) start en vervolgens zichzelf termineert. De client-sessie wisselt vanaf dat moment status-updates uit met de remote-server.
En ja, mosh is secure, het gebruikt AES-128 encryptie en authenticatie (in OCB mode). Om dit alles mogelijk te maken gebruikt mosh geen TCP maar is UDP gebaseerd dus UDP verkeer tussen client en host moet mogelijk zijn.

conclusie

Mosh is onderdeel van mijn dagelijkse routine geworden. Met dit programma kan ik over high-latency vebindingen toch goed met remote hosts werken. Mosh heeft daarom in mijn huidige setup ssh vervangen omdat het voor mij – zover het om pure terminal emulatie gaat – een superieur alternatief is.

verdere wetenswaardigheden

Mosh is geschreven door Keith Winston, het is Open Source en isuitgebracht onder een GNU GPL 3 licentie. Mosh werkt overigens (nog) niet met IPv6 en dus ook niet met IPv4/IPv6 roaming. Verder mist er ook een iPad (en Android) client voor mosh. Het eerste valt voorlopig goed mee te leven maar een iPad client zou me wel blij maken

externe links

© Hans Pronk / 2012

Internet via de satelliet, de eerste ervaring

by

status na de eerste 3 weken

Onze Franse hideaway is alweer zo’n 3 weken weer met de wereld e.g. internet verbonden. Na een behoorlijk zoektraject waren we uitgekomen op een satelliet-oplossing van Tooway die we van de Franse provider Connexion Verte betrokken hebben. En drie weken na het eerste gebruik zijn we er nog steeds enthousiast over.

snelheid

We hebben gekozen voor een 10mbps down/2mbps up abonnement. Dit is qua downlink de hoogst mogelijke snelheid (NB: op de website van de provider wordt momenteel geadverteerd met een toekomstige 18 mbps mogelijkheid). Hoewel deze snelheden in vergelijking tot ADSL, kabel en glasvezel verbindingen niet geweldig hoog liggen blijkt in de praktijk dat hiermee een goed internetgebruik mogelijk is. Streaming audio & video werkt probleemloos en ook diensten als Skype werken goed. Bij testen blijkt dat in de praktijk (met name grote) files met een snelheid van zo’n 9.5 mbps gedownload worden wat behoorlijk dicht tegen de geadverteerde 10 mbps ligt. Zoals ik al eerder opmerkte is het met name de latency die je af en toe doet beseffen dat je via satelliet werkt.
Al met al een goede oplossing die in onze praktijk uitstekend voldoet.

beschikbaarheid

Ook over de beschikbaarheid geen klachten. Je merkt wel bij zware regen/onweer dat de snelheid terugloopt maar de verbinding blijft wel in stand. Wel zie ik aan de statistieken van het satelliet-modem dat het systeem zo af en toe herstart. Als je tijdens zo’n herstart aan het werk bent uit dit zich door een verbinding die even als zeer traag “aanvoelt” maar omdat het systeem zich snel herstelt (binnen de time-out van de TCP-verbindingen) heb je er in de praktijk feitelijk niet veel last van. Het enige wat af en toe minder goed werkt is de VoIP oplossing die tot nu toe een tweetal keren gedurende een korte tijd niet werkte. Aangezien de internetverbinding op dat moment wel goed werkte moet dit haast wel een probleem bij Connexion Verte zijn.

conclusie tot zover

De conclusie van 3 weken gebruik is dat het tot nu bijna teleurstellend goed werkt. In tegenstelling tot het – in elk geval tot voor kort bij mij – slechte imago en de vele verhalen over onwerkbare oplossingen werkt het gewoon en werkt het gewoon goed.

© Hans Pronk / 2012

Internet a haut debit en France… ce n’est pas facile

by

kraan

internet op het Franse platteland

Naast water en licht behoort breedband-internet voor mij tot de noodzakelijke basisvoorzieningen. En in tegenstelling tot Nederland is dit op het Franse platteland bepaald nog niet vanzelfsprekend. Waar je in Nederland vrijwel overal de keuze hebt tussen ADSL, kabel en soms zelfs ook glasvezel blijken in Frankrijk de laatste twee opties – in elk geval buiten de grote steden – niet te bestaan en biedt ADSL in de buitengebieden vaak alleen op papier redelijke dekking en snelheid. Want vanwege de afstanden tot de centrales en de kwaliteit van het kopernet blijkt ADSL in de praktijk niet leverbaar te zijn in grote delen van Frankrijk.

WiMax en satelliet

Om de buitengebieden toch te voorzien van breedband-internet – ofwel ‘internet a haut debit’ – hebben verschillende de bestuurlijke departementen in Frankrijk hiervoor speciale initiatieven ontwikkeld die hierin moeten voorzien.
Zo heeft ons departement Bourgondië stevig geïnvesteerd in de aanleg van een WiMax infrastructuur en stellen andere departementen subsidies beschikbaar voor het verwerven van internet-toegang via een satelliet verbinding. (NB: in een aantal departementen wordt soms ook nog breedband-internet op basis van Wifi aangeboden. Omdat dit in het gebied waarin we ons bevinden niet beschikbaar is heb ik dit niet verder geëxploreerd.) Nadat gebleken was dat wij inderdaad slechts papieren ADSL-dekking hadden en gezien mijn eerdere (weinig positieve) ervaringen met internet via de satelliet (stammend uit het begin van Kennisnet) hebben we WiMax besteld.
Na een radiostilte van de zijde van de WiMax ISP (internet service provider) Als@tis van een maand of drie kregen we helaas de mededeling dat ook WiMax voor onze locatie een onmogelijkheid was. NB: Dit is opmerkelijk omdat bij minimaal een ander huis in het dorp dat soortgelijk ligt ten opzichte van de radio-toren wel een WiMax verbinding mogelijk is.

KA-SAT

ka sat dekking

Omdat we nu redelijk door onze opties voor breedband-internet heen waren is vervolgens toch maar gekozen voor de satelliet-optie van Eutelsat: de KA-SAT. De KA-SAT is een relatief nieuwe satelliet die eind 2010 door Eutelsat gelanceerd is en ergens 2011 operationeel is geworden. De satelliet is een zogenaamd multi-spot systeem, met 82 spot-beams die allemaal over een eigen transponder met een capaciteit van 475 Mb beschikken. Al met al betekent dit voor de gebruiker dat internettoegang met een snelheid tot 10 Mbps down- en 4 Mbps upstream mogelijk is. Volgens Eutelsat levert KA-SAT hiermee breedband-internet toegang aan zo’n miljoen huishoudens.
De dienst die vermarkt wordt onder de naam Tooway bestaat naast de eigenlijke satelliet uit 10 grondstations die via een glasvezel ‘KA-SAT ring’ verbonden zijn. Het beheer van de dienst wordt verzorgd vanuit het NOC dat in Torino (Italy) staat. Aan de klant-zijde bestaat het systeem uit een satelliet-schotel met TRIA (Transmit and Receive Integrated Assembly) e.g. een ontvang- en zendinstallatie en een satelliet-modem dat op basis van standaard ethernet met het klant-netwerk verbonden wordt. Afhankelijk van de gekozen lokale service-provider wordt het systeem uitgebreid met Wifi mogelijkheden, TV mogelijkheden en/of telefonie op basis van VoIP. Eutelsat is in dit alles de wholesale provider en als (particuliere) klant neem je de dienst af bij een van de lokale service-providers. In Frankrijk zijn dit onder andere NordNet (onderdeel van France Telecom), Connexion Verte en Als@tis. Gezien de eerdere ervaring met de helpdesken van FT en Als@tis tijdens onze eerdere ADSL en WiMax pogingen en het feit dat Connexion Verte een flat-fee telefonie-optie aanbood hebben we voor Connexion Verte gekozen.

inrichten en inregelen

In tegenstelling tot de eerdere teleurstellende ervaringen met de WiMax- en ADSL-providers bleek de gekozen lokale internet-via-satelliet provider zeer klantgericht te zijn. Zo reageerde men direct op email en telefoon en was de informatie daarnaast relevant en accuraat. Het kan dus blijkbaar wel.
Na levering van de set (schotel, modem, Wifi-router en telefonie-ATA) bleek het meeste werk te bestaan uit het vinden van een plek met vrij zicht op het deel van de lucht waar de satelliet staat. Het monteren van de schotel was verder triviaal en nadat een en ander opgesteld was bestond het verder installeren met name uit het richten van de schotel op de satelliet. Omdat ze hiervoor een goed werkende iPhone app beschikbaar hebben was dit eenvoudig om te doen. De verdere fine-tuning (met behulp van de in het systeem ingebouwde richt-procedure) was daarna snel voltooid. NB: Het inhuren van een bedrijf hiervoor is mijns inziens zonde van het geld, een en ander is perfect uit te voeren voor een relatieve leek op dit gebied, zeker gezien de goede kwaliteit van de documentatie.
Het enige probleem wat zich tijdens de procedure voordeed was dat het systeem geen betrouwbare verbinding met de satelliet leek op te bouwen. Na contact met de helpdesk van Connexion-Verte bleek al gauw dat de bestelde kabel van 25 meter in werkelijkheid minstens zeker 50 meter lang was en na het inkorten ervan werkte alles zonder problemen.
NB: de totale weerstand in de kabel mag namelijk niet meer dan 3 Ohm bedragen en het systeem beschikt over goede diagnostische software waarmee dergelijke problemen uitstekend traceerbaar blijken te zijn.

via sat

gebruik

Kort en goed: de ervaring tot nu (na zo’n 4/5 dagen) is 100% positief. Downloads gaan vlot en alleen met sites die uit veel verschillende kleine elementen bestaan, merk je nadrukkelijk dat je via een satelliet werkt. Tijdens een zeer zware regenbui liep de snelheid inderdaad behoorlijk terug maar de verbinding bleef wel in stand. En ook bij het bellen merk je als gebruiker amper dat er vertraging van een 800 milliseconden op de lijn zit. Ook de spraakkwaliteit is op het ‘oog’ van voldoende hoge kwaliteit en zeker vergelijkbaar met de kwaliteit van de telefonie-diensten van aanbieders als Ziggo en XS4All.

conclusie

Als je in Frankrijk breedband-internet wilt hebben ben je erg afhankelijk van de mogelijkheden die in de nabije omgeving beschikbaar zijn. Verder geldt dat je absoluut niet op de dekkingskaarten van ADSL en WiMax kan vertrouwen bij het kiezen van een toegangsmethodiek. ADSL wordt in de buitengebieden vaak alleen door France Telecom (onder de merknaam Orange) aangeboden. In de meer verstedelijkte gebieden kan je wel vaak kiezen tussen meerdere aanbieders. Bij satelliet en WiMax kan je in alle gevallen tussen meerdere aanbieders kiezen waarbij het verschil met name in de additionele diensten als telefonie en Wifi apparatuur zit.
Met betrekking tot de techniek geldt dat satelliet-internet anno 2012 een geheel ander product is dan het 10 jaar geleden was. Met de huidige techniek is het een geloofwaardig alternatief voor ADSL en kabel voor rurale gebieden waar geen bruikbare koper-infrastructuur aanwezig is. In vergelijking met WiMax lijkt het – op basis van de eerste ervaringen – een superieure techniek. Als ik weer zou moeten kiezen gegeven ‘de kennis van nu’ zou ik in eerste instantie wel weer voor ADSL kiezen maar als dit niet leverbaar blijkt, zou ik nu direct voor satelliet gaan. Ik heb ondertussen ook ervaringen gehoord van lokale WiMax gebruikers die opmerkelijk veel klachten hadden, zowel over de kwaliteit (om de dag storing) als over de snelheid (lager dan 1 Mbps), wat mij des te tevredener maakt over mijn ‘internet a haut debit’ via KA-SAT.

© Hans Pronk / 2012