Levensbericht Claude E. Shannon

Full text

101
Levensbericht door K.A. Schouhamer Immink
Claude Elwood Shannon
30 april 1916 – 27 februari 2001
Claude Elwood Shannon

102
Dr. Claude Elwood Shannon, sinds 1975 buitenlands lid van de Koninklijke Neder-
landse Akademie van Wetenschappen, is op 27 februari 2001 overleden in Medford,
USA, na een lang gevecht met de ziekte van Alzheimer.
Shannon werd op 30 april 1916 in Petoskey, Michigan, USA, geboren. Hij begon
zijn studie wiskunde en elektrotechniek aan de Universiteit van Michigan, Ann
Arbor in 1936. Zijn ingenieursexamen en promotiewerk verrichtte hij bij het
Massachusetts Institute of Technology (MIT), Cambridge, waar hij promoveerde in
1940. Zijn afstudeerverslag behorende bij het examen van elektrotechnisch inge-
nieur is getiteld ‘A Symbolic Analysis of Relay and Switching Circuits’. Dit werk
werd vooral gemotiveerd door de sterke behoefte van de telecommunicatie-industrie
om een wiskundige taal te ontwerpen, die het gedrag van complexe schakelappara-
tuur eenvoudig kan beschrijven. De implicaties van Shannon’s artikel bleken echter
veel breder, daar het een handzame beschrijving bleek te verschaffen waarmee men
moderne digitale computers kan construeren. De eerste elektronische computers zijn
pas in de jaren vijftig gebouwd, en het is daarom interessant te vermelden dat het in
de jaren veertig door Shannon bedachte woord ‘bit’ (de afkorting van binary digit)
door de domesticatie van computers een alledaagse term is geworden.
Na een jaar aan het Institute for Advanced Study in Princeton verbonden te zijn
geweest, begon hij zijn loopbaan in 1941 bij de beroemde Bell Telephone Laborato-
ries (Bell Labs), waar hij tot zijn pensionering in 1972 verbleef. In 1956 ging hij
terug naar het MIT, waar hij tot zijn emeritaat in 1978 Donner Professor of Science
was, zowel in de faculteit der wiskunde als in de elektrotechniek.
Vlak na de Tweede Wereldoorlog, in 1948, publiceerde Shannon zijn tweede, nu
klassieke, artikel genaamd ‘A Mathematical Theory of Communication’, waarmee
hij een geheel nieuwe tak van toegepaste wetenschap startte, namelijk de informatie-
theorie. Hij stelt in de inleiding van zijn artikel dat ‘het fundamentele probleem van
communicatie is het exact of zo goed mogelijk reproduceren van een verzonden
bericht’. Shannon’s revolutionaire artikel houdt zich bezig met zeer praktische,
maar ook zeer fundamentele, vragen, die hij vaak op een uiterst elegante wijze wist
te beantwoorden. Eenvoudige vragen zoals: wat is informatie? Kan men de informa-
tie-inhoud van een informatiegenererende bron wiskundig formuleren? Is het
mogelijk foutvrij berichten te verzenden over een transmissiekanaal dat ernstig door
imperfecties zoals ruis wordt verstoord? Shannon beschouwde communicatie als
een stochastisch proces. De standaard semantische betekenis van informatie speelt
geen rol in de theorie. Een ‘informatiebron’, gemodelleerd als een stochastisch
proces, genereert informatie, ‘tekst’, die verzonden moet worden door een ‘kanaal’,
dat gedefinieerd is door een wiskundige relatie, die de overgangswaarschijnlijkheid
vastlegt tussen het ingangs- en uitgangssignaal. De maat voor informatie-inhoud is
zeer eenvoudig gedefinieerd als het gemiddeld aantal ‘enen’ en ‘nullen’ dat nodig is
om een bericht te versturen. De ontwerper van een transmissiesysteem mag een
apparaat, een ‘encoder’, plaatsen tussen bron en kanaal. Deze encoder bestaat in
Claude Elwood Shannon

103
feite uit twee encoders met verschillende taken. Allereerst wordt de brontekst
getransformeerd naar een gecodeerde tekst, die met minder ‘enen’ en ‘nullen’ kan
worden weergegeven dan de brontekst door het verwijderen van mogelijk aanwezige
redundantie. Deze stap noemt men wel broncodering. Na deze codeerstap wordt de
gecodeerde tekst getransformeerd in een gecodeerd bericht dat minder gevoelig is
voor de onderhavige kanaalverstoringen. Deze stap noemt men kanaalcodering. Een
apparaat, decoder, vertaalt, zo goed als mogelijk, het ontvangen gecodeerde en
mogelijk met fouten behepte signaal naar de brontekst. Hij bewees wiskundig dat
door toepassing van digitale codes kan worden gecommuniceerd met fouten die met
een willekeurig kleine kans voorkomen. Om dit te kunnen bewerkstelligen moet de
encoder een zeer complexe code gebruiken, die niet noodzakelijkerwijs te imple-
menteren is, en een zeer grote tijdsvertraging tot gevolg heeft tijdens het codeer- en
decodeerproces.
De aandacht van velen werd vooral getrokken door de limietformule voor de
kanaalcapaciteit C. De kanaalcapaciteit is de maximale snelheid van informatieover-
dracht met een zo kleine fout als men wil door een voldoende lange foutencorrige-
rende code te benutten. We veronderstellen een signaal met gemiddeld vermogen P
dat verstuurd wordt door een transmissiekanaal dat behept is met additieve Gaussi-
sche ruis met vermogensdichtheid N. Wanneer het kanaal een kanaalbandbreedte W
heeft, is de kanaalcapaciteit
C= W log (1+P/N) bit / sec.
Het is onmogelijk om betrouwbaar informatie sneller over te brengen dan de door
bovenstaande formule aangegeven kanaalcapaciteit. De theorie van Shannon toonde
aan dat door codering een grote winst was te bereiken in zowel de kwaliteit als
kwantiteit van informatietransmissie en informatieopslag. Echter, voor ingenieurs
enigszins teleurstellend, wist Shannon niet hoe de door zijn capaciteitsformule
beloofde snelheidswinst zou kunnen worden gerealiseerd. Foutencorrigerende codes
stonden in 1948 namelijk nog in de kinderschoenen. Bell Labs collega, Richard
Hamming, publiceerde in 1948 codes, die slechts een enkele bitfout in ontvangen
binaire woorden kunnen corrigeren. Het onderzoek naar adequate foutencorrige-
rende codes is veel later op zeer grote schaal gestimuleerd door het NASA ruimte-
vaartprogramma. Hierdoor werd het in de zestiger jaren mogelijk om berichten en
foto’s van de planeet Mars naar de aarde over te brengen. De wiskundigen Reed en
Solomon publiceerden in 1965 buitengewoon krachtige codes, waarvan zij de
correctiekracht wiskundig bewezen, maar waarvan zij niet wisten hoe ze de correc-
tiekracht op eenvoudige en efficiënte wijze konden benutten. Pas tien jaar later werd
een efficiënte decodeeralgoritme ontwikkeld voor deze Reed & Solomon codes.
Deze codes zijn zeer veelzijdig in het corrigeren van combinaties van enkele en
lange reeksen van bitfouten en zijn daardoor zeer geschikt voor praktische toepas-
Claude Elwood Shannon

104
singen in opslagmedia van digitale informatie. Shannon heeft nog bewust mogen
meemaken dat digitale codes wijd werden toegepast in de Compact Disc, modems,
Internet, digitale TV, etc. Zonder overdrijving kan worden gesteld dat genoemde
alledaagse producten, die de basis vormen van onze informatiemaatschappij, niet
hadden kunnen bestaan zonder de toepassing van digitale codes.
In 1949 publiceerde Shannon het artikel ‘Communication Theory of Secrecy
Systems’, dat cryptografie van een kunst in een wetenschap veranderde.
Zijn latere werk op het gebied van schakende machines en kunstmuizen, die na
een leerperiode hun weg door doolhoven wisten te vinden, was een eerste poging
om machines te ‘leren leren’. Deze zeer vroege leerexperimenten vormen de basis
voor het latere vakgebied kunstmatige intelligentie. Hij schreef in 1950 het artikel
‘Programming a Computer for Playing Chess’. Door zijn belangstelling voor
computerschaak had Shannon persoonlijk contact met Max Euwe. In 1965, tijdens
een rondreis door Rusland, ontmoette hij de toenmalige schaakwereldkampioen,
Botwinnik, die ook zeer geïnteresseerd was in computerschaak. Zij discussieerden
geruime tijd over hun gezamenlijke interesse. Shannon maakte van de gelegenheid
gebruik om Botwinnik uit te dagen voor een partij schaak. Shannon verloor na een
wedstrijd van 42 zetten, hetgeen als een fraaie prestatie werd beschouwd. Vaak is
naar aanleiding van experimenten met computerschaak beweerd dat een schaakma-
chine nooit en te nimmer zou kunnen winnen van een menselijke schaakkampioen.
Bijna dertig jaar later, in 1996, verloor de wereldkampioen, Kasparov, na een serie
van 24 wedstrijden van IBM’s schaakcomputer ‘Deep Blue’, en na deze menselijke
nederlaag zijn er nog maar weinigen die de stelling durven te verdedigen dat ‘de’
mens beter schaakt dan ‘de’ computer.
Shannon had ook een jongensachtige kant. Zijn toenmalige collega’s herinneren
zich nog goed dat hij door de gangen van Bell Labs reed op een eenwieler jongle-
rend met drie ballen. Hij bleef echter een wiskundige en ontwikkelde een wiskundi-
ge theorie van het jongleren, waarbij optimale jongleerpatronen werden gevonden en
uitgeprobeerd. Hij ontwikkelde en bouwde experimentele jongleermachines.
Bovenstaande activiteiten tonen aan dat Shannon in de eerste plaats werd geleid
door nieuwsgierigheid en pas daarna door de praktische toepasbaarheid van de
resultaten. In zijn eigen woorden ‘Ik wil graag weten hoe iets werkt’. Hij had een
grote verzameling met mechanische curiosa, waaronder natuurlijk verschillende
schaak- en jongleermachines. Erg trots was hij op een kopie van de ‘Ultieme
Machine’. De Ultieme Machine, gebaseerd op een idee van Mervin Minsky, bestaat
uit een houten kastje met een deksel. Op het kastje is een aan/uit schakelaar gemon-
teerd. Wanneer men de machine aanzet door de schakelaar op ‘aan’ te zetten, begint
het apparaat kwaadaardig te grommen. De deksel gaat open en er verschijnt een
handje dat zich langzaam naar de schakelaar beweegt. Het handje zet de schakelaar
op ‘uit’ en verdwijnt weer naar binnen, de deksel slaat met een klap dicht, het
Claude Elwood Shannon

105
gegrom stopt, en de rust keert weer. Het psychologische effect, wanneer men niet
weet wat er staat te gebeuren, is verwoestend. Een apparaat dat werkelijk niets
anders kan dan zichzelf uitzetten.
In Nederland behoorde Van der Pol tot degenen die onmiddellijk het grote belang
van Shannon’s informatietheorie inzagen. Bij de vergadering van de Internationale
Wetenschappelijke Radio Unie in 1950, in Zurich, stelde hij een subcommissie voor
informatietheorie in, en kort daarna liet hij het adviesorgaan voor radiozaken van de
Internationale Telecommunicatie Unie, de CCIR de vraag stellen wat in het licht van
de theorie van Shannon de beste modulatietechniek was. In 1950, twee jaar na de
verschijning van Shannon’s artikel, werd door Willis Jackson (met E.C. Cherry als
rechterhand) het eerste Internationale Informatietheorie Symposium georganiseerd.
Informatietheorie kent nog steeds een grote groep van actieve beoefenaren. Er wordt
jaarlijks een Internationaal Informatietheorie Symposium georganiseerd dat gemid-
deld circa 700 bezoekers trekt. In Nederland ontstonden in de zestiger jaren leerstoe-
len voor het nieuwe gebied, en, sterk gestimuleerd door Van Soest (Delft), werden
eigen bijdragen geleverd. De leerstoelen werden bezet door Boxma (Delft), Gröne-
veld (Twente) en Schalkwijk (Eindhoven). In de industrie, het Philips Natuurkundig
Laboratorium, werd door Stumpers baanbrekend werk verricht in het nieuwe
vakgebied. Naar aanleiding van het vijftig jarig bestaan van de Informatietheorie
werd in 1998 in het Trippenhuis een Akademiesymposium gehouden met als titel
Information Theory: The first fifty years and beyond.
Shannon ontving eredoctoraten van tenminste zes universiteiten. Tal van andere
wetenschappelijke eerbewijzen viel hem ten deel. Als belangrijkste dienen vermeld
te worden: de Medal of Honor van het Institute for Electrical and Electronics
Engineers (IEEE) in 1966; de National Medal of Science (Amerika’s hoogste weten-
schappelijke onderscheiding) in 1966; de Kyoto prijs in Basic Science in 1985; de
Audio Engineering Society Gold Medal in 1985. Claude Shannon is een (ere)lid van
de Academy of Arts and Sciences; National Academy of Sciences; National Aca-
demy of Engineering; KNAW; Royal Irish Academy; Royal Society of London.
Met het overlijden van de heer Shannon verliest onze Akademie een uiterst
creatief lid, wiens revolutionaire theorie de basis vormt van de informatiemaatschap-
pij. Hoewel zijn naam weinig bekend is bij het grote publiek, behoort Shannon zeer
beslist tot de wetenschappelijke top van de twintigste eeuw. Zijn invloed op het
alledaagse leven, die al heel groot is, zal alleen nog maar toenemen.
Claude Elwood Shannon