Claude Shannon, informationsteori og computere

Mange jonglører har hørt om jongleringsrobotten, der er opfundet af Claude Shannon, og jonglører, der har sans for matematik vil helt sikkert kende til Shannons læresætning om jonglering. Blandt matematikere og computerforskere er Claude Shannon imidlertid en legende, der i vid udstrækning anerkendes som en af de mest geniale mænd i det 20. århundrede. Det er umuligt at overgå hans betydning i den tidlige udvikling af computere og digital kommunikation. I 1990 kaldte Scientific American Shannons artikel om informationsteori, "The Magna Carta of the Information Age."

Shannon og informationsteori

Med opmuntring fra Vannevar Bush besluttede Shannon at følge op på sin kandidatgrad med en doktorgrad i matematik - en opgave, som han afsluttede i løbet af et halvt år. Ikke længe efter at have modtaget denne grad i foråret 1940 tiltrådte han Bell Labs. Da USA’s indtræden i 2. Verdenskrig tydeligt kun var et spørgsmål om tid, gik Shannon straks i gang med at arbejde på militære projekter såsom luftværnsild og kryptografi (at lave og bryde koder).

Ikke desto mindre fandt Shannon altid tid til at arbejde på den grundlæggende teori om kommunikation, et emne, der havde vakt hans interesse flere år tidligere. I et brev, som nu er bevaret på arktiverne i Library of Congress, havde Shannon skrevet følgende til Bush i februar 1939: ”Jeg har arbejdet on-off på en analyse af nogle af de grundlæggende egenskaber ved generelle systemer til transmission af efterretning, inklusive telefoni, radio, tv, telegrafi osv.”. For at gøre fremskridt og nå i mål havde han brug for en måde til at specificere, hvad der blev sendt, når kommunikationen foregik.

På baggrund af Bell Labs-ingeniøren Ralph Hartleys arbejde, formulerede Shannon et stringent matematisk udtryk for informationsbegrebet. I sin simpleste form sagde Shannon, at informationsindholdet i en meddelelse bestod af et antal binære et-taller og nuller, der kræves for at afkode den. Hvis du på forhånd vidste, at en meddelelse ville formidle et enkelt valg – ja eller nej, sandt eller falskt – ville et binært ciffer være tilstrækkeligt: ​​et enkelt et-tal eller et enkelt nul fortalte dig alt det, du havde brug for at vide. Beskeden ville således blive defineret til at have en informationsenhed.

En mere kompliceret meddelelse ville på den anden side kræve flere cifre for at afkode og ville indeholde så meget mere information; tænk på de tusinder eller millioner af ettaller og nuller, der udgør en fil i et tekstbehandlingsprogram.

Shannon indså, at denne definition havde sine uønskede aspekter. En meddelelse kan muligvis kun indeholde en binær informationsenhed - “Ja” - men en verden af meninger som i “Ja, jeg vil gifte dig med dig.” Men ingeniørernes job var at få dataene fra det ene sted til det andet med så lidt transporttid som muligt, uanset indholdet. Og til dette formål var den digitale definition af information ideel, fordi den muliggjorde en nøjagtig matematisk analyse. Hvad er grænserne for en kommunikationskanals kapacitet? Hvor meget af denne kapacitet kan du bruge i praksis? Hvad er de mest effektive måder til at afkode information til transmission i uundgåelig tilstedeværelse af støj?

Dømt ud fra sine kommentarer mange år senere havde Shannon skitseret sine svar på den slags spørgsmål i 1943. Mærkeligt nok så han slet ikke ud til at føle noget pres ift. at dele denne indsigt; nogle af hans nærmeste medarbejdere på det tidspunkt sværgede, at de ikke havde nogen anelse om, at han arbejdede med informationsteori.

Han havde heller ikke travlt med at offentliggøre og dermed sikre sig anerkendelse for værket. ”Jeg var mere motiveret af nysgerrighed,” forklarede han i sit interview fra 1987 og tilføjede, at processen med at skrive med det formål at skulle offentliggøre noget var ”smertefuldt”. I sidste ende overvandt Shannon imidlertid sin modvilje. Resultatet: den banebrydende artikel "En matematisk teori om kommunikation", der kunne findes i juli- og oktober-udgaverne fra 1948 af Bell System Technical Journal.

Shannons ideer eksploderede som en bombe. ”Det var som et lyn fra en klar himmel”, genfortæller John Pierce, som var en af ​​Shannons bedste venner på Bell Labs, og alligevel lige så overrasket over Shannons papir som alle andre. ”Jeg kender ikke til nogen anden teori, der kom i en så komplet form som denne, med meget lidt baggrundsviden eller historie”. Der var noget ved denne opfattelse af kvantificerende information, der manede folks forestillinger på jorden. ”Det var en åbenbaring,” siger Oliver Selfridge, der dengang var kandidatstuderende på MIT. ”På MIT var reaktionen strålende! Hvorfor tænkte jeg ikke på det? ”

Jongløren Claude Shannon

Jeg mødte først Claude i jonglørklubben på MIT. En dejlig ting ved jonglering på MIT er, at du aldrig ved, hvem der dukker op. For eksempel kom Doc Edgerton, opfinder af strobelyset, en dag forbi jonglørklubben og spurgte, om han måtte fotografere nogle af os jonglere under strobelys. Så det var ikke en stor overraskelse, da en munter, gråhåret professor kom forbi klubben en eftermiddag og sagde til mig: "Må jeg måle din jonglering?" Det var sådan, jeg mødte Claude Shannon.

I modsætning til de fleste strålende teoretiske matematikere var Claude også imponerende dygtig med værktøjer og maskiner og byggede ofte små gadgets og opfindelser, normalt med det formål at lave dem finurlige frem for praktiske. ”Jeg har altid forfulgt mine interesser uden meget hensyntagen til økonomisk værdi eller værdi for verden. Jeg har brugt en masse tid på helt ubrugelige ting”, sagde Shannon i 1983. Disse ubrugelige ting ville omfatte hans jongleringsrobot, en mekanisk mus, der kunne navigere i en labyrint og en computermaskine, der lavede alle beregninger i romertal.

Claude bekymrede sig aldrig om penge. Inden han giftede sig, havde han aldrig indbetalt sin løn på en bankkonto, der betalte renter, indtil hans kone Betty foreslog ham det. Han blev alligevel en meget velhavende mand, delvis som et resultat af tidlige investeringer med nogle af hans datalogi-venner, herunder stifterne af Teledyne og Hewlett Packard. Da han tænkte på finansiering, var Claude lige så genial med det som med alt andet, han gik i gang med.

Da han vidste, at jeg var økonom, fortalte mig han engang sine tanker omkring investering. Nogle var vidunderligt praktiske, som da han sagde, at han altid ville købe aktier i stedet for guld, fordi virksomheder vokser, og det gør metaller ikke. Nogle var mere nørdede, for eksempel havde han ideer til middelvariansanalyse, der passede godt sammen med mange aspekter af moderne porteføljeteori.

Claude fortalte mig denne historie. Han lavede måske sjov, men det illustrerer både hans sans for humor og hans dejlige selvironiske natur, og det kunne bestemt være sandt. Historien er, at Claude var midt i ​​at holde en forelæsning for matematikere i Princeton, da døren bagerst i ​​lokalet åbner, og ind vandrer Albert Einstein. Einstein står og lytter i et par minutter, hvisker noget i øret på nogen bagerst i lokalet og forlader derefter lokalet. Til sidst i ​​forelæsningen skynder Claude sig ned bagerst i lokalet for at finde den person, som Einstein havde hvisket til for at finde ud af, hvad den store mand havde at sige om Claudes arbejde. Svaret var, at Einstein havde spurgt om vejen til herretoilettet.

Claude skrev det første papir, der beskrev, hvordan man kunne programmere en computer til at spille skak. Han skrev "Kommunikationsteori om hemmeligholdelsessystemer", som avisen Boston Globe sagde "omdannede kryptografi fra kunst til en videnskab". Ikke desto mindre var ingen af ​​disse hans største værker.

Her er min egen fortolkning af Claudes to mest berømte og vigtigste artikler. Hans afhandling fra 1937 sagde dybest set, ”at hvis vi en dag kunne opfinde en computermaskine, var måden til at få den til at tænke på, ville det være at bruge binær kode ved at sammensætte kontakter og anvende Booles logiksystem på resultatet". Dette arbejde, som blev udført, mens han stadig var studerende ved MIT, er blevet kaldt den vigtigste kandidatafhandling fra det 20. århundrede. Ideen blev straks taget i brug i design af telefoncentraler, og det er faktisk stadig måden, hvorpå alle moderne computere tænker.

Men det var kun Claudes næstvigtigste idé. Hans mest berømte artikel, skrevet i 1948 på Bell Labs, skabte det, der i dag er kendt som informationsteori. I "En matematisk teori om kommunikation" foreslog Shannon ideen om at konvertere enhver form for data (som f.eks. billeder, lyde eller tekst) til nuller og ettaller, som derefter kunne formidles uden fejl.

Data reduceres til bidder af information, og informationstransmission måles derefter afhængig af mængden af ​​forstyrrelse eller tilfældighed, som dataene indeholder (entropi). Optimal kommunikation af data opnås ved at fjerne al tilfældighed og redundans (nu kendt som Shannon-grænsen). Kort sagt opfandt Claude dybest set digital kommunikation, som nu bruges af computere, mobiltelefoner og andre digitale kommunikationsenheder. Foruden kommunikation er så forskellige områder som datalogi, neurobiologi, krypteringsanalyser og genetik alle blevet revolutioneret ved anvendelse af Shannons informationsteori. Uden Claudes arbejde kunne internettet, som vi i dag kender det, ikke være blevet skabt.

En dag, næsten lige efter at jeg var ankommet til hans hus, sagde Claude til mig: "Har du noget imod, hvis jeg hænger dig i benene med hovedet nedad?”. Han havde indset, at mens bounce-jonglering er meget lettere end toss-jonglering, hvad angår kravet til energi, er det at kaste opad, som man gør i toss-jonglering, fysiologisk lettere, og derfor ønskede han at kombinere de to typer, hvilket betød at bounce-jonglere, mens man hang på hovedet.

For hver eneste opfindelse, han byggede, eller hver læresætning, som han beviste, havde han hundrede andre ideer, som han bare aldrig fik afsluttet. Et jongleringseksempel: Han viste mig en støvsuger, der var fastgjort til en stang, der pegede lige op, med motoren vendt om, så den kunne blæse i stedet for at suge. Han tændte den og placerede en skumbold i vindstrømmen. Den svævede omkring 30 cm over støvsugeren. Derefter ændrede han motorens hastighed, og kuglen drev op og ned, når hastigheden ændrede sig. ”Forestil dig nu tre kugler og to blæsere, med blæserne vinklet lidt mod hinanden, og motorerne er tidsindstillet med forskellige hastigheder”, sagde han.

Sidste gang jeg så Claude, havde han fået Alzheimers. Så trist som det er at se nogens lys falme langsomt, er det en særlig grusom skæbne for et geni. Han huskede svagt, at jeg jonglerede, og han viste mig muntert jongleringsskærme i sit legetøjsrum, som var det første gang, han viste mig det. Og på trods af tabet af hukommelse og fornuft var han lige så varm, venlig og munter, som han var, første gang jeg mødte ham. Flere milliarder af mennesker har muligvis draget fordel af hans arbejde, men jeg og tusinder af andre, der kendte ham blot en lille smule, er evigt taknemmelige for at have kendt ham som en person.