Úvodní stránka | Tato stránka v originále

Algoritmická informační teorie

Algoritmická informační teorie pole studia, které pokouší se zachytit představu o složitosti použije nástroje od teoretické informatiky. Hlavní nápad má definovat složitost (nebo Kolmogorov složitost) řetězce jako délka nejkratšího programu který, když běh bez nějakého vstupu, výstupy ten řetězec. Řetězce, které mohou být produkovány krátkými programy jsou zvažovány být ne velmi složitý. Tento pojem je překvapivě hluboce a moci být zvyklý na stát a se ukazovat jako výsledky nemožnosti blízké Gödel incompleteness teorém a Turing má váhavý problém.

Pole bylo vyvinuto Andrey Kolmogorov, Ray Solomonoff a Gregory Chaitin spouštění v pozdní šedesátá léta. Tam je několik variant Kolmogorov složitosti nebo algoritmických informací. Nejvíce široce použitý je umístěný na self-ohraničovat programy a je způsobený Leonidem Levinem (1974).

Formovat nad definicí složitosti, jeden musí specifikovat přesně jaké druhy programů jsou dovoleny. Naštěstí, to opravdu nevadí: jeden mohl vzít zvláštní zápis pro Turing strojenebo LISP programy nebo Pascal programy nebo Jávský virtuální stroj bytecode. Jestliže my souhlasíme, že změří délky všech objektů konzistentně v kouskách, pak výsledná ponětí o složitosti budou jen se lišit o konstantní faktor: jestliže Já1(s) a Já2(s) být complexitites řetězce s shodovat se ke dvěma různým programovacím jazykům L1 a L2, pak jsou konstanty C a D (který jen záviset na jazycích volený, ale ne na s) takový to

Tady, D je délka interpreta pro L2 zapsaný L1, a C popíše horní programů uložení zapsaný L2 jako součást programů v L1.

Ve sledování, my budeme opravovat jednu definici a jednoduše psát Já(s) pro složitost řetězce s.

První překvapivý výsledek je to Já(s) moci ne být počítán: není tam žádný generál algoritmus který vezme řetězec s jako vstup a produkuje číslo Já(s) jako výstup. Důkaz je formování bavit Berry paradox: “nechaný n být nejmenší číslo, které nemůže být definováno v méně než dvacet anglických slov. Dobře, já jsem jen definoval to v méně než dvacet anglických slov.”

To je nicméně přímé počítat horní hranice pro Já(s): prostě obklad řetězec s s nějakou metodou, realizovat korespondenční decompressor ve voleném jazyce, concatenate decompressor k stlačenému řetězci a míře výsledný řetězec je délka.

Příští důležitý výsledek je o náhodnosti řetězců. Většina řetězců je komplex v pocitu, že oni nemohou být významně stlačení: Já(s) je ne hodně menší než |s|, délka s v kouskách. Přesné sdělení je takto: tam je konstanta K (který závisí jen na zvláštní specifikaci “programu” použitý v definici složitosti) takový to pro každý n, pravděpodobnost to náhodný řetězec s má složitost méně než |s| - n je menší než K 2-n. Důkaz je argument počítání: vy počítáte programy a řetězce, a porovnat. Tento teorém je ospravedlnění pro Mike Goldmanovu výzvu v comp.compression FAQ:

Já připojím cenu $5,000 komukoli kdo úspěšně zabývá se tímto problémem. Nejprve, contestant řekne mně jak dlouho datového souboru vytvářet. Sekunda, já budu tvořit datový soubor, a poslat to contestant. Minule, contestant pošle mně decompressor a komprimovaný soubor, který bude spolu tvořit ve velikosti méně než originální data defilují a který bude schopný obnovit komprimovaný soubor ke státu originálu.

S touto nabídkou, vy můžete naladit váš algoritmus na má data. Vy řeknete mně parametry velikosti předem. Všichni já začnu dělat je uspořádat kousky uvnitř mého souboru shodovat se k příkazům mého rozmaru. Jako poplatek zpracování, já budu vyžadovat zálohu $100 od nějakého contestant. Tento deposit je 100 % splátkový jestliže vy obstojíte ve zkoušce.

Nyní pro Chaitin incompleteness vyplývat: ačkoli my víme, že většina řetězců je komplexní v nad smyslem, skutečnost, že specifický řetězec je komplex může nikdy být dokázaný (jestliže délka řetězce je nad jistým prahem). Přesné formování je takto. Předpokládat, že my fixujeme zvláštní shodný axiomatický systém pro přirozená čísla, říkat Peano axiómy. Pak tam existuje konstanta L (který jen závisí na zvláštním axiomatickém systému a volbě definice složitosti) takový že není tam žádný řetězec s pro kterého sdělení
moci být dokázaný uvnitř axiomatického systému (dokonce ačkoli, jak my víme to, drtivá většina těch sdělení musí být pravdivá). Znovu, důkaz tohoto výsledku je utváření Berryova paradoxu.

Podobné nápady jsou používány se ukázat jako vlastnosti Chaitin konstanty

minimální zprávový délkový princip statistického a indukčního závěru a učení stroje byl nezávisle rozvinutý C.S. Wallace a D.M. Boulton v roce 1968. MML je Bayesian (to včlení předchozí beliefs) a informace-teoretický. To má žádoucí vlastnosti statistického invariance (závěr zobrazí se re-parameterisation, takový jak od polar se sladí k kartézským souřadnicím), statistická hustota (dokonce pro velmi tvrdé problémy, MML sblíží se k nějakému základovému modelu) a efektivita (MML model sblíží se k nějakému opravdovému základovému modelu o jak rychle jak je možný). C.S. Wallace a D.L. Dowe ukazoval formální spojení mezi MML a algoritmickou informační teorii (nebo Kolmogorov složitost) v roce 1999.

Externí odkazy