Majhen model.
Manj presenečenja.
AI8 Seme N1 na razvojnih podatkih napove naslednji bajt bolje kot pošteno izbrana n-gramska kontrola. To je prvi korak do učljivega merilnika stiskanja in novosti v AI8.
Razvojni podatki (dev) · eno seme · test zaprtKaj pomeni »bit na bajt«?
Bajt je enota podatkov, bit pa najmanjša odločitev: 0 ali 1. bpb pove, koliko bitov model v idealnem kodiranju povprečno potrebuje za en izvirni bajt. Boljša napoved pomeni krajši zapis: pogostemu nadaljevanju lahko namenimo manj bitov.
8 bpb je zapis brez prihranka: vsakemu od 256 možnih bajtov namenimo enako prostora — kot da ne poznamo vzorcev. 4,87 bpb doseže že poznavanje pogostosti posameznih bajtov (približno: črk), brez njihovega vrstnega reda. 2,41 bpb doseže n-gram reda 4; 2,13 bpb najboljši N1 v R3.
Bajt ni vedno znak. Slovenski šumniki v UTF-8 porabijo več bajtov. Meritve so na mešanici besedil in kode, ne posebej na slovenščini. Nižje je bolje.
N-gram je tabela kratkih nadaljevanj. Pri redu 4 uporablja zadnje tri bajte in iz njihovih pogostosti ocenjuje naslednjega. Je preprosta, močna kontrola: model mora preseči lokalno pomnjenje vzorcev.
Red in glajenje n-grama sta bila izbrana na ločenem delu učnih podatkov (train-holdout). N1 in kontrola se merita na istem dev razcepu. Testni podatki so ostali zaprti; pregledani so bili le hashi manifestov. Dev rezultat zato še ni neodvisna potrditev na testu.
Od zastoja do 9 od 9
Signal za učenje je ugašal.
Pri globokem zaporedju blokov brez obvoza je gradient — navodilo, kako spremeniti uteži — do spodnjih plasti prišel zelo oslabljen. Del modelov se je ustavil blizu pogostosti posameznih bajtov. Nobeden od devetih uradnih modelov ni premagal kontrole.
Vhod dobi neposredno pot naprej.
Sprememba x + blok(x) ohrani vhod in mu prišteje naučeni popravek. Diagnostika R2 je podprla razlago o gradientu; v R3 je vseh devet residualnih modelov preseglo kontrolo. Najboljši: L6 h128 pri 2,1316 bpb.
R3 ni spremenil le povezave: učil se je 360 sekund na konfiguracijo, R2 pa 110 sekund; R3 je dodal tudi kosinusno zmanjševanje učne stopnje. Celotne razlike zato ne pripisujemo samo residualni povezavi.
Uteži int8 skoraj ohranijo rezultat: odstopanje v tabeli je največ 0,0012 bpb. Pri L6 h128 je rezultat 2,1314 bpb namesto 2,1316. To je meritev napovedi; samo po sebi ne dokazuje hitrejšega izvajanja.
Igra napovedi
Pomikaj se po kratkem nizu. Za vsak naslednji znak pokažemo, kako bi različna gotovost napovedi spremenila ceno zapisa.
Vse verjetnosti in biti v tej igri so ilustrativni. V brskalniku ne teče N1; to niso meritve modelov na prikazanih nizih.
Naslednji znak:
Cena posameznega znaka = −log₂(verjetnost). Če mu model pripiše verjetnost 1/2, je cena 1 bit. Igra računa bite na prikazani znak; raziskovalne tabele merijo bite na bajt. N1 ni nujno najboljši pri vsakem znaku.
Koliko prostora bi zasedla datoteka 1 MB?
Ilustracija za 1 MB = 1.000.000 bajtov: izvirni bajti × bpb ÷ 8. Uporabljamo zaokrožene stopnje iz razlage.
To je idealna cena samo podatkov, če bi navedena stopnja veljala za to datoteko. Ni ustvarjen stisnjen arhiv. Uteži oziroma tabela modela, glave in izvedbena režija niso vključene.
Pošten račun: plačati je treba tudi slovar.
Predstavljaj si, da prijatelju pošlješ sporočilo v krajšavah. Sporočilo je kratko, vendar mu moraš poslati tudi slovar krajšav. Pri kratkem sporočilu je lahko velik slovar dražji od vsega prihranka.
MDL = cena modela + cena podatkov. Tudi N1 mora »poslati slovar«: svoje uteži. Na dev zbirki velikosti 399.438 B (približno 400 KB) skupno še zmaga n-gram reda 2: 3,99 bita na bajt. Najboljši N1 po skupni ceni je manjši L6 h64 int8 pri 4,50 bita na bajt, ne bpb-zmagovalec L6 h128.
N1 je zmagal v napovedovanju na dev. Pri tej količini podatkov še ni skupni zmagovalec stiskanja po MDL.
Enota obračuna je izvirni dev bajt, ne znak. MDL vključuje idealni zapis dev podatkov z EOS; cena učenja oziroma prequentialni člen nista vključena. Kodiranje n-gramske tabele je preprosto in dekodirljivo, ne optimalno.
Zakaj je to za AI8 pomembno?
N1 je prvi učljivi organ v tej smeri razvoja AI8: majhen napovedovalnik bajtov, namenjen merjenju stisljivosti in novosti. Ni klepetalnik in ta poskus ne meri kakovosti pogovora ali razumevanja sveta.
Ali je debata dodala kaj novega?
Predlagana uporaba, še ne dokazana: AI8 bi primerjal presenečenje ob novem odstavku s tem, kar že zna napovedati. Ponavljanje znanega bi bilo lažje napovedljivo; nova povezava bi lahko potrebovala več bitov. Nato bi preveril, ali novo informacijo lahko obdrži in z njo izboljša prihodnje napovedi.
Veliko bitov lahko pomeni tudi šum, tipkarsko napako ali nesmisel. Zato »presenetljivo« še ne pomeni »koristno« ali »resnično«; potrebni so vsebinski pregled in ciljni preizkusi na debatah.
Kaj še ni dokazano?
- Rezultati veljajo za dev in eno naključno seme (7); test ostaja zaprt.
- Primerjava je časovno omejena na dani CPU: večje konfiguracije so opravile manj učnih korakov. To ni univerzalna razvrstitev zmogljivosti.
- Manjša napovedna izguba še ne dokazuje manjšega celotnega arhiva, uporabne ocene debat ali posplošitve na drugo zbirko.
Naslednji koraki · predlog
- Zamrzniti izbor modela in protokol pred uporabo zaprtega testa.
- Preveriti ponovljivost z več semeni in ločiti vpliv povezave od časa učenja ter urnika učne stopnje.
- Meriti celotno ceno modela in podatkov na večjih zbirkah ter nato ciljno preveriti ocenjevanje novosti v debatah.
To so predlogi nadaljevanja, ne že opravljeni poskusi.
Za tiste, ki želijo preveriti številke
Priloga A · celotna tabela R3
Stolpci so prepisani neposredno iz R3 RESULTS.md. Dev bpb je povprečje na bajt; params pomeni število parametrov, R pa doseg konteksta v bajtih. Čas v sekundah, RAM v MB. V tabeli ostaja izvirna decimalna pika.
| model | params | R | train s | steps | train bytes seen | last-25% train bits/tok | dev bpb | fp16 dev bpb | int8 dev bpb | wall s | peak RAM MB |
|---|---|---|---|---|---|---|---|---|---|---|---|
| L9 h256 residual | 1,909,251 | 1023 | 359.5 | 597 | 2,444,977 | 1.959 | 2.3102 | 2.3102 | 2.3105 | 431.0 | 1022 |
| L8 h256 residual | 1,711,875 | 511 | 359.6 | 667 | 2,731,655 | 1.924 | 2.2772 | 2.2772 | 2.2774 | 417.8 | 990 |
| L6 h256 residual | 1,317,123 | 127 | 359.7 | 872 | 3,571,215 | 1.894 | 2.2052 | 2.2052 | 2.2055 | 399.9 | 950 |
| L9 h128 residual | 512,387 | 1023 | 359.9 | 1666 | 6,823,011 | 1.952 | 2.1994 | 2.1994 | 2.2000 | 386.4 | 900 |
| L8 h128 residual | 462,851 | 511 | 360.0 | 1852 | 7,584,735 | 1.899 | 2.1772 | 2.1772 | 2.1775 | 381.5 | 885 |
| L6 h128 residual | 363,779 | 127 | 360.0 | 2368 | 9,697,937 | 1.807 | 2.1316 | 2.1316 | 2.1314 | 376.7 | 860 |
| L9 h64 residual | 145,731 | 1023 | 359.9 | 3711 | 15,198,053 | 2.039 | 2.2890 | 2.2890 | 2.2898 | 370.9 | 847 |
| L8 h64 residual | 133,251 | 511 | 360.0 | 4100 | 16,791,143 | 1.987 | 2.2885 | 2.2885 | 2.2892 | 369.7 | 839 |
| L6 h64 residual | 108,291 | 127 | 360.0 | 5294 | 21,681,122 | 1.974 | 2.2545 | 2.2545 | 2.2557 | 366.9 | 823 |
| n-gram order 1 alpha 0.003 | 1 ctx | 0 | - | - | 3,999,989 | - | 4.8678 | - | - | - | - |
| n-gram order 2 alpha 0.3 | 158 ctx | 1 | - | - | 3,999,989 | - | 3.7109 | - | - | - | - |
| n-gram order 3 alpha 0.1 | 6,013 ctx | 2 | - | - | 3,999,989 | - | 2.8294 | - | - | - | - |
| n-gram order 4 alpha 0.03 (selected on train-holdout) | 54,488 ctx | 3 | - | - | 3,999,989 | - | 2.4145 | - | - | - | - |
| n-gram order 5 alpha 0.01 | 174,490 ctx | 4 | - | - | 3,999,989 | - | 2.4861 | - | - | - | - |
| n-gram order 6 alpha 0.01 | 345,021 ctx | 5 | - | - | 3,999,989 | - | 2.7644 | - | - | - | - |
Priloga B · celotna tabela MDL
Razvrščeno po skupni ceni. Model bits + data bits = total bits; total / dev byte vključuje tudi model. V izvirnem obračunu je pri prvem n-gramu vsota ločeno zaokroženih delov za en bit drugačna od zaokrožene skupne vrednosti. Vrednosti ohranjamo kot v viru.
| rank | model | params / table entries | model bits | dev bpb | data bits | total bits | total / dev byte |
|---|---|---|---|---|---|---|---|
| 1 | n-gram order 2 (alpha 0.3) | 6,013 | 110,728 | 3.7109 | 1,482,279 | 1,593,006 | 3.988 |
| 2 | N1 L6 h64 res int8 | 108,291 | 895,808 | 2.2557 | 901,014 | 1,796,822 | 4.498 |
| 3 | n-gram order 1 (alpha 0.003) | 158 | 4,250 | 4.8678 | 1,944,380 | 1,948,630 | 4.878 |
| 4 | N1 L8 h64 res int8 | 133,251 | 1,099,776 | 2.2892 | 914,399 | 2,014,175 | 5.043 |
| 5 | n-gram order 3 (alpha 0.1) | 54,508 | 892,543 | 2.8294 | 1,130,151 | 2,022,694 | 5.064 |
| 6 | N1 L9 h64 res int8 | 145,731 | 1,201,760 | 2.2898 | 914,628 | 2,116,388 | 5.298 |
| 7 | N1 L6 h64 res fp16 | 108,291 | 1,732,664 | 2.2545 | 900,540 | 2,633,204 | 6.592 |
| 8 | N1 L8 h64 res fp16 | 133,251 | 2,132,024 | 2.2885 | 914,125 | 3,046,149 | 7.626 |
| 9 | N1 L9 h64 res fp16 | 145,731 | 2,331,704 | 2.2890 | 914,305 | 3,246,009 | 8.126 |
| 10 | N1 L6 h128 res int8 | 363,779 | 2,952,000 | 2.1314 | 851,373 | 3,803,373 | 9.522 |
| 11 | N1 L8 h128 res int8 | 462,851 | 3,752,960 | 2.1775 | 869,790 | 4,622,750 | 11.573 |
| 12 | n-gram order 4 (alpha 0.03) | 174,565 | 3,852,169 | 2.4145 | 964,428 | 4,816,597 | 12.058 |
| 13 | N1 L9 h128 res int8 | 512,387 | 4,153,440 | 2.2000 | 878,766 | 5,032,206 | 12.598 |
| 14 | N1 L6 h128 res fp16 | 363,779 | 5,820,472 | 2.1316 | 851,437 | 6,671,909 | 16.703 |
| 15 | N1 L8 h128 res fp16 | 462,851 | 7,405,624 | 2.1772 | 869,651 | 8,275,275 | 20.717 |
| 16 | N1 L9 h128 res fp16 | 512,387 | 8,198,200 | 2.1994 | 878,515 | 9,076,715 | 22.724 |
| 17 | N1 L6 h256 res int8 | 1,317,123 | 10,603,328 | 2.2055 | 880,974 | 11,484,302 | 28.751 |
| 18 | n-gram order 5 (alpha 0.01) | 345,159 | 10,740,222 | 2.4861 | 993,052 | 11,733,274 | 29.374 |
| 19 | N1 L8 h256 res int8 | 1,711,875 | 13,777,920 | 2.2774 | 909,693 | 14,687,613 | 36.771 |
| 20 | N1 L9 h256 res int8 | 1,909,251 | 15,365,216 | 2.3105 | 922,921 | 16,288,137 | 40.778 |
| 21 | N1 L6 h256 res fp16 | 1,317,123 | 21,073,976 | 2.2052 | 880,852 | 21,954,828 | 54.964 |
| 22 | n-gram order 6 (alpha 0.01) | 547,971 | 22,101,569 | 2.7644 | 1,104,212 | 23,205,781 | 58.096 |
| 23 | N1 L8 h256 res fp16 | 1,711,875 | 27,390,008 | 2.2772 | 909,615 | 28,299,623 | 70.849 |
| 24 | N1 L9 h256 res fp16 | 1,909,251 | 30,548,024 | 2.3102 | 922,777 | 31,470,801 | 78.788 |
Viri in natančne vrednosti
Razlaga temelji samo na treh lokalnih zapisih meritev iz ai8-live:
seme/n1/measure_r2/RESULTS.md— kontrola 2,4145, unigram 4,8678; R2 0/9.seme/n1/measure_r2/DIAG.md— izginjajoči gradient in diagnostika povezavex + blok(x).seme/n1/measure_r3/RESULTS.md— R3 9/9; L6 h128 363.779 parametrov, 2,1316 bpb; MDL 3,988 proti 4,498 bita/dev bajt.
Izboljšanje: (2,4145 − 2,1316) / 2,4145 ≈ 11,72 %, v razlagi približno 12 %. Učna zbirka: 3.999.989 B; dev: 399.438 B. Test ni bil prebran.