AI8 / SEME
Prvi uspeh · meritve R3

Majhen model.
Manj presenečenja.

AI8 Seme N1 na razvojnih podatkih napove naslednji bajt bolje kot pošteno izbrana n-gramska kontrola. To je prvi korak do učljivega merilnika stiskanja in novosti v AI8.

Razvojni podatki (dev) · eno seme · test zaprt
N1 · L6 h128 residual2,13 bpb363.779 parametrov, približno 364 tisoč.
N-gram reda 4 · kontrola2,41 bpbIzbran na učnem holdoutu, pred primerjavo na dev.
Manj bitov za podatke≈ 12 %Najboljši N1 proti kontroli. Brez cene modela.

Kaj pomeni »bit na bajt«?

Bajt je enota podatkov, bit pa najmanjša odločitev: 0 ali 1. bpb pove, koliko bitov model v idealnem kodiranju povprečno potrebuje za en izvirni bajt. Boljša napoved pomeni krajši zapis: pogostemu nadaljevanju lahko namenimo manj bitov.

8 bpb je zapis brez prihranka: vsakemu od 256 možnih bajtov namenimo enako prostora — kot da ne poznamo vzorcev. 4,87 bpb doseže že poznavanje pogostosti posameznih bajtov (približno: črk), brez njihovega vrstnega reda. 2,41 bpb doseže n-gram reda 4; 2,13 bpb najboljši N1 v R3.

Bajt ni vedno znak. Slovenski šumniki v UTF-8 porabijo več bajtov. Meritve so na mešanici besedil in kode, ne posebej na slovenščini. Nižje je bolje.

N-gram je tabela kratkih nadaljevanj. Pri redu 4 uporablja zadnje tri bajte in iz njihovih pogostosti ocenjuje naslednjega. Je preprosta, močna kontrola: model mora preseči lokalno pomnjenje vzorcev.

Red in glajenje n-grama sta bila izbrana na ločenem delu učnih podatkov (train-holdout). N1 in kontrola se merita na istem dev razcepu. Testni podatki so ostali zaprti; pregledani so bili le hashi manifestov. Dev rezultat zato še ni neodvisna potrditev na testu.

Od zastoja do 9 od 9

R2 · težava

Signal za učenje je ugašal.

Pri globokem zaporedju blokov brez obvoza je gradient — navodilo, kako spremeniti uteži — do spodnjih plasti prišel zelo oslabljen. Del modelov se je ustavil blizu pogostosti posameznih bajtov. Nobeden od devetih uradnih modelov ni premagal kontrole.

R3 · residualna povezava

Vhod dobi neposredno pot naprej.

Sprememba x + blok(x) ohrani vhod in mu prišteje naučeni popravek. Diagnostika R2 je podprla razlago o gradientu; v R3 je vseh devet residualnih modelov preseglo kontrolo. Najboljši: L6 h128 pri 2,1316 bpb.

R3 ni spremenil le povezave: učil se je 360 sekund na konfiguracijo, R2 pa 110 sekund; R3 je dodal tudi kosinusno zmanjševanje učne stopnje. Celotne razlike zato ne pripisujemo samo residualni povezavi.

Uteži int8 skoraj ohranijo rezultat: odstopanje v tabeli je največ 0,0012 bpb. Pri L6 h128 je rezultat 2,1314 bpb namesto 2,1316. To je meritev napovedi; samo po sebi ne dokazuje hitrejšega izvajanja.

Poskusi sam · ilustracija

Igra napovedi

Pomikaj se po kratkem nizu. Za vsak naslednji znak pokažemo, kako bi različna gotovost napovedi spremenila ceno zapisa.

Vse verjetnosti in biti v tej igri so ilustrativni. V brskalniku ne teče N1; to niso meritve modelov na prikazanih nizih.



Naslednji znak:

Cena posameznega znaka = −log₂(verjetnost). Če mu model pripiše verjetnost 1/2, je cena 1 bit. Igra računa bite na prikazani znak; raziskovalne tabele merijo bite na bajt. N1 ni nujno najboljši pri vsakem znaku.

Koliko prostora bi zasedla datoteka 1 MB?

Ilustracija za 1 MB = 1.000.000 bajtov: izvirni bajti × bpb ÷ 8. Uporabljamo zaokrožene stopnje iz razlage.

8 bpb1.000.000 B
4,87 bpb608.750 B
2,41 bpb301.250 B
2,13 bpb266.250 B

To je idealna cena samo podatkov, če bi navedena stopnja veljala za to datoteko. Ni ustvarjen stisnjen arhiv. Uteži oziroma tabela modela, glave in izvedbena režija niso vključene.

Pošten račun: plačati je treba tudi slovar.

Predstavljaj si, da prijatelju pošlješ sporočilo v krajšavah. Sporočilo je kratko, vendar mu moraš poslati tudi slovar krajšav. Pri kratkem sporočilu je lahko velik slovar dražji od vsega prihranka.

MDL = cena modela + cena podatkov. Tudi N1 mora »poslati slovar«: svoje uteži. Na dev zbirki velikosti 399.438 B (približno 400 KB) skupno še zmaga n-gram reda 2: 3,99 bita na bajt. Najboljši N1 po skupni ceni je manjši L6 h64 int8 pri 4,50 bita na bajt, ne bpb-zmagovalec L6 h128.

N1 je zmagal v napovedovanju na dev. Pri tej količini podatkov še ni skupni zmagovalec stiskanja po MDL.

Enota obračuna je izvirni dev bajt, ne znak. MDL vključuje idealni zapis dev podatkov z EOS; cena učenja oziroma prequentialni člen nista vključena. Kodiranje n-gramske tabele je preprosto in dekodirljivo, ne optimalno.

Zakaj je to za AI8 pomembno?

N1 je prvi učljivi organ v tej smeri razvoja AI8: majhen napovedovalnik bajtov, namenjen merjenju stisljivosti in novosti. Ni klepetalnik in ta poskus ne meri kakovosti pogovora ali razumevanja sveta.

Ali je debata dodala kaj novega?

Predlagana uporaba, še ne dokazana: AI8 bi primerjal presenečenje ob novem odstavku s tem, kar že zna napovedati. Ponavljanje znanega bi bilo lažje napovedljivo; nova povezava bi lahko potrebovala več bitov. Nato bi preveril, ali novo informacijo lahko obdrži in z njo izboljša prihodnje napovedi.

Veliko bitov lahko pomeni tudi šum, tipkarsko napako ali nesmisel. Zato »presenetljivo« še ne pomeni »koristno« ali »resnično«; potrebni so vsebinski pregled in ciljni preizkusi na debatah.

Kaj še ni dokazano?

Naslednji koraki · predlog

  1. Zamrzniti izbor modela in protokol pred uporabo zaprtega testa.
  2. Preveriti ponovljivost z več semeni in ločiti vpliv povezave od časa učenja ter urnika učne stopnje.
  3. Meriti celotno ceno modela in podatkov na večjih zbirkah ter nato ciljno preveriti ocenjevanje novosti v debatah.

To so predlogi nadaljevanja, ne že opravljeni poskusi.

Za tiste, ki želijo preveriti številke

Priloga A · celotna tabela R3

Stolpci so prepisani neposredno iz R3 RESULTS.md. Dev bpb je povprečje na bajt; params pomeni število parametrov, R pa doseg konteksta v bajtih. Čas v sekundah, RAM v MB. V tabeli ostaja izvirna decimalna pika.

R3 · izvirne meritve na dev (decimalna pika)
modelparamsRtrain sstepstrain bytes seenlast-25% train bits/tokdev bpbfp16 dev bpbint8 dev bpbwall speak RAM MB
L9 h256 residual1,909,2511023359.55972,444,9771.9592.31022.31022.3105431.01022
L8 h256 residual1,711,875511359.66672,731,6551.9242.27722.27722.2774417.8990
L6 h256 residual1,317,123127359.78723,571,2151.8942.20522.20522.2055399.9950
L9 h128 residual512,3871023359.916666,823,0111.9522.19942.19942.2000386.4900
L8 h128 residual462,851511360.018527,584,7351.8992.17722.17722.1775381.5885
L6 h128 residual363,779127360.023689,697,9371.8072.13162.13162.1314376.7860
L9 h64 residual145,7311023359.9371115,198,0532.0392.28902.28902.2898370.9847
L8 h64 residual133,251511360.0410016,791,1431.9872.28852.28852.2892369.7839
L6 h64 residual108,291127360.0529421,681,1221.9742.25452.25452.2557366.9823
n-gram order 1 alpha 0.0031 ctx0--3,999,989-4.8678----
n-gram order 2 alpha 0.3158 ctx1--3,999,989-3.7109----
n-gram order 3 alpha 0.16,013 ctx2--3,999,989-2.8294----
n-gram order 4 alpha 0.03 (selected on train-holdout)54,488 ctx3--3,999,989-2.4145----
n-gram order 5 alpha 0.01174,490 ctx4--3,999,989-2.4861----
n-gram order 6 alpha 0.01345,021 ctx5--3,999,989-2.7644----
Priloga B · celotna tabela MDL

Razvrščeno po skupni ceni. Model bits + data bits = total bits; total / dev byte vključuje tudi model. V izvirnem obračunu je pri prvem n-gramu vsota ločeno zaokroženih delov za en bit drugačna od zaokrožene skupne vrednosti. Vrednosti ohranjamo kot v viru.

MDL · izvirni dvodelni obračun na dev (decimalna pika)
rankmodelparams / table entriesmodel bitsdev bpbdata bitstotal bitstotal / dev byte
1n-gram order 2 (alpha 0.3)6,013110,7283.71091,482,2791,593,0063.988
2N1 L6 h64 res int8108,291895,8082.2557901,0141,796,8224.498
3n-gram order 1 (alpha 0.003)1584,2504.86781,944,3801,948,6304.878
4N1 L8 h64 res int8133,2511,099,7762.2892914,3992,014,1755.043
5n-gram order 3 (alpha 0.1)54,508892,5432.82941,130,1512,022,6945.064
6N1 L9 h64 res int8145,7311,201,7602.2898914,6282,116,3885.298
7N1 L6 h64 res fp16108,2911,732,6642.2545900,5402,633,2046.592
8N1 L8 h64 res fp16133,2512,132,0242.2885914,1253,046,1497.626
9N1 L9 h64 res fp16145,7312,331,7042.2890914,3053,246,0098.126
10N1 L6 h128 res int8363,7792,952,0002.1314851,3733,803,3739.522
11N1 L8 h128 res int8462,8513,752,9602.1775869,7904,622,75011.573
12n-gram order 4 (alpha 0.03)174,5653,852,1692.4145964,4284,816,59712.058
13N1 L9 h128 res int8512,3874,153,4402.2000878,7665,032,20612.598
14N1 L6 h128 res fp16363,7795,820,4722.1316851,4376,671,90916.703
15N1 L8 h128 res fp16462,8517,405,6242.1772869,6518,275,27520.717
16N1 L9 h128 res fp16512,3878,198,2002.1994878,5159,076,71522.724
17N1 L6 h256 res int81,317,12310,603,3282.2055880,97411,484,30228.751
18n-gram order 5 (alpha 0.01)345,15910,740,2222.4861993,05211,733,27429.374
19N1 L8 h256 res int81,711,87513,777,9202.2774909,69314,687,61336.771
20N1 L9 h256 res int81,909,25115,365,2162.3105922,92116,288,13740.778
21N1 L6 h256 res fp161,317,12321,073,9762.2052880,85221,954,82854.964
22n-gram order 6 (alpha 0.01)547,97122,101,5692.76441,104,21223,205,78158.096
23N1 L8 h256 res fp161,711,87527,390,0082.2772909,61528,299,62370.849
24N1 L9 h256 res fp161,909,25130,548,0242.3102922,77731,470,80178.788
Viri in natančne vrednosti

Razlaga temelji samo na treh lokalnih zapisih meritev iz ai8-live:

  • seme/n1/measure_r2/RESULTS.md — kontrola 2,4145, unigram 4,8678; R2 0/9.
  • seme/n1/measure_r2/DIAG.md — izginjajoči gradient in diagnostika povezave x + blok(x).
  • seme/n1/measure_r3/RESULTS.md — R3 9/9; L6 h128 363.779 parametrov, 2,1316 bpb; MDL 3,988 proti 4,498 bita/dev bajt.

Izboljšanje: (2,4145 − 2,1316) / 2,4145 ≈ 11,72 %, v razlagi približno 12 %. Učna zbirka: 3.999.989 B; dev: 399.438 B. Test ni bil prebran.