Under huven
Linjen Under huven har fyra kurser som bygger på varandra, från grunderna till ett eget slutarbete.
De fyra kurserna
- R09-101
Linjär algebra, sannolikhet och gradient descent i kod
Eleven kan implementera automatisk differentiering i reverse-mode, cross-entropy-förlust och AdamW-optimeraren från grunden i ren NumPy vars analytiska gradienter matchar numeriska finita differenser inom < 1e-6.
- R09-201
Bygg en Transformer från grunden i PyTorch
Eleven kan implementera en komplett BPE-tokeniserare och en decoder-only Transformer med RoPE och KV-caching från grunden i PyTorch (utan nn.Transformer) som matchar referenstensorer för forward/backward och ekvivalens för KV-cache.
- R09-301
RLHF, DPO och mekanistisk tolkbarhet
Eleven kan implementera den exakta DPO-förlustfunktionen och en activation-patching-hook i PyTorch som förskjuter preferenssannolikheter på en toy-modell och isolerar det utpekade attention head som ansvarar för ett seedat circuit-beteende.
- R09-401
Läsa, granska och återskapa en forskningsartikel
Eleven kan implementera kärnalgoritmen och ablationsexperimentet från en tillhandahållen specifikation av en forskningsartikel och reproducera dess empiriska målvärden inom en deklarerad toleransenvelopp.
Vad som ska klaras
Varje kurs slutar med en uppgift som rättas mot ett fast facit.
- R09-101 Lämna in en modul för autograd och optimerare i ren NumPy (micrograd_np.py) som klarar 30 fasta enhetstester som jämför forward-utdata, backward-gradienter och AdamW-viktuppdateringar mot referenstensorer inom toleransen 1e-6.
- R09-201 Lämna in bpe.py och transformer.py som testas av 35 fasta enhetstester som verifierar: exakt reproduktion av BPE-merge, noll läckage av framtida token genom kausal mask, exakt tensormatchning mot referensvikter (< 1e-5) och identiska logits med och utan KV-cache aktiverad.
- R09-301 Lämna in dpo_loss.py och activation_patch.py som klarar 25 fasta enhetstester som verifierar exakt överensstämmelse för DPO-förlust/gradient mot referensekvationer och deterministisk identifiering av den seedade induction head i en fryst liten transformer.
- R09-401 Slutför en nycklad metodgranskning med 20 poster av ett tillhandahållet artikelpaket och lämna in ett reproduktionsskript (reproduce.py) som körs på ett fryst dataset i testcontainern och reproducerar de nycklade måtten för baseline och ablation inom deklarerade toleranser. (Valfritt portföljobjekt: fullständig replikationsrapport).
Kursens lektioner skrivs. Ställ dig på väntelistan så mejlar vi när den öppnar. Till väntelistan