Hoppa till innehållet
POLARISAI ACADEMY
Linje R09

Under huven

Linjen Under huven har fyra kurser som bygger på varandra, från grunderna till ett eget slutarbete.

De fyra kurserna

  1. R09-101

    Linjär algebra, sannolikhet och gradient descent i kod

    Eleven kan implementera automatisk differentiering i reverse-mode, cross-entropy-förlust och AdamW-optimeraren från grunden i ren NumPy vars analytiska gradienter matchar numeriska finita differenser inom < 1e-6.

    28 h · Förkunskap: F01–F07, R02-201 · första lektionen öppen

  2. R09-201

    Bygg en Transformer från grunden i PyTorch

    Eleven kan implementera en komplett BPE-tokeniserare och en decoder-only Transformer med RoPE och KV-caching från grunden i PyTorch (utan nn.Transformer) som matchar referenstensorer för forward/backward och ekvivalens för KV-cache.

    32 h · Förkunskap: R09-101 · första lektionen öppen

  3. R09-301

    RLHF, DPO och mekanistisk tolkbarhet

    Eleven kan implementera den exakta DPO-förlustfunktionen och en activation-patching-hook i PyTorch som förskjuter preferenssannolikheter på en toy-modell och isolerar det utpekade attention head som ansvarar för ett seedat circuit-beteende.

    28 h · Förkunskap: R09-201 · första lektionen öppen

  4. R09-401

    Läsa, granska och återskapa en forskningsartikel

    Eleven kan implementera kärnalgoritmen och ablationsexperimentet från en tillhandahållen specifikation av en forskningsartikel och reproducera dess empiriska målvärden inom en deklarerad toleransenvelopp.

    35 h · Förkunskap: R09-301 · första lektionen öppen

Vad som ska klaras

Varje kurs slutar med en uppgift som rättas mot ett fast facit.

  • R09-101 Lämna in en modul för autograd och optimerare i ren NumPy (micrograd_np.py) som klarar 30 fasta enhetstester som jämför forward-utdata, backward-gradienter och AdamW-viktuppdateringar mot referenstensorer inom toleransen 1e-6.
  • R09-201 Lämna in bpe.py och transformer.py som testas av 35 fasta enhetstester som verifierar: exakt reproduktion av BPE-merge, noll läckage av framtida token genom kausal mask, exakt tensormatchning mot referensvikter (< 1e-5) och identiska logits med och utan KV-cache aktiverad.
  • R09-301 Lämna in dpo_loss.py och activation_patch.py som klarar 25 fasta enhetstester som verifierar exakt överensstämmelse för DPO-förlust/gradient mot referensekvationer och deterministisk identifiering av den seedade induction head i en fryst liten transformer.
  • R09-401 Slutför en nycklad metodgranskning med 20 poster av ett tillhandahållet artikelpaket och lämna in ett reproduktionsskript (reproduce.py) som körs på ett fryst dataset i testcontainern och reproducerar de nycklade måtten för baseline och ablation inom deklarerade toleranser. (Valfritt portföljobjekt: fullständig replikationsrapport).
Lektioner kommer

Kursens lektioner skrivs. Ställ dig på väntelistan så mejlar vi när den öppnar. Till väntelistan