AI Safety seminář

Na dramatických událostech poslední doby (útok agentů OpenAI na Hugging Face a řada dalších) vidíme, že dlouholeté predikce a obavy odborníků na bezpečnost umělé inteligence se znepokojivě naplňují. Je stále jasnější, že AI představuje nejen obrovskou příležitost, ale také asi největší aktuální riziko pro budoucnost lidstva. Jak zajistit, aby budoucí transformativní AI systémy proměnily svět výrazně k lepšímu, a ne naopak? Proč je AI považována těmi nejvýznamnějšími experty v oboru výzkumu umělé inteligence za existenční riziko?

👉 Přihlásit se

Obecná umělá inteligence (AGI) nemusí mít vědomí jako člověk a přesto může v relativně blízké budoucnosti předčít člověka v mnoha ohledech. V současné době nevíme, jak takovou AI vytvořit tak, abychom mohli zaručit, že pro lidstvo nepředstavuje hrozbu.

Připravili jsme seminář podle programu, který původně vznikl na univerzitě v Cambridge. Přihlásit se můžete do jedné z verzí semináře. Jedna je více technická a druhá je zaměřená na AI governance, tedy usměrňování vývoje prostřednictvím politických či regulatorních nástrojů. Konkrétní obsah kurikula zároveň budeme částečně upravovat na míru pro danou skupinu účastníků.

⏳ Kdy? Začínáme v týdnu od 5. října (Některá skupinka může z organizačních důvodů začít o něco později.) Den a čas pravidelného setkávání domlouváme operativně podle časových možností účastníků. Setkání bývá standardně 8 – každý týden jedno. Zároveň je program flexibilní: podle preferencí ve skupině si účastníci mohou s facilitátorem domluvit úpravu formátu, např. na 4 setkání.

🗺️ Kde? Setkání probíhají online, případně osobně v Praze či v Brně. (Podle preferencí a možností účastníků.)

Pro koho je seminář určen?

Obou verzí semináře se můžete zúčastnit bez předchozích technických znalostí.

Přihlaste se, pokud chcete do hlouběji porozumět tomu, proč současné metody vývoje AI nedostatečně adresují její dlouhodobou bezpečnost pro společnost a lidstvo, a chcete se dozvědět, co se s tím dá dělat.

💡 Dozvíte se například:

Technický seminář o bezpečnosti AI

• Stručné intro do neuronových sítí a jak se AI trénuje (v míře podle úrovně skupiny)
• Co je obecná umělá inteligence (AGI) a jak rychle k ní směřujeme
• Jak si AI může vytvářet instrumentální cíle, tedy proč by mohla vzdorovat vypnutí nebo proč by může začít hromadit prostředky.
• Jak špatně napsaná odměnová funkce může vést k optimalizaci nežádaného chování (reward hacking, reward misspecification)
• Jak může AI při tréninku chybně zobecnit své cíle
• Jak škálovat možnost dohledu nad AI, pokud přestáváme rozumět problémům, které řeší
• Jaké jsou aktuálně navrhované postupy pro bezpečný trénink AI
• Jak vypadá výzkum interpretability, tedy schopnosti porozumět, co si AI “myslí.

Celý sylabus naleznete zde.

Seminář o AI governance

• Stručné intro do neuronových sítí a jak se AI trénuje
• Jaká konkrétní katastrofická rizika ze špatně nastavené AI hrozí
• Proč je bezpečnost AI obtížně dosažitelná
• Jaké standardy a regulace mohou s bezpečným vývojem AI pomoci
• Jak bránit nebezpečným aktérům vyvíjet nebezpečné AI systémy
• Jak řídit riziko AI skrze regulaci produkce čipů
• Jak zajistit mezinárodní kooperaci

Celý sylabus naleznete zde.

🎓 Jak seminář probíhá?

Každý týden budete číst texty z různých zdrojů v angličtině. Vzorná příprava vám zabere několik hodin týdně, chápeme však, že účastníci ji v praxi často nezvládnou v ideálním rozsahu. Na setkáních si můžete vyměňovat poznatky z materiálů podle toho, kdo kterou část zvládl lépe nastudovat.

Budete rozděleni do menších skupin o 3 až 8 lidech, které se budou setkávat jednou týdně na hodinu až hodinu a půl dlouhou diskuzi, kde budete probírat přečtené texty pro daný týden. Diskuze samotná probíhá v češtině (pokud by se některá ze skupin nedomluvila jinak). 

Diskuze vám pomůže lépe pochopit a utřídit si myšlenky a také poznat zajímavé lidi, kteří se zajímají o AI a její bezpečnost. Diskuzi bude moderovat zkušený facilitátor, který pomáhá pečovat o její kvalitu a zajišťuje bezpečné a podnětné prostředí.

🏷️ Cena: Zdarma

👉 Přihlásit se

Bonus: navazující víkendová akce

Na seminář volitelně navazuje retreat. Akce se bude konat začátkem listopadu, podrobnosti upřesníme. Jde o skvělou příležitost seznámit se v příjemném prostředí s dalšími lidmi, kteří se zajímají o témata probíraná v semináři. Místo konání: Hostačov, na Vysočině – viz fall.hostacov.com

Nemáte čas?

Pokud vás bezpečnost AI zajímá, ale například z časových důvodů se nemůžete semináře zúčastnit, nechte nám na sebe kontakt a my se vám ozveme s jinými příležitostmi k zapojení (události, diskuze, přednášky, projekty).

Chci být kontaktován/a

Nechcete, aby vám unikly další podobné příležitosti? O novinkách se dozvíte na našem webu, nebo na facebookových stránkách, případně se můžete přihlásit k odběru měsíčního newsletteru.