Seminář o bezpečnosti umělé inteligence

AI představuje nejen obrovskou příležitost, ale také aktuálně asi největší riziko pro budoucnost lidstva. Jak zajistit, aby budoucí transformativní AI systémy proměnily svět výrazně k lepšímu, a ne naopak? Proč je AI považována těmi nejvýznamnějšími experty v oboru výzkumu umělé inteligence za existenční riziko.

Obecná umělá inteligence (AGI) nemusí mít vědomí jako člověk a přesto může v blízké budoucnosti předčít člověka v mnoha ohledech. V současné době nevíme, jak takovou AI vytvořit tak, abychom mohli zaručit, že pro lidstvo nepředstavuje hrozbu.

Připravili jsme seminář podle programu, který původně vznikl na univerzitě v Cambridge. Přihlásit se můžete do jedné z verzí semináře. Jedna je více technická a druhá je zaměřená na AI governance, tedy usměrňování vývoje prostřednictvím politických či regulatorních nástrojů. Konkrétní obsah kurikula zároveň budeme částečně upravovat na míru pro danou skupinu účastníků.

👉 Přihlásit se (Přihlaste se do konce září. V prvním říjnovém týdnu domluvíme se zájemci organizační věci a seminář začne v týdnu od 5. 10.)

⏳ Kdy? Začínáme v týdnu od 5. října (Některá skupinka může z organizačních důvodů začít o něco později.) Den a čas pravidelného setkávání domlouváme operativně podle časových možností účastníků. Setkání bývá standardně 8 – každý týden jedno. Zároveň je program flexibilní: podle preferencí ve skupině si účastníci mohou s facilitátorem domluvit úpravu formátu, např. na 4 setkání.

🗺️ Kde? Setkání probíhají online, případně osobně v Praze či v Brně. (Podle preferencí a možností účastníků.)

Pro koho je seminář určen?

Předchozí znalost z oblasti AI není podmínkou. Přihlaste se, pokud chcete do hlouběji porozumět tomu, proč současné metody vývoje AI nedostatečně adresují její dlouhodobou bezpečnost pro společnost a lidstvo, a chcete se dozvědět, co se s tím dá dělat.

💡 Dozvíte se například:

Technický seminář o bezpečnosti AI

• Stručné intro do neuronových sítí a jak se AI trénuje (v míře podle úrovně skupiny)
• Co je obecná umělá inteligence (AGI) a jak rychle k ní směřujeme
• Jak si AI může vytvářet instrumentální cíle, tedy proč by mohla vzdorovat vypnutí nebo proč by může začít hromadit prostředky.
• Jak špatně napsaná odměnová funkce může vést k optimalizaci nežádaného chování (reward hacking, reward misspecification)
• Jak může AI při tréninku chybně zobecnit své cíle
• Jak škálovat možnost dohledu nad AI, pokud přestáváme rozumět problémům, které řeší
• Jaké jsou aktuálně navrhované postupy pro bezpečný trénink AI
• Jak vypadá výzkum interpretability, tedy schopnosti porozumět, co si AI “myslí.

Celý sylabus naleznete zde.

Seminář o AI governance

• Stručné intro do neuronových sítí a jak se AI trénuje
• Jaká konkrétní katastrofická rizika ze špatně nastavené AI hrozí
• Proč je bezpečnost AI obtížně dosažitelná
• Jaké standardy a regulace mohou s bezpečným vývojem AI pomoci
• Jak bránit nebezpečným aktérům vyvíjet nebezpečné AI systémy
• Jak řídit riziko AI skrze regulaci produkce čipů
• Jak zajistit mezinárodní kooperaci

Celý sylabus naleznete zde.

🎓 Jak seminář probíhá?

Každý týden budete studovat materiály z různých zdrojů v angličtině. Vzorná příprava vám zabere několik hodin týdně, chápeme však, že účastníci ji v praxi často nezvládnou v ideálním rozsahu. Na setkáních si můžete vyměňovat poznatky z materiálů podle toho, kdo kterou část zvládl lépe nastudovat.

V menších skupinkách o 3 až 8 lidech, které se budou setkávat jednou týdně na hodinu až hodinu a půl dlouhou diskuzi, budete probírat přečtené texty pro daný týden. Diskuze samotná probíhá v češtině (pokud by se některá ze skupin nedomluvila jinak).

Diskuze vám pomůže lépe pochopit a utřídit si myšlenky a také poznat zajímavé lidi, kteří se zajímají o AI a její bezpečnost. Diskuzi bude moderovat zkušený facilitátor, který pomáhá pečovat o její kvalitu a zajišťuje bezpečné a podnětné prostředí.

🏷️ Cena: Zdarma

👉 Přihlásit se

Bonus: navazující víkendová akce

Na seminář volitelně navazuje retreat. Akce se bude konat začátkem listopadu, podrobnosti upřesníme. Jde o skvělou příležitost seznámit se v příjemném prostředí s dalšími lidmi, kteří se zajímají o témata probíraná v semináři. Místo konání: Hostačov, na Vysočině – viz fall.hostacov.com

Nechcete, aby vám unikly další podobné příležitosti? O novinkách se dozvíte na našem webu, nebo na facebookových stránkách, případně se můžete přihlásit k odběru newsletteru.