AI Safety seminář

Umělá inteligence představuje obrovskou příležitost, ale také jedno z největších rizik pro budoucnost lidstva. Jak pojistit, aby budoucí transformativní systémy umělé inteligence proměnily svět výrazně k lepšímu, a ne naopak? Proč je AI považována za existenční riziko i významnými experty v oboru výzkumu umělé inteligence?

Obecná umělá inteligence (AGI) nemusí mít vědomí jako člověk a přesto může v relativně blízké budoucnosti předčít člověka v mnoha ohledech. V současné době nevíme, jak takovou AI vytvořit tak, abychom mohli zaručit, že pro lidstvo nepředstavuje hrozbu.

Připravili jsme osmitýdenní seminář podle sylabu, který původně vznikl na univerzitě v Cambridge. Přihlásit se můžete do jedné z verzí semináře. Jeden seminář je více technický a druhý je zaměřený na AI governance, tedy usměrňování vývoje prostřednictvím norem, předpisů a zahraničněpolitických přístupů k mezinárodní bezpečnosti AI.

Pro koho je seminář určen?

Do obou verzí semináře se můžete přihlásit i bez předchozích znalostí machine learningu, pokud jste ochotni v prvním týdnu věnovat dodatečný čas materiálům vysvětlujícím základní principy strojového učení.

Přihlaste se, pokud chcete do hloubky porozumět tomu, proč současné metody vývoje AI nedostatečně adresují její dlouhodobou bezpečnost pro společnost a lidstvo, a chcete se dozvědět, co se s tím dá dělat.

Na seminář lze navázat praktickými pracovními projekty týkajícími se např. evaluace velkých jazykových modelů.

💡 Co se dozvíte?

Technický seminář o bezpečnosti AI

• Stručné intro do neuronových sítí a jak se AI trénuje
• Co je obecná umělá inteligence (AGI) a jak rychle k ní směřujeme
• Jak si AI může vytvářet instrumentální cíle, tedy proč by mohla vzdorovat vypnutí nebo proč by může začít hromadit prostředky.
• Jak špatně napsaná odměnová funkce může vést k optimalizaci nežádaného chování (reward hacking, reward misspecification)
• Jak může AI při tréninku chybně zobecnit své cíle
• Jak škálovat možnost dohledu nad AI, pokud přestáváme rozumět problémům, které řeší
• Jaké jsou aktuálně navrhované postupy pro bezpečný trénink AI
• Jak vypadá výzkum interpretability, tedy schopnosti porozumět, co si AI “myslí”
• Jak v sobě AI reprezentuje agenty a agentnost

Celý sylabus naleznete zde.

Seminář o AI governance

• Stručné intro do neuronových sítí a jak se AI trénuje
• Jaká konkrétní katastrofická rizika ze špatně nastavené AI hrozí
• Proč je bezpečnost AI obtížně dosažitelná
• Jaké standardy a regulace mohou s bezpečným vývojem AI pomoci
• Jak omezit možnosti vyvíjet nebezpečné AI systémy nebezpečným aktérům
• Jak řídit riziko AI skrze regulaci produkce čipů
• Jak zajistit mezinárodní kooperaci

Celý sylabus naleznete zde.

🎓 Jak seminář probíhá?

Každý týden budete číst texty z různých zdrojů v angličtině. Příprava vám zabere zhruba 3 hodiny týdně. 

Budete rozděleni do menších skupin o 3 až 6 lidech, které se budou setkávat jednou týdně na hodinu až hodinu a půl dlouhou diskuzi, kde budete probírat přečtené texty pro daný týden. Diskuze samotná probíhá v češtině. 

Diskuze vám pomůže lépe pochopit a utřídit si myšlenky a také poznat zajímavé lidi, kteří se zajímají o AI a její bezpečnost. Diskuzi bude moderovat zkušený facilitátor, který pomáhá pečovat o její kvalitu a zajišťuje bezpečné a podnětné prostředí.

⏳ Kdy? Konkrétní pravidelné termíny setkávání budou domluveny podle časových možností účastníků v jednotlivých skupinách. Setkání bude celkem 8 – každý týden jedno.

🗺️ Kde? Setkání budou probíhat osobně v Praze či v Brně, nebo online. (Osobní setkávání může být i v jiném městě, pokud se zde sejde skupinka zájemců.)

🏷️ Cena: Zdarma

👉 Přihlásit se

 

Bonus: navazující víkendová akce

Na seminář navazuje víkendovka, které se absolventi semináře mohou volitelně zúčastnit. Podzimní víkendovku chystáme na 24.-26.11. 2023 a jarní v roce 2024 ještě bude upřesněna. Jde o skvělou příležitost seznámit se v příjemném prostředí i s účastníky z jiných skupin a s dalšími lidmi z České republiky, kteří se zajímají o témata probíraná v semináři.