AI Safety seminář

Umělá inteligence představuje obrovskou příležitost, ale také jedno z největších rizik pro budoucnost lidstva. Jak pojistit, aby budoucí transformativní systémy umělé inteligence proměnily svět výrazně k lepšímu, a ne naopak? Proč je AI považována za existenční riziko i významnými experty v oboru výzkumu umělé inteligence?

👉 Přihlásit se – uzávěrka 3. března

Obecná umělá inteligence (AGI) nemusí mít vědomí jako člověk a přesto může v relativně blízké budoucnosti předčít člověka v mnoha ohledech. V současné době nevíme, jak takovou AI vytvořit tak, abychom mohli zaručit, že pro lidstvo nepředstavuje hrozbu.

Připravili jsme osmitýdenní seminář podle programu, který původně vznikl na univerzitě v Cambridge. Přihlásit se můžete do jedné z verzí semináře. Jeden seminář je více technický a druhý je zaměřený na AI governance, tedy usměrňování vývoje prostřednictvím norem, předpisů a zahraničněpolitických přístupů k mezinárodní bezpečnosti AI.

Pro koho je seminář určen?

Do obou verzí semináře se můžete přihlásit i bez předchozích znalostí machine learningu, pokud jste ochotni v prvním týdnu věnovat dodatečný čas materiálům vysvětlujícím základní principy strojového učení.

Přihlaste se, pokud chcete do hloubky porozumět tomu, proč současné metody vývoje AI nedostatečně adresují její dlouhodobou bezpečnost pro společnost a lidstvo, a chcete se dozvědět, co se s tím dá dělat.

Na seminář lze navázat praktickými pracovními projekty týkajícími se např. evaluace velkých jazykových modelů.

💡 Co se dozvíte?

Technický seminář o bezpečnosti AI

• Stručné intro do neuronových sítí a jak se AI trénuje
• Co je obecná umělá inteligence (AGI) a jak rychle k ní směřujeme
• Jak si AI může vytvářet instrumentální cíle, tedy proč by mohla vzdorovat vypnutí nebo proč by může začít hromadit prostředky.
• Jak špatně napsaná odměnová funkce může vést k optimalizaci nežádaného chování (reward hacking, reward misspecification)
• Jak může AI při tréninku chybně zobecnit své cíle
• Jak škálovat možnost dohledu nad AI, pokud přestáváme rozumět problémům, které řeší
• Jaké jsou aktuálně navrhované postupy pro bezpečný trénink AI
• Jak vypadá výzkum interpretability, tedy schopnosti porozumět, co si AI “myslí”
• Jak v sobě AI reprezentuje agenty a agentnost

Celý sylabus naleznete zde.

Seminář o AI governance

• Stručné intro do neuronových sítí a jak se AI trénuje
• Jaká konkrétní katastrofická rizika ze špatně nastavené AI hrozí
• Proč je bezpečnost AI obtížně dosažitelná
• Jaké standardy a regulace mohou s bezpečným vývojem AI pomoci
• Jak omezit možnosti vyvíjet nebezpečné AI systémy nebezpečným aktérům
• Jak řídit riziko AI skrze regulaci produkce čipů
• Jak zajistit mezinárodní kooperaci

Celý sylabus naleznete zde.

🎓 Jak seminář probíhá?

Každý týden budete číst texty z různých zdrojů v angličtině. Příprava vám zabere zhruba 3 hodiny týdně nebo více (v závislosti na vaší pečlivosti).

Budete rozděleni do menších skupin o 3 až 6 lidech, které se budou setkávat jednou týdně na hodinu až hodinu a půl dlouhou diskuzi, kde budete probírat přečtené texty pro daný týden. Diskuze samotná probíhá v češtině. 

Diskuze vám pomůže lépe pochopit a utřídit si myšlenky a také poznat zajímavé lidi, kteří se zajímají o AI a její bezpečnost. Diskuzi bude moderovat zkušený facilitátor, který pomáhá pečovat o její kvalitu a zajišťuje bezpečné a podnětné prostředí.

⏳ Kdy? Setkávání začíná v týdnu 10. – 16. března. Uzávěrka přihlášek je v pondělí 3. března. V týdnu po uzávěrce budou konkrétní pravidelné termíny setkávání domluveny podle časových možností účastníků v jednotlivých skupinách. Setkání bude celkem 8 – každý týden jedno.

🗺️ Kde? Setkání budou probíhat osobně v Praze či v Brně, nebo online. (Osobní setkávání může být i v jiném městě, pokud se zde sejde skupinka zájemců.)

🏷️ Cena: Zdarma

👉 Přihlásit se

Bonus 1: EAGxPrague 2025

V Praze se 9. – 11. května uskuteční konference EAGxPrague 2025. Hlavním cílem konference je propojit lidi usilující o pozitivní dopad a nabídnout jim inspirativní a hodnotný program. Jedním z hlavních témat konference bude bezpečnost AI. Letos konference navazuje na seminář, který doplňuje kontext, abyste si z konference odnesli co nejvíce.

Bonus 2: navazující víkendová akce

Na seminář navazuje víkendovka, které se absolventi semináře mohou volitelně zúčastnit. Jde o skvělou příležitost seznámit se v příjemném prostředí i s účastníky z jiných skupin a s dalšími lidmi z České republiky, kteří se zajímají o témata probíraná v semináři. 

Nemáte čas?

Pokud vás bezpečnost AI zajímá, ale například z časových důvodů se nemůžete semináře zúčastnit, nechte nám na sebe kontakt a my se vám ozveme s jinými příležitostmi k zapojení (události, diskuze, přednášky, projekty).

Chci být kontaktován/a

Nechcete, aby vám unikly další podobné příležitosti? O novinkách se dozvíte na našem webu, nebo na facebookových stránkách, případně se můžete přihlásit k odběru měsíčního newsletteru.