Dobrovolníci na pomoc s vývojem OpenAI Evalů

Open AI open-sourcovala své OpenAI Evaly, jejich framework pro automatizované hodnocení výkonnosti AI modelů (např. GPT-4), aby mohl kdokoli nahlásit nedostatky v jejich modelech a přispět tak k jejich dalšímu zlepšování. Zatímco záběr evalů je široký, naše pracovní skupina by se věnovala výhradně testování modelů z hlediska přesvědčování, manipulace a situačního povědomí. Nové evaly budeme vytvářet z instancí poskytnutých šablon a námi vytvořených dat.

Jak to vypadá?
Zde se můžete podívat na eval logických hádanek, který obsahuje deset úloh, v nichž GPT-4 selhává.

Pro koho to je?
Prerekvizitou je znalost Pythonu (Jupyter notebooky a pandas), ale menší množství lidí s kvalitními nápady na testovací scénáře také využijeme.

Zde můžete vyplnit své časové možnosti a preferované způsoby účasti na projektu.