Vytrénovali jsme model s názvem ChatGPT, který komunikuje konverzačním způsobem. Formát dialogu umožňuje ChatGPT odpovídat na doplňující otázky, přiznat své chyby, zpochybnit nesprávné předpoklady a odmítnout nevhodné požadavky.
ChatGPT je sesterský model k InstructGPT, který je vyškolen, aby následoval pokyn v promptu a poskytl podrobnou odpověď.
Jsme nadšení, že můžeme představit ChatGPT, abychom získali zpětnou vazbu od uživatelů a dozvěděli se o jeho silných a slabých stránkách. Během zkušebního období určeného k seznámení s modelem je používání ChatGPT zdarma. Vyzkoušej ho hned teď na chatgpt.com(otevře se v novém okně).
Vzorky
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Tento model jsme natrénovali pomocí posilovací výuky ze zpětné vazby od lidí (RLHF), pomocí stejných metod jako InstructGPT, ale s malými rozdíly v nastavení sběru dat. Počáteční model jsme vytrénovali pomocí vylaďování s dohledem: lidští trenéři AI poskytli konverzace, ve kterých hráli obě strany – uživatele i asistenta AI. Školitelům jsme poskytli přístup k návrhům vytvořeným modelem, aby jim pomohly při sestavování jejich odpovědí. Smíchali jsme tuto novou datovou sadu dialogů s datovou sadou InstructGPT, kterou jsme převedli do formátu dialogu.
Abychom vytvořili model odměn pro posilovací výuku, potřebovali jsme shromáždit srovnávací data, která se skládala ze dvou nebo více modelových odpovědí seřazených podle kvality. Abychom tato data shromáždili, vzali jsme konverzace, které trenéři AI vedli s chatbotem. Náhodně jsme vybrali zprávu napsanou modelem, vybrali několik alternativních dokončení a nechali trenéry AI, aby je seřadili. Pomocí těchto modelů odměn můžeme model doladit pomocí optimalizace proximální politiky. Tento proces jsme provedli v několika opakováních.
ChatGPT je doladěn z modelu řady GPT‑3.5, který dokončil školení na začátku roku 2022. Více se o řadě 3.5 dozvíte zde(otevře se v novém okně). ChatGPT a GPT‑3.5 byly trénovány na superpočítačové infrastruktuře Azure AI.
- ChatGPT někdy píše věrohodně znějící, ale nesprávné nebo nesmyslné odpovědi. Řešení tohoto problému je náročné, protože: (1) během školení RL v současné době neexistuje žádný zdroj pravdy; (2) školení modelu, aby byl opatrnější, způsobí, že odmítá otázky, na které může správně odpovědět; a (3) školení pod dohledem uvádí model v omyl, protože ideální odpověď závisí na tom, co model ví, spíše než na tom, co ví(otevře se v novém okně) lidský demonstrátor.
- ChatGPT je citlivý na úpravy formulace vstupu nebo na opakované pokusy o stejný prompt. Například při jedné formulaci otázky může model tvrdit, že nezná odpověď, ale při mírném přeformulování může odpovědět správně.
- Model je často příliš upovídaný a nadužívá určité fráze, například opakovaně uvádí, že je to jazykový model trénovaný OpenAI. Tyto problémy vznikají v důsledku zkreslení ve školících datech (trenéři preferují delší odpovědi, které vypadají komplexněji) a známých problémů s nadměrnou optimalizací.1, 2
- V ideálním případě by model kladl upřesňující otázky, pokud uživatel zadá nejednoznačný dotaz. Naše současné modely obvykle hádají, co uživatel zamýšlel.
- I když jsme se snažili, aby model odmítal nevhodné požadavky, občas reaguje na škodlivé pokyny nebo se chová zaujatě. Používáme rozhraní API pro moderaci k varování nebo blokování určitých typů nebezpečného obsahu, ale očekáváme, že prozatím bude obsahovat falešně negativní a pozitivní výsledky. Rádi bychom získali zpětnou vazbu od uživatelů, která nám pomůže tento systém průběžně vylepšovat.
Dnešní zkušební vydání ChatGPT je nejnovějším krokem v iterativním nasazení stále bezpečnějších a užitečnějších systémů AI od OpenAI. Mnoho lekcí z nasazení dřívějších modelů, jako jsou GPT‑3 a Codex, ovlivnilo bezpečnostní opatření zavedená pro toto vydání, včetně podstatného snížení škodlivých a nepravdivých výstupů dosažených použitím posilovací výuky z lidské zpětné vazby (RLHF).
Víme, že mnoho omezení zůstává, jak bylo uvedeno výše, a plánujeme provádět pravidelné aktualizace modelu, abychom se v těchto oblastech zlepšili. Doufáme však také, že poskytnutím přístupného rozhraní pro ChatGPT získáme cennou zpětnou vazbu od uživatelů k problémům, o kterých ještě nevíme.
Vyzýváme uživatele, aby poskytli zpětnou vazbu k problematickým výstupům modelu prostřednictvím uživatelského rozhraní a také k falešně pozitivním/negativním výsledkům z externího filtru obsahu, který je také součástí rozhraní. Zajímá nás především zpětná vazba týkající se škodlivých výstupů, které by se mohly objevit v reálných, neadversariálních podmínkách, a také zpětná vazba, která nám pomáhá odhalit a pochopit nová rizika a možná opatření k jejich zmírnění. Můžeš se přihlásit do soutěže zpětné vazby k ChatGPT(otevře se v novém okně)3 a získat šanci vyhrát až 500 USD v API kreditech. A Příspěvky lze odeslat prostřednictvím formuláře pro zpětnou vazbu, který je propojen s rozhraním ChatGPT.
Jsme nadšeni, že můžeme zkušenosti z této verze přenést do nasazení výkonnějších systémů, stejně jako předchozí nasazení ovlivnila tuto verzi.
Poznámky pod čarou
- A
Není nutné kupovat, neplatné tam, kde je to zakázáno. Podmínkou účasti je věk alespoň 18 let. Podrobnosti o soutěži najdeš v Oficiálních pravidlech(otevře se v novém okně).
Reference
- 1
Stiennon, Nisan a kol. „Learning to summarize with human feedback(otevře se v novém okně).“ Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman a Jacob Hilton. „Scaling Laws for Reward Model Overoptimization(otevře se v novém okně).“ arXiv preprint arXiv:2210.10760 (2022).
- 3
Inspirací pro tuto soutěž byla mimo jiné práce autorů Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji a Joy Buolamwini. Odměny za chyby v algoritmech? Poučení z odhalování zranitelností v kybernetické bezpečnosti pro objevování, zveřejňování a nápravu algoritmických škod. Washington, DC: Algorithmic Justice League. Leden 2022. Dostupné na https://ajl.org/bugs(otevře se v novém okně). Viz také práce autorů Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn, and Gretchen Krueger a kol. „Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims“, duben 2020. Dostupné na https://arxiv.org/abs/2004.07213(otevře se v novém okně). Podívejte se na dřívější příklad takové soutěže na HackerOne. 2021b. „Algoritmické zkreslení Twitteru.“ HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(otevře se v novém okně). Nakonec se podívej na ranou publikovanou práci na toto téma od Rubinovitz, JB, „Bias Bounty Programs as a Method of Combatting Bias in AI“, srpen 2018. Dostupné na https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(otevře se v novém okně).
Autor
Poděkování
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic, Christopher Hesse
