Predstavljamo ChatGPT
Trenirali smo model pod nazivom ChatGPT koji komunicira na razgovorni način. Format dijaloga omogućuje ChatGPT‑u da odgovori na naknadna pitanja, prizna svoje pogreške, osporava netočne pretpostavke i odbije neprikladne zahtjeve.
ChatGPT je srodnik modela InstructGPT, koji je treniran da slijedi upute u odzivniku i pruži detaljan odgovor.
Uzbuđeni smo što ćemo predstaviti ChatGPT kako bismo dobili povratne informacije korisnika i saznali više o njegovim jakim stranama i slabostima. Tijekom istraživačkog pretprikaza upotreba ChatGPT‑a besplatna je. Isprobajte odmah na chatgpt.com(otvara se u novom prozoru).
Uzorci
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Ovaj model smo trenirali učenjem putem povratnih informacija iz povratnih informacija ljudi (RLHF), istim metodama kao i InstructGPT, ali s malim razlikama u postavkama prikupljanja podataka. Trenirali smo početni model nadziranim finim podešavanjem: ljudski AI treneri pružali su razgovore u kojima su igrali obje strane – korisnika i AI pomoćnika. Trenerima smo omogućili pristup prijedlozima koje je napisao model kako bismo im pomogli da sastave svoje odgovore. Pomiješali smo ovaj novi skup podataka dijaloga sa skupom podataka InstructGPT, koji smo pretvorili u format dijaloga.
Kako bismo stvorili model nagrađivanja za učenje putem povratnih informacija, trebali smo prikupiti podatke za usporedbu, koji su se sastojali od dva ili više odgovora modela rangiranih prema kvaliteti. Kako bismo prikupili ove podatke, preuzeli smo razgovore koje su AI treneri vodili s chatbotom. Nasumično smo odabrali poruku napisanu modelom, uzorkovali nekoliko alternativnih završetaka i dali AI trenerima da ih rangiraju. Koristeći se ovim modelima nagrađivanja, možemo fino podesiti model pomoću Proksimalne optimizacije pravila. Izveli smo nekoliko iteracija ovog procesa.
ChatGPT je fino podešen iz modela serije GPT‑3.5, koji je završio trening početkom 2022. godine. Više o seriji 3.5 možete saznati ovdje(otvara se u novom prozoru). ChatGPT i GPT‑3.5 trenirani su na Azure AI superračunalnoj infrastrukturi.
- ChatGPT ponekad piše uvjerljive, ali netočne ili besmislene odgovore. Rješavanje ovog problema izazovno je, jer: (1) tijekom RL treniranja trenutno nema izvora istine; (2) treniranje modela da bude oprezniji uzrokuje da odbija pitanja na koja može ispravno odgovoriti; i (3) nadzirano treniranje dovodi model u zabludu, jer idealan odgovor ovisi o onome što model zna(otvara se u novom prozoru), a ne o onome što ljudski demonstrator zna.
- ChatGPT je osjetljiv na promjene u formulaciji upisa ili ponavljanje istog odzivnika više puta. Na primjer, s obzirom na jednu formulaciju pitanja, model može tvrditi da ne zna odgovor, ali uz laganu preformulaciju može ispravno odgovoriti.
- Model je često pretjerano opsežan i previše koristi određene fraze, kao što je ponovno navođenje da je riječ o jezičnom modelu koji je trenirao OpenAI. Ovi problemi proizlaze iz pristranosti u podacima za treniranje (treneri preferiraju dulje odgovore koji izgledaju sveobuhvatnije) i poznatih problema s prekomjernom optimizacijom. 1 2
- U idealnom slučaju model bi postavljao pojašnjavajuća pitanja kada bi korisnik postavio dvosmisleni upit. Umjesto toga, naši trenutni modeli obično nagađaju što je korisnik namjeravao.
- Iako smo uložili napore da model odbija neprikladne zahtjeve, ponekad će odgovoriti na štetne upute ili pokazati pristrano ponašanje. Upotrebljavamo Moderacijski API za upozoravanje ili blokiranje određenih vrsta nesigurnog sadržaja, ali očekujemo da će za sada imati neke lažne negativne i pozitivne rezultate. Želimo prikupiti povratne informacije korisnika kako bismo pripomogli u našem tekućem radu na poboljšanju ovog sustava.
Današnje istraživačko izdanje ChatGPT‑a najnoviji je korak u OpenAI-jevoj iterativnoj primjeni sve sigurnijih i korisnijih AI sustava. Mnoge lekcije iz primjene ranijih modela kao što su GPT‑3 i Codex informirale su sigurnosne mjere koje su na snazi za ovo izdanje, uključujući značajno smanjenje štetnih i neistinitih izlaza postignutih učenjem putem povratnih informacija iz ljudskih povratnih informacija (RLHF).
Znamo da mnoga ograničenja ostaju, kao što je gore navedeno, i planiramo redovito ažurirati modele kako bismo poboljšali takva područja. Nadamo da ćemo pružanjem pristupačnog sučelja za ChatGPT dobiti vrijedne povratne informacije korisnika o pitanjima kojih još nismo svjesni .
Korisnici se potiču da putem korisničkog sučelja daju povratne informacije o problematičnim izlazima modela, kao i o lažnim pozitivnim/negativnim rezultatima iz filtriranja vanjskog sadržaja koji je također dio sučelja. Posebno nas zanimaju povratne informacije o štetnim izlazima koji bi se mogli pojaviti u stvarnim, nekontradiktornim uvjetima, kao i povratne informacije koje nam pomažu otkriti i razumjeti nove rizike i moguća rješenja. Možete odabrati sudjelovanje u ChatGPT natječaju za povratne informacije(otvara se u novom prozoru)3 kako biste dobili priliku osvojiti do 500 USD u API kreditima.A Prijave se mogu poslati putem obrasca za povratne informacije koji je povezan u sučelju ChatGPT‑a.
Uzbuđeni smo što ćemo lekcije iz ovog izdanja prenijeti u implementaciju sposobnijih sustava, baš kao što su ranije implementacije informirale ovu.
Fusnote
- A
Kupnja nije potrebna, nevažeći je tamo gdje je zabranjen. Za prijavu morate imati najmanje 18 godina. Za pojedinosti o natjecanju pogledajte Službena pravila(otvara se u novom prozoru).
Reference
- 1
Stiennon, Nisan, et al. “Learning to summarize with human feedback(otvara se u novom prozoru).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman, and Jacob Hilton. “Scaling Laws for Reward Model Overoptimization(otvara se u novom prozoru).” arXiv preprint arXiv:2210.10760 (2022).
- 3
The inspiration for this contest comes in part from work by Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji, and Joy Buolamwini. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress. Washington, DC: Algorithmic Justice League. January 2022. Available at https://ajl.org/bugs(otvara se u novom prozoru). See also work by Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn, and Gretchen Krueger et al. “Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims,” April 2020. Available at https://arxiv.org/abs/2004.07213(otvara se u novom prozoru). See an earlier instance of such a competition at HackerOne. 2021b. “Twitter Algorithmic Bias.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(otvara se u novom prozoru). Finally, see early published work on this topic from Rubinovitz, JB, “Bias Bounty Programs as a Method of Combatting Bias in AI,” August 2018. Available at https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(otvara se u novom prozoru).
Autor
Zahvale
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic i Christopher Hesse
