Predstavljamo ChatGPT
Obučili smo model pod nazivom ChatGPT koji komunicira na konverzacijski način. Format dijaloga omogućava ChatGPT‑u da odgovara na dodatna pitanja, prizna svoje greške, ospori netačne pretpostavke i odbije neprimerene zahteve.
ChatGPT je srodni model uz InstructGPT, koji je obučen da prati instrukciju u promptu i pruži detaljan odgovor.
Uzbuđeni smo što predstavljamo ChatGPT kako bismo dobili povratne informacije korisnika i saznali više o njegovim prednostima i slabostima. Tokom istraživačkog pregleda, korišćenje ChatGPT‑a je besplatno. Isprobajte ga sada na chatgpt.com(отвара се у новом прозору).
Primeri
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Ovaj model smo obučili koristeći podsticajno učenje iz povratnih informacija od ljudi (RLHF), primenom istih metoda kao za InstructGPT, ali uz male razlike u postavci prikupljanja podataka. Početni model smo obučili koristeći fino podešavanje pod nadzorom: ljudski AI treneri su vodili razgovore u kojima su igrali obe strane — korisnika i AI asistenta. Trenerima smo dali pristup predlozima koje je napisao model kako bismo im pomogli da sastave svoje odgovore. Ovaj novi skup dijaloga smo pomešali sa skupom podataka InstructGPT, koji smo pretvorili u format dijaloga.
Da bismo napravili model nagrađivanja za podsticajno učenje, bilo je potrebno da prikupimo uporedne podatke, koji su se sastojali od dva ili više odgovora modela rangiranih po kvalitetu. Za prikupljanje tih podataka uzeli smo razgovore koje su AI treneri vodili sa četbotom. Nasumično smo birali poruku koju je napisao model, uzorkovali više alternativnih dovršetaka i tražili od AI trenera da ih rangiraju. Koristeći ove modele nagrađivanja, možemo fino da podesimo model primenom stabilnog optimizovanja politike. Izveli smo nekoliko iteracija ovog procesa.
ChatGPT je fino podešen na osnovu modela iz serije GPT‑3.5, čija je obuka završena početkom 2022. Više o seriji 3.5 možete saznati ovde(отвара се у новом прозору). ChatGPT i GPT‑3.5 obučeni su na Azure AI superračunarskoj infrastrukturi.
- ChatGPT ponekad piše odgovore koji zvuče uverljivo, ali su netačni ili besmisleni. Rešavanje ovog problema je izazovno, jer: (1) tokom RL obuke trenutno ne postoji izvor istine; (2) obučavanje modela da bude oprezniji dovodi do toga da odbija pitanja na koja može tačno da odgovori; i (3) obuka pod nadzorom dovodi model u zabludu jer idealan odgovor zavisi od toga šta model zna(отвара се у новом прозору), a ne od toga šta ljudski demonstrator zna.
- ChatGPT je osetljiv na male izmene u formulaciji unosa ili na pokušaj da se ista instrukcija postavi više puta. Na primer, za jednu formulaciju pitanja model može tvrditi da ne zna odgovor, ali uz malo preformulisanje može tačno da odgovori.
- Model je često preterano opširan i previše koristi određene fraze, kao što je ponavljanje da je to jezički model koji je obučio OpenAI. Ovi problemi nastaju zbog pristrasnosti u podacima za obuku (treneri preferiraju duže odgovore koji deluju sveobuhvatnije) i dobro poznatih problema preterane optimizacije.1 и 2
- U idealnom slučaju, model bi postavljao pitanja za razjašnjenje kada korisnik pošalje dvosmislen upit. Umesto toga, naši trenutni modeli obično nagađaju šta je korisnik hteo.
- Iako smo uložili napore da model odbija neprimerene zahteve, on će ponekad odgovoriti na štetne instrukcije ili pokazati pristrasno ponašanje. Koristimo Moderation API da upozorimo na određene vrste nebezbednog sadržaja ili da ih blokiramo, ali za sada očekujemo da će imati i lažno negativne i lažno pozitivne rezultate. Željni smo da prikupimo povratne informacije korisnika kako bi nam pomogle u daljem radu na unapređenju ovog sistema.
Današnje istraživačko izdanje ChatGPT‑a predstavlja najnoviji korak u OpenAI-jevom iterativnom uvođenju sve bezbednijih i korisnijih AI sistema. Mnoge lekcije iz uvođenja ranijih modela kao što su GPT‑3 i Codex uticale su na mere bezbednosti primenjene u ovom izdanju, uključujući značajna smanjenja štetnih i neistinitih izlaza postignuta korišćenjem podsticajnog učenja iz povratnih informacija od ljudi (RLHF).
Znamo da mnoga ograničenja i dalje postoje, kao što je gore navedeno, i planiramo redovna ažuriranja modela kako bismo napredovali u tim oblastima. Ali se takođe nadamo da ćemo, pružanjem pristupačnog interfejsa za ChatGPT, dobiti vredne povratne informacije korisnika o problemima kojih još nismo svesni.
Korisnici se podstiču da preko korisničkog interfejsa dostavljaju povratne informacije o problematičnim izlazima modela, kao i o lažno pozitivnim/negativnim rezultatima spoljnog filtera sadržaja koji je takođe deo interfejsa. Posebno nas zanimaju povratne informacije o štetnim izlazima koji bi mogli da se pojave u stvarnim, neadverzalnim uslovima, kao i povratne informacije koje nam pomažu da otkrijemo i razumemo nove rizike i moguće mere ublažavanja. Možete da odaberete da učestvujete u ChatGPT takmičenju za povratne informacije(отвара се у новом прозору)3 radi šanse da osvojite do 500 USD u API kreditima.A Prijave se mogu poslati putem obrasca za povratne informacije koji je povezan u interfejsu ChatGPT‑a.
Uzbuđeni smo što ćemo pouke iz ovog izdanja preneti u uvođenje sposobnijih sistema, baš kao što su ranija uvođenja informisala ovo.
Fusnote
- A
Kupovina nije potrebna, ne važi gde je zabranjeno. Za prijavu morate imati najmanje 18 godina. Za detalje konkursa pogledajte Zvanična pravila(отвара се у новом прозору).
Reference
- 1
Stiennon, Nisan, i dr. „Učenje sažimanja uz ljudske povratne informacije(отвара се у новом прозору).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman i Jacob Hilton. „Zakoni skaliranja za preteranu optimizaciju modela nagrađivanja(отвара се у новом прозору).” arXiv preprint arXiv:2210.10760 (2022).
- 3
Inspiracija za ovo takmičenje delimično potiče iz rada autora Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji i Joy Buolamwini. Nagrade za pronalaženje grešaka za algoritamske štete? Pouke iz otkrivanja ranjivosti u sajber bezbednosti za otkrivanje, objavljivanje i ispravljanje algoritamskih šteta. Washington, DC: Algorithmic Justice League. Januar 2022. Dostupno na https://ajl.org/bugs(отвара се у новом прозору). Pogledajte i rad autora Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn i Gretchen Krueger i dr. „Ka razvoju pouzdane AI: mehanizmi za podršku proverljivim tvrdnjama”, april 2020. Dostupno na https://arxiv.org/abs/2004.07213(отвара се у новом прозору). Raniji primer takvog takmičenja može se videti na HackerOne. 2021b. „Twitter algoritamska pristrasnost.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(отвара се у новом прозору). Na kraju, pogledajte rani objavljeni rad na ovu temu autora Rubinovitz, JB, „Programi nagrada za pristrasnost kao metod borbe protiv pristrasnosti u AI”, avgust 2018. Dostupno na https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(отвара се у новом прозору).
Autor
Zahvalnice
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic и Christopher Hesse
