Oleme treeninud mudeli nimega ChatGPT, mis suhtleb vestluse tasandil. Dialoogivorm võimaldab ChatGPT‑l vastata jätkuküsimustele, tunnistada oma vigu, vaidlustada ebaõigeid eeldusi ja lükata tagasi sobimatuid taotlusi.
ChatGPT on mudeli InstructGPT sugulane ning on treenitud järgima viipasid ja andma üksikasjalikke vastuseid.
Meil on hea meel tutvustada ChatGPT‑d, et saada kasutajate tagasisidet ning õppida tundma selle tugevusi ja nõrkusi. Uurimistöö eelvaate ajal on ChatGPT kasutamine tasuta. Proovi seda kohe aadressil chatgpt.com(avaneb uues aknas).
Näidised
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Me treenisime seda mudelit inimese tagasisidest tuleneva kinnistava õppe (RLHF) abil, kasutades samu meetodeid nagu InstructGPT, kuid väikeste erinevustega andmete kogumise seadistuses. Treenisime esialgset mudelit juhendatud peenhäälestuse abil: inimestest tehisintellekti treenijad pakkusid vestlusi, milles nad mängisid mõlemat poolt – kasutajat ja tehisintellekti assistenti. Andsime treenijatele juurdepääsu mudeli kirjutatud ettepanekutele, et aidata neil vastuseid koostada. Me segasime selle uue dialoogi andmestiku InstructGPT andmestikuga, mille me dialoogi vormingusse teisendasime.
Kinnistava õppimise preemiamudeli loomiseks pidime koguma võrdlusandmeid, mis koosnesid kahest või enamast kvaliteedi järgi järjestatud mudelivastustest. Nende andmete kogumiseks kasutasime vestlusi, mida tehisintellekti treenijad vestlusrobotiga pidasid. Valisime juhuslikult välja mudeli kirjutatud sõnumi, valisime mitu alternatiivset täitmisviisi ja lasime tehisintellekti treenijatel need järjestada. Neid preemiamudeleid kasutades saame mudelit proksimaalse poliitika optimeerimise abil täpsustada. Me viisime läbi selle protsessi mitu iteratsiooni.
ChatGPT on peenhäälestatud GPT‑3.5 seeria mudeli baasil, mille treenimine lõppes 2022. aasta alguses. 3.5-seeria kohta saad lähemalt lugeda siit(avaneb uues aknas). ChatGPT ja GPT‑3.5 treeniti Azure AI superarvutusinfrastruktuuri baasil.
- ChatGPT kirjutab mõnikord usutavalt kõlavaid, kuid valesid või mõttetuid vastuseid. Selle probleemi lahendamine on keeruline, kuna: (1) RL-treenimise ajal pole praegu tõeallikat; (2) mudeli ettevaatlikumaks treenimine põhjustab selle keeldumist küsimustele vastamast, millele ta suudab õigesti vastata; ja (3) juhendatud treenimine eksitab mudelit, sest ideaalne vastus sõltub sellest, mida mudel teab(avaneb uues aknas), mitte sellest, mida inimdemonstraator teab.
- ChatGPT on tundlik sisendi muudatuste või sama küsimuse mitmekordse esitamise suhtes. Näiteks võib mudel väita, et ei tea vastust, kuid kui küsimust veidi ümber sõnastada, võib ta vastata õigesti.
- Mudel on sageli liiga paljusõnaline ja kasutab teatud fraase ülemäära, näiteks kordab, et tegemist on OpenAI poolt treenitud keelemudeliga. Need probleemid tulenevad treenimisandmetes esinevatest eelarvamustest (treenijad eelistavad pikemaid vastuseid, mis näivad põhjalikumad) ja tuntud üleoptimeerimisprobleemidest.1, 2
- Ideaalis esitaks mudel täpsustavaid küsimusi, kui kasutaja esitab mitmetähendusliku päringu. Selle asemel arvavad meie praegused mudelid tavaliselt, mida kasutaja kavatses teha.
- Kuigi oleme teinud pingutusi, et panna mudel sobimatutest palvetest keelduma, reageerib see mõnikord kahjulikele juhistele või käitub erapoolikult. Kasutame teatud tüüpi ohtliku sisu eest hoiatamiseks või blokeerimiseks modereerimis-API-t , kuid praegu eeldame, et see annab nii valenegatiivseid kui valepositiivseid tulemusi. Kogume innukalt kasutajate tagasisidet, et aidata meie käimasolevat tööd selle süsteemi täiustamiseks.
Täna avaldatud ChatGPT uurimistöö on OpenAI uusim samm üha ohutumate ja kasulikumate tehisintellekti süsteemide iteratiivses juurutamises . Paljud varasemate mudelite, nagu GPT‑3 ja Codex, kasutuselevõtust saadud õppetunnid on mõjutanud selle väljalaske ohutusmeetmeid, sealhulgas kahjulike ja ebatõeste väljundite olulist vähendamist, mis on saavutatud inimeste tagasiside põhise kinnistava õppimise (RLHF) abil.
Kuna teame, et paljud piirangud jäävad püsima, nagu eespool arutasime, plaanime teha regulaarseid mudeliuuendusi, et nendes valdkondades paraneda. Kuid loodame ka, et pakkudes juurdepääsetavat liidest ChatGPT‑le, saame väärtuslikku kasutajate tagasisidet probleemide kohta, millest me pole veel teadlikud.
Kasutajaid julgustatakse andma tagasisidet probleemsete mudeli väljundite kohta kasutajaliidese kaudu, samuti välise sisufiltri valepositiivsete/-negatiivsete tulemuste kohta, mis on samuti liidese osa. Oleme eriti huvitatud tagasisidest kahjulike väljundite kohta, mis võivad esineda reaalsetes, mittevaenulikes tingimustes, samuti tagasisidest, mis aitab meil avastada ja mõista uusi riske ja võimalikke leevendusmeetmeid. Soovi korral saad osaleda ChatGPT tagasisidevõistlusel(avaneb uues aknas)3 ja võita kuni 500 dollarit API krediiti.A Osaleda saab ChatGPT liideses lingitud tagasiside vormi kaudu.
Oleme põnevil, et saame selle versiooni õppetunde rakendada võimekamate süsteemide kasutuselevõtul, täpselt nagu varasemad arendused mõjutasid praegust mudelit .
Joonealused märkused
- A
Ost pole vajalik. Kehtetu piirkondades, kus kehtivad keelud. Sisenemiseks peab olema vähemalt 18-aastane. Lisateabe saamiseks võistluse kohta vt dokumenti Ametlikud reeglid(avaneb uues aknas).
Viited
- 1
Stiennon, Nisan, et al. “Learning to summarize with human feedback(avaneb uues aknas).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman ja Jacob Hilton. „Scaling Laws for Reward Model Overoptimization(avaneb uues aknas).” arXiv preprint arXiv:2210.10760 (2022).
- 3
Selle võistluse inspiratsiooniks on osaliselt Kenway, Joshi, Camille François', Sasha Costanza-Chocki, Inioluwa Deborah Raji ja Joy Buolamwini tööd. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress. Washington, DC: Algorithmic Justice League. Jaanuar 2022. Saadaval aadressil https://ajl.org/bugs(avaneb uues aknas). Vaadake ka Brundage'i, Milesi, Avini, Shahari, Wangi, Jasmine'i, Belfieldi, Haydni ja Gretchen Kruegeri jt tööd „Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims”, aprill 2020. Saadaval aadressil https://arxiv.org/abs/2004.07213(avaneb uues aknas). Vaata varasemat sellise võistluse näidet HackerOne'is. 2021b. „Twitter Algorithmic Bias.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(avaneb uues aknas). Lõpuks vaata selle teema kohta varajasi avaldatud töid Rubinovitzilt, J.B., „Bias Bounty Programs as a Method of Combatting Bias in AI“, august 2018. Saadaval aadressil https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(avaneb uues aknas).
Autor
Tänuavaldused
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic, Christopher Hesse
