Við höfum þjálfað líkan sem heitir ChatGPT sem hefur samskipti á samtalshátt. Samræðusniðið gerir ChatGPT kleift að svara eftirfylgjandi spurningum, viðurkenna mistök sín, ögra röngum forsendum og hafna óviðeigandi beiðnum.
ChatGPT er systkinalíkan InstructGPT, sem er þjálfað til að fylgja leiðbeiningu í kvaðningu og veita ítarlegt svar.
Við erum spennt að kynna ChatGPT til að fá ábendingu frá notendum og læra um styrkleika þess og veikleika. Notkun ChatGPT er ókeypis á meðan forskoðun rannsóknarinnar stendur yfir. Prófaðu það núna á chatgpt.com(opnast í nýjum glugga).
Sýnishorn
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Við þjálfuðum þetta líkan með því að nota styrkingarnám frá mannlegri ábendingu (RLHF), með sömu aðferðum og InstructGPT, en með smávægilegum mun á uppsetningu gagnasöfnunar. Við þjálfuðum upphafslíkan með stýrðri fínstillingu: mennskir gervigreindarþjálfarar veittu samtöl þar sem þeir léku báðar hliðar – notandann og gervigreindaraðstoðarmanninn. Við gáfum þjálfurunum aðgang að tillögum sem líkanið skrifaði til að hjálpa þeim að semja svör sín. Við blönduðum þessu nýja samræðugagnasafni við InstructGPT gagnasafnið, sem við umbreyttum í samræðusnið.
Til að búa til umbunarlíkan fyrir styrkingarnám þurftum við að safna samanburðargögnum, sem samanstóðu af tveimur eða fleiri svörum líkana sem voru raðað eftir gæðum. Til að safna þessum gögnum tókum við samtöl sem gervigreindarþjálfarar áttu við spjallmennið. Við völdum af handahófi skilaboð sem voru skrifuð af líkani, tókum sýnishorn af nokkrum öðrum mögulegum útfyllingum og létum gervigreindarþjálfara raða þeim. Með því að nota þessi umbunarlíkön getum við fínstillt líkanið með Proximal Policy Optimization. Við framkvæmdu nokkrar ítrekanir af þessu ferli.
ChatGPT er fínstillt út frá líkani í GPT‑3.5 röðinni, sem lauk þjálfun snemma árs 2022. Þú getur kynnt þér meira um 3.5 röðina hér(opnast í nýjum glugga). ChatGPT og GPT‑3.5 voru þjálfuð á Azure AI-ofurtölvukerfi.
- ChatGPT skrifar stundum svör sem hljóma trúverðug en eru röng eða merkingarlaus. Að leysa þetta vandamál er erfitt, þar sem: (1) á meðan á RL-þjálfun stendur er engin sannleiksgjafi; (2) að þjálfa líkanið til að vera varkárara veldur því að það hafnar spurningum sem það getur svarað rétt; og (3) eftirlitsþjálfun ruglar líkanið vegna þess að hið fullkomna svar fer eftir því sem líkanið veit(opnast í nýjum glugga), frekar en því sem mannlegi sýningaraðilinn veit.
- ChatGPT er viðkvæmt fyrir breytingum á orðalagi inntaksins eða að reyna sömu kvaðninguna mörgum sinnum. Til dæmis, þegar spurning er orðuð á einn hátt, getur líkanið sagt að það viti ekki svarið, en með smávægilegri endurorðun getur það svarað rétt.
- Líkanið er oft of orðmargt og ofnotar ákveðnar setningar, eins og að endurtaka að það sé tungumálalíkan þjálfað af OpenAI. Þessi vandamál stafa af hlutdrægni í þjálfunargögnunum (þjálfarar kjósa lengri svör sem virðast yfirgripsmeiri) og vel þekktum ofhagræðingarvandamálum. 1 2
- Helst myndi líkanið spyrja skýrandi spurninga þegar notandinn veitti óljósa fyrirspurn. Þess í stað giska núverandi líkön okkar venjulega á hvað notandinn hafði í huga.
- Þó að við höfum gert tilraunir til að láta líkanið hafna óviðeigandi beiðnum, mun það stundum bregðast við skaðlegum leiðbeiningum eða sýna hlutdræga hegðun. Við erum að nota Moderation API til að vara við eða loka á ákveðnar tegundir af óöruggu efni, en við búumst við að það hafi nokkur röng neikvæð og jákvæð tilvik í bili. Við erum spennt að safna ábendingum frá notendum til að styðja við áframhaldandi vinnu okkar við að bæta þetta kerfi.
Rannsóknarútgáfa ChatGPT í dag er nýjasta skrefið í endurtekinni dreifingu OpenAI á sífellt öruggari og gagnlegri gervigreindarkerfum. Margir lærdómar af innleiðingu fyrri líkana eins og GPT‑3 og Codex hafa mótað öryggisráðstafanirnar sem eru til staðar fyrir þessa útgáfu, þar á meðal verulega minnkun á skaðlegum og ósönnum frálögum sem náðst hafa með því að nota styrkingarnám frá mannlegri ábendingu (RLHF).
Við vitum að margar takmarkanir eru enn til staðar eins og fjallað er um hér að ofan og við höfum áætlun um að gera reglulegar uppfærslur á líkaninu til að bæta á slíkum sviðum. En við vonum líka að með því að veita aðgengilegt viðmót fyrir ChatGPT fáum við dýrmætar ábendingar frá notendum um málefni sem við erum ekki enn meðvituð um.
Notendur eru hvattir til að veita ábendingu um vandasöm líkansfrálög í gegnum notendaviðmótið, sem og um rangar jákvæðar/neikvæðar niðurstöður frá ytri efnissíunni sem er einnig hluti af viðmótinu. Við höfum sérstakan áhuga á ábendingum varðandi skaðleg frálög sem gætu átt sér stað í raunverulegum, ekki andstæðum aðstæðum, sem og ábendingum sem hjálpa okkur að afhjúpa og skilja nýjar áhættur og mögulegar mótvægisaðgerðir. Þú getur valið að taka þátt í ábendingarsamkeppni ChatGPT(opnast í nýjum glugga)3 til að fá tækifæri til að vinna allt að $500 í API-inneignum. A Hægt er að senda inn færslur í gegnum ábendingareyðublaðið sem er tengt í ChatGPT‑viðmótinu.
Við erum spennt að taka lærdóminn af þessari útgáfu með okkur í innleiðingu á hæfari kerfum, rétt eins og fyrri innleiðingar upplýstu þessa.
Neðanmálsgreinar
- A
Engin kaup nauðsynleg, ógilt þar sem það er bannað. Þú verður að vera að minnsta kosti 18 ára til að taka þátt. Fyrir nánari upplýsingar um keppnina, sjá Opinberar Reglur(opnast í nýjum glugga).
Tilvísanir
- 1
Stiennon, Nisan, o.fl. “Learning to summarize with human feedback(opnast í nýjum glugga).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman og Jacob Hilton. “Scaling Laws for Reward Model Overoptimization(opnast í nýjum glugga).” arXiv preprint arXiv:2210.10760 (2022).
- 3
Innblásturinn fyrir þessa keppni kemur að hluta til frá verkum Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji og Joy Buolamwini. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress. Washington, DC: Algorithmic Justice League. Janúar 2022. Fáanlegt á https://ajl.org/bugs(opnast í nýjum glugga). Sjá einnig verk eftir Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn og Gretchen Krueger o.fl. „Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims,“ apríl 2020. Fáanlegt á https://arxiv.org/abs/2004.07213(opnast í nýjum glugga). Sjáðu fyrra dæmi um slíka keppni á HackerOne. 2021b. “Twitter Algorithmic Bias.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(opnast í nýjum glugga). Að lokum, sjá snemmbúið, birt verk um þetta málefni frá Rubinovitz, JB, „Bias Bounty Programs as a Method of Combatting Bias in AI,“ ágúst 2018. Fáanlegt á https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(opnast í nýjum glugga).
Höfundur
Þakkir
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic, Christopher Hesse
