Hem entrenat un model anomenat ChatGPT que interactua de manera conversacional. El format de diàleg fa possible que ChatGPT respongui preguntes de seguiment, admeti els seus errors, qüestioni premisses incorrectes i rebutgi sol·licituds inadequades.
ChatGPT és un model germà d’InstructGPT, que està entrenat per seguir una instrucció en una indicació i oferir una resposta detallada.
Ens fa il·lusió presentar ChatGPT per obtenir comentaris dels usuaris i conèixer-ne els punts forts i febles. Durant la vista prèvia de recerca, l’ús de ChatGPT és gratuït. Prova’l ara a chatgpt.com(s'obre en una finestra nova).
Exemples
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Vam entrenar aquest model mitjançant aprenentatge per reforç a partir de la retroacció humana (RLHF), fent servir els mateixos mètodes que InstructGPT, però amb petites diferències en la configuració de la recollida de dades. Vam entrenar un model inicial amb afinament supervisat: entrenadors humans d’IA van proporcionar converses en què interpretaven tots dos papers —l’usuari i un assistent d’IA. Vam donar als entrenadors accés a suggeriments escrits pel model per ajudar-los a redactar les seves respostes. Vam barrejar aquest nou conjunt de dades de diàleg amb el conjunt de dades d’InstructGPT, que vam transformar a un format de diàleg.
Per crear un model de recompensa per a l’aprenentatge per reforç, vam haver de recollir dades de comparació, que consistien en dues o més respostes del model classificades per qualitat. Per recollir aquestes dades, vam agafar converses que els entrenadors d’IA havien mantingut amb el xatbot. Vam seleccionar aleatòriament un missatge escrit pel model, vam mostrejar diverses alternatives de continuació i vam fer que els entrenadors d’IA les classifiquessin. Amb aquests models de recompensa, podem afinar el model mitjançant l’optimització de les polítiques proximals. Vam dur a terme diverses iteracions d’aquest procés.
ChatGPT s’ha afinat a partir d’un model de la sèrie GPT‑3.5, que va acabar l’entrenament a principis de 2022. Pots obtenir més informació sobre la sèrie 3.5 aquí(s'obre en una finestra nova). ChatGPT i GPT‑3.5 es van entrenar en una infraestructura de supercomputació d’Azure AI.
- ChatGPT de vegades escriu respostes que semblen plausibles però que són incorrectes o no tenen sentit. Resoldre aquest problema és difícil, ja que: (1) durant l’entrenament amb RL, actualment no hi ha cap font de veritat; (2) entrenar el model perquè sigui més cautelós fa que rebutgi preguntes que podria respondre correctament; i (3) l’entrenament supervisat indueix a error el model perquè la resposta ideal depèn del que sap el model(s'obre en una finestra nova), i no del que sap el demostrador humà.
- ChatGPT és sensible a petits canvis en la formulació d’entrada o a intentar la mateixa indicació diverses vegades. Per exemple, amb una formulació d’una pregunta, el model pot afirmar que no en sap la resposta, però amb una lleu reformulació pot respondre correctament.
- El model sovint és excessivament prolix i abusa de certes frases, com ara repetir que és un model de llenguatge entrenat per OpenAI. Aquests problemes sorgeixen de biaixos en les dades d’entrenament (els entrenadors prefereixen respostes més llargues que semblen més completes) i de problemes ben coneguts de sobreoptimització.1 i 2
- L’ideal seria que el model fes preguntes de aclariment quan l’usuari proporcionés una consulta ambigua. En canvi, els nostres models actuals solen endevinar què pretenia l’usuari.
- Tot i que hem fet esforços perquè el model rebutgi sol·licituds inadequades, de vegades respondrà a instruccions perjudicials o mostrarà un comportament esbiaixat. Estem fent servir la Moderation API per advertir o blocar certs tipus de contingut insegur, però esperem que de moment tingui alguns falsos negatius i positius. Tenim moltes ganes de recopilar comentaris dels usuaris per ajudar la nostra feina contínua de millora d’aquest sistema.
La publicació de recerca d’avui de ChatGPT és l’últim pas en el desplegament iteratiu d’OpenAI de sistemes d’IA cada vegada més segurs i útils. Moltes lliçons del desplegament de models anteriors com GPT‑3 i Codex han servit per definir les mesures de seguretat d’aquesta versió, incloses reduccions substancials de resultats perjudicials i falsos aconseguides amb l’ús de l’aprenentatge per reforç a partir de la retroacció humana (RLHF).
Sabem que encara hi ha moltes limitacions, com s’ha comentat més amunt, i tenim previst fer actualitzacions periòdiques del model per millorar en aquestes àrees. Però també esperem que, en proporcionar una interfície accessible per a ChatGPT, rebrem comentaris valuosos dels usuaris sobre problemes dels quals encara no som conscients.
Animem els usuaris a enviar comentaris sobre resultats problemàtics del model a través de la interfície d’usuari, així com sobre falsos positius/negatius del filtre extern de contingut, que també forma part de la interfície. Ens interessen especialment els comentaris sobre resultats perjudicials que es puguin produir en condicions reals i no adversàries, així com els comentaris que ens ajudin a descobrir i entendre riscos nous i possibles mesures de mitigació. Pots optar per participar en el Concurs de comentaris de ChatGPT(s'obre en una finestra nova)3 per tenir l’oportunitat de guanyar fins a 500 $ en crèdits d’API.A Les candidatures es poden enviar mitjançant el formulari de comentaris enllaçat a la interfície de ChatGPT.
Ens fa il·lusió traslladar les lliçons d’aquesta versió al desplegament de sistemes més capaços, de la mateixa manera que desplegaments anteriors van informar aquest.
Notes al peu
- A
No cal fer cap compra; nul on estigui prohibit. Cal tenir almenys 18 anys per participar-hi. Per als detalls del concurs, consulta les Regles oficials(s'obre en una finestra nova).
Referències
- 1
Stiennon, Nisan, et al. «Aprendre a resumir amb retroacció humana(s'obre en una finestra nova)». Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman, and Jacob Hilton. «Lleis d’escalat per a la sobreoptimització del model de recompensa(s'obre en una finestra nova)». arXiv preprint arXiv:2210.10760 (2022).
- 3
La inspiració d’aquest concurs prové en part del treball de Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji i Joy Buolamwini. Recompenses per errors per a perjudicis algorítmics? Lliçons de la divulgació de vulnerabilitats en ciberseguretat per al descobriment, la divulgació i la reparació de perjudicis algorítmics. Washington, DC: Algorithmic Justice League. Gener de 2022. Disponible a https://ajl.org/bugs(s'obre en una finestra nova). Vegeu també el treball de Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn i Gretchen Krueger et al. «Cap a un desenvolupament d’IA fiable: mecanismes per donar suport a afirmacions verificables», abril de 2020. Disponible a https://arxiv.org/abs/2004.07213(s'obre en una finestra nova). Vegeu un exemple anterior d’aquesta mena de competició a HackerOne. 2021b. «Biaix algorítmic de Twitter». HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(s'obre en una finestra nova). Finalment, vegeu treballs publicats primerencs sobre aquest tema de Rubinovitz, JB, «Els programes de recompenses per biaix com a mètode per combatre el biaix en la IA», agost de 2018. Disponible a https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(s'obre en una finestra nova).
Autor
Agraïments
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic i Christopher Hesse
