Kita wis nglatih model sing dijenengi ChatGPT sing sesambungan kanthi cara obrolan. Format dialog iki ndadekake ChatGPT bisa njawab pitakon tindak lanjut, ngakoni kesalahane, nantang premis sing salah, lan nolak panjaluk sing ora cocog.
ChatGPT iku model sedulur kanggo InstructGPT, sing dilatih kanggo ngetutake instruksi ing prompt lan menehi wangsulan rinci.
Kita bungah ngenalake ChatGPT kanggo entuk umpan balik saka pangguna lan sinau babagan kekuwatan lan kelemahane. Sajrone pratayang riset, panggunaan ChatGPT gratis. Coba saiki ing chatgpt.com(mbukak ing jendhela anyar).
Conto
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Kita nglatih model iki nganggo Sinau Penguatan saka Umpan Balik Manungsa (RLHF), nganggo metode sing padha karo InstructGPT, nanging ana bedane tipis ing setelan pangumpulan data. Kita nglatih model awal nganggo panyetel diawasi: pelatih AI manungsa nyedhiyakake obrolan nalika dheweke main loro peran—pangguna lan asisten AI. Kita menehi para pelatih akses menyang saran sing ditulis model kanggo mbantu nyusun wangsulane. Dataset dialog anyar iki banjur dicampur karo dataset InstructGPT, sing diowahi dadi format dialog.
Kanggo nggawe model ganjaran kanggo sinau penguatan, kita kudu nglumpukake data perbandingan, sing isine loro utawa luwih wangsulan model sing diperingkat miturut kualitas. Kanggo nglumpukake data iki, kita njupuk obrolan sing ditindakake pelatih AI karo chatbot. Kita kanthi acak milih pesen sing ditulis model, njupuk sawetara rampungan alternatif, lan njaluk pelatih AI menehi peringkat. Kanthi model ganjaran iki, kita bisa nyetel apik model nganggo Optimalisasi Kebijakan Proksimal. Kita nindakake sawetara iterasi saka proses iki.
ChatGPT disetel alus saka model ing seri GPT‑3.5, sing rampung dilatih ing awal 2022. Sampeyan bisa sinau luwih akeh babagan seri 3.5 ing kene(mbukak ing jendhela anyar). ChatGPT lan GPT‑3.5 dilatih nganggo infrastruktur superkomputasi Azure AI.
- ChatGPT kadhang nulis jawaban sing katon masuk akal nanging salah utawa ora ana tegesé. Mbenerake masalah iki angel, amarga: (1) nalika latihan RL, saiki durung ana sumber bebener; (2) nglatih model supaya luwih ngati-ati ndadekake model nolak pitakon sing sakjané bisa dijawab kanthi bener; lan (3) latihan diawasi mblusukake model amarga jawaban sing ideal gumantung marang apa sing dingerteni model(mbukak ing jendhela anyar), dudu apa sing dingerteni demonstrator manungsa.
- ChatGPT sensitif marang owah-owahan cilik ing cara ukara input utawa nalika nyoba prompt sing padha kaping pirang-pirang. Contone, yen diwenehi siji cara nulis pitakon, model bisa ngakoni ora ngerti wangsulane, nanging yen diowahi sethithik, bisa njawab kanthi bener.
- Model iki kerep kakehan tembung lan kakehan nggunakake frasa tartamtu, kayata mbaleni yen iki model basa sing dilatih dening OpenAI. Masalah iki muncul saka bias ing data latihan (pelatih luwih seneng jawaban dawa sing katon luwih jangkep) lan masalah over-optimization sing wis dikenal.1, 2
- Saenipun, model bakal takon pitakon klarifikasi nalika pangguna menehi pitakon sing ambigu. Nanging, model kita saiki biasane mung nebak maksud pangguna.
- Sanajan kita wis ngupaya supaya model nolak panjaluk sing ora cocog, kadhang model isih nanggapi instruksi mbebayani utawa nuduhake prilaku bias. Kita nggunakake Moderation API kanggo ngelingake utawa mblokir jinis konten ora aman tartamtu, nanging saiki kita ngarepake isih ana sawetara false negative lan false positive. Kita kepengin banget nglumpukake umpan balik pangguna kanggo ndhukung karya sing terus lumaku kanggo nambah sistem iki.
Rilis riset ChatGPT dina iki minangka langkah paling anyar ing panyebaran iteratif OpenAI kanggo sistem AI sing saya aman lan migunani. Akeh piwulang saka panyebaran model sadurunge kaya GPT‑3 lan Codex wis mbantu langkah mitigasi safety kanggo rilis iki, kalebu pangurangan gedhe ing output sing mbebayani lan ora bener liwat panggunaan sinau penguatan saka umpan balik manungsa (RLHF).
Kita ngerti yen isih akeh watesan kaya sing wis dirembug ing ndhuwur lan kita ngrancang nganyari model kanthi rutin kanggo nambah ing area kasebut. Nanging kita uga ngarep-arep manawa kanthi nyedhiyakake antarmuka sing gampang diakses kanggo ChatGPT, kita bakal entuk umpan balik pangguna sing migunani babagan masalah sing durung kita ngerti.
Pangguna dianjurake menehi umpan balik babagan output model sing bermasalah liwat UI, uga babagan false positive/negative saka filter konten eksternal sing uga dadi bagean saka antarmuka. Kita utamane kepengin umpan balik babagan output mbebayani sing bisa kedadeyan ing kahanan nyata sing ora adversarial, uga umpan balik sing mbantu kita nemokake lan mangerteni risiko anyar lan mitigasi sing mungkin. Sampeyan bisa milih melu Lomba Umpan Balik ChatGPT(mbukak ing jendhela anyar)3 kanggo kesempatan menang kredit API nganti $500.A Entri bisa diajukake liwat formulir umpan balik sing ditautake ing antarmuka ChatGPT.
Kita bungah nggawa piwulang saka rilis iki menyang panyebaran sistem sing luwih mumpuni, kaya dene panyebaran sadurunge wis mbantu rilis iki.
Cathetan sikil
- A
Ora perlu tuku, ora sah yen dilarang. Kanggo melu kudu paling ora umur 18 taun. Kanggo rincian lomba, delengen Aturan Resmi(mbukak ing jendhela anyar).
Referensi
- 1
Stiennon, Nisan, lan liya-liyane. “Sinau nyimpulake kanthi umpan balik manungsa(mbukak ing jendhela anyar).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman, lan Jacob Hilton. “Hukum Skala kanggo Overoptimization Model Ganjaran(mbukak ing jendhela anyar).” arXiv preprint arXiv:2210.10760 (2022).
- 3
Inspirasi kanggo lomba iki sebagian asalé saka karya Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji, lan Joy Buolamwini. Hadiah Bug kanggo Kerugian Algoritmik? Piwulang saka Pengungkapan Kerentanan Keamanan Siber kanggo Panemuan, Pengungkapan, lan Pemulihan Kerugian Algoritmik. Washington, DC: Algorithmic Justice League. Januari 2022. Kasedhiya ing https://ajl.org/bugs(mbukak ing jendhela anyar). Delengen uga karya Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn, lan Gretchen Krueger dkk. “Menuju Pangembangan AI sing Bisa Dipercaya: Mekanisme kanggo Ndhukung Klaim sing Bisa Diverifikasi,” April 2020. Kasedhiya ing https://arxiv.org/abs/2004.07213(mbukak ing jendhela anyar). Delengen conto luwih awal saka kompetisi kaya iki ing HackerOne. 2021b. “Bias Algoritmik Twitter.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(mbukak ing jendhela anyar). Pungkasan, delengen karya awal sing wis diterbitake babagan topik iki saka Rubinovitz, JB, “Program Bias Bounty minangka Metode kanggo Nglawan Bias ing AI,” Agustus 2018. Kasedhiya ing https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(mbukak ing jendhela anyar).
Penulis
Pangajèn
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic, Christopher Hesse
