Tumefundisha muundo unaoitwa ChatGPT ambao huwasiliana kwa njia ya mazungumzo. Muundo huu wa mazungumzo huwezesha ChatGPT kujibu maswali ya ufuatiliaji, kukubali makosa yake, kupinga hoja zisizo sahihi na kukataa maombi yasiyofaa.
ChatGPT ni muundo ndugu wa InstructGPT, ambao umefundishwa kufuata maagizo katika dokezo na kutoa jibu la kina.
Tunafurahi kuwaletea ChatGPT ili kupata majibu ya watumiaji na kujifunza kuhusu uwezo na udhaifu wake. Wakati wa awamu ya majaribio ya utafiti, matumizi ya ChatGPT ni bure. Ijaribu sasa kwenye chatgpt.com(fungua katika dirisha jipya).
Sampuli
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Tulifundisha muundo huu kwa kutumia Mafunzo ya Uimarishaji kutoka kwa Majibu ya Binadamu (RLHF), tukitumia mbinu sawa na InstructGPT, lakini na tofauti ndogo katika usanidi wa ukusanyaji wa data. Tulifundisha muundo wa awali kwa kutumia marekebisho ya kuboresha yanayosimamiwa: wakufunzi wa AI wa kibinadamu walitoa mazungumzo ambapo walihusika katika pande zote mbili—mtumiaji na msaidizi wa AI. Tuliwapa wakufunzi ufikiaji wa mapendekezo yaliyoandikwa na muundo ili kuwasaidia kutunga majibu yao. Tulichanganya mkusanyiko huu mpya wa data wa mazungumzo na mkusanyiko wa data wa InstructGPT, ambao tuliubadilisha kuwa umbizo la mazungumzo.
Ili kuunda muundo wa tuzo kwa mafunzo ya uimarishaji, tulihitaji kukusanya data ya kulinganisha, ambayo ilijumuisha majibu mawili au zaidi ya miundo iliyopangwa kulingana na ubora. Ili kukusanya data hii, tulikusanya mazungumzo ambayo wakufunzi wa AI walikuwa nayo na chatiboti. Tuliteua kwa bahati nasibu ujumbe ulioandikwa na muundo, tukichukua baadhi ya majibu mengine mbadala na kisha tukawaomba wakufunzi wa AI kuyapanga kwa kiwango cha ubora. Kwa kutumia miundo hii ya tuzo, tunaweza kurekebisha muundo kwa kutumia Uboreshaji wa Sera ya Karibu. Tulirudia mchakato huu mara kadhaa.
ChatGPT imeboreshwa kutoka kwa muundo katika mfululizo wa GPT‑3.5, ambao ulimaliza mafunzo mapema mwaka wa 2022. Unaweza kupata maelezo zaidi kuhusu mfululizo wa 3.5 hapa(fungua katika dirisha jipya). ChatGPT na GPT‑3.5 zilifundishwa kwenye miundombinu ya superkompyuta ya Azure AI.
- ChatGPT wakati mwingine huandika majibu yanayoonekana kuwa sahihi lakini sio sahihi au hayana maana. Kurekebisha tatizo hili ni changamoto kwa kuwa: (1) wakati wa mafunzo ya RL, kwa sasa hakuna chanzo cha ukweli wa uhakika; (2) kufundisha muundo kuwa mwangalifu zaidi husababisha ukatae kujibu maswali ambayo ingeweza kujibu kwa usahihi; na (3) mafunzo yanayosimamiwa hupotosha muundo kwa sababu jibu bora linategemea kile muundo unachojua(fungua katika dirisha jipya), badala ya kile kinachojulikana na mdhihirishaji wa kibinadamu.
- ChatGPT ni nyeti kwa mabadiliko madogo katika uundaji wa ingizo au katika kujaribu ombi lilelile mara kadhaa. Kwa mfano, kwa kutumia maneno fulani ya swali, muundo huu unaweza kudai kutokujua jibu, lakini ukirekebishwa kidogo, unaweza kujibu kwa usahihi.
- Muundo huu mara nyingi hutoa majibu marefu sana na hutumia sana misemo fulani, kama vile kurudia kuwa ni muundo wa lugha uliofundishwa na OpenAI. Maswala haya yanatokana na upendeleo katika data ya mafunzo (wakufunzi wanapendelea majibu marefu ambayo yanaonekana kuwa ya kina zaidi) na maswala yanayojulikana ya uboreshaji kupita kiasi.1 2
- Kwa kawaida, muundo ungeuliza maswali ya ufafanuzi wakati mtumiaji aliuliza swali lisiloeleweka. Badala yake, miundo yetu ya sasa kwa kawaida hukisia kile ambacho mtumiaji alikusudia.
- Ingawa tumefanya juhudi kuhakikisha kuwa muundo unakataa maombi yasiyofaa, wakati mwingine utajibu maagizo yenye madhara au kuonyesha tabia ya upendeleo. Tunatumia API ya Kudhibiti kuonya au kuzuia aina fulani za maudhui yasiyo salama, lakini tunatarajia kuwa na baadhi ya matokeo hasi na chanya yasiyo sahihi kwa sasa. Tuna hamu ya kukusanya majibu ya watumiaji ili kusaidia kazi yetu inayoendelea kuboresha mfumo huu.
Toleo la utafiti la leo la ChatGPT ni hatua ya hivi karibuni katika usambazaji wa hatua kwa hatua wa OpenAI wa mifumo ya AI inayozidi kuwa salama na muhimu. Masomo mengi yaliyopatikana kutokana na usambazaji wa miundo ya awali kama GPT‑3 na Codex yamechangia katika hatua za usalama zilizowekwa kwa toleo hili, ikiwemo kupunguzwa kwa kiwango kikubwa kwa matokeo hatarishi na yasiyo ya kweli kupitia matumizi ya mafunzo ya uimarishaji yanayotokana na majibu ya binadamu (RLHF).
Tunajua kwamba mapungufu mengi bado yapo kama ilivyojadiliwa hapo juu na tunapanga kufanya masasisho ya mara kwa mara ya miundo ili kuboresha katika maeneo hayo. Lakini pia tunatumai kwamba kwa kutoa kiolesura kinachopatikana kwa ChatGPT, tutapata majibu muhimu ya watumiaji kuhusu masuala ambayo hatujui tayari.
Watumiaji wanahimizwa kutoa majibu kuhusu matokeo ya muundo yenye matatizo kupitia UI, pamoja na kuhusu matokeo yasiyo sahihi chanya au hasi kutoka kwa kichujio cha maudhui cha nje ambacho pia ni sehemu ya kiolesura hicho. Tunavutiwa hasa na majibu kuhusu matokeo hatarishi yanayoweza kutokea katika mazingira halisi yasiyo ya uhasama, pamoja na maoni yanayosaidia kufichua na kuelewa hatari mpya na njia zinazowezekana za kupunguza athari hizo. Unaweza kuchagua kuingia kwenye Shindano la majibu la ChatGPT(fungua katika dirisha jipya)3 kwa nafasi ya kushinda hadi $500 katika malipo ya API.A Majibu yanaweza kuwasilisha kupitia fomu ya majibu ambayo imeunganishwa kwenye kiolesura cha ChatGPT.
Tuna furaha kutumia masomo tuliyopata kutokana na toleo hili katika kusambaza mifumo iliyo na uwezo zaidi, kama vile matoleo ya awali yalivyosaidia kufahamisha toleo hili.
Tanbihi
- A
Hakuna ununuzi unaohitajika, batili katika maeneo ambapo imepigwa marufuku. Sharti uwe na angalau miaka 18 ili kuingia. Kwa maelezo ya shindano, tafadhali angalia Kanuni Rasmi(fungua katika dirisha jipya).
Marejeleo
- 1
Stiennon, Nisan, et al. “Learning to summarize with human feedback(fungua katika dirisha jipya).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman, na Jacob Hilton. “Scaling Laws for Reward Model Overoptimization(fungua katika dirisha jipya).” arXiv preprint arXiv:2210.10760 (2022).
- 3
Msukumo wa mashindano haya unatokana kwa sehemu na kazi ya Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji na Joy Buolamwini. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress. Washington, DC: Algorithmic Justice League. Januari 2022. Inapatikana kwenye https://ajl.org/bugs(fungua katika dirisha jipya). Tazama pia kazi ya Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn na Gretchen Krueger et al. “Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims,” Aprili 2020. Inapatikana kwenye https://arxiv.org/abs/2004.07213(fungua katika dirisha jipya). Tazama mfano wa awali wa shindano kama hilo kwenye HackerOne. 2021b. “Twitter Algorithmic Bias.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(fungua katika dirisha jipya). Mwishowe, angalia kazi iliyochapishwa mapema kuhusu mada hii kutoka kwa Rubinovitz, JB, “Bias Bounty Programs as a Method of Combatting Bias in AI,” Agosti 2018. Inapatikana katika https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(fungua katika dirisha jipya).
Mwandishi
Shukrani
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic na Christopher Hesse
