Olemme kouluttaneet ChatGPT‑nimisen mallin, joka keskustelee vuorovaikutteisesti. Dialogimuoto antaa ChatGPT:lle mahdollisuuden vastata jatkokysymyksiin, myöntää virheensä, kyseenalaistaa väärät lähtökohdat ja hylätä sopimattomat pyynnöt.
ChatGPT on sisarmalli InstructGPT:lle, joka on koulutettu seuraamaan kehotteen ohjetta ja antamaan yksityiskohtainen vastaus.
Esittelemme innostuneina ChatGPT:n ja toivomme saavamme käyttäjiltä palautetta ja tietoa sen vahvuuksista ja heikkouksista. Tutkimusvaiheen esikatselun aikana ChatGPT:n käyttö on ilmaista. Kokeile sitä täältä chatgpt.com(avautuu uudessa ikkunassa).
Näytteet
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?Koulutimme mallin käyttäen vahvistusoppimista ihmispalautteesta (Reinforcement Learning from Human Feedback, RLHF) samoilla menetelmillä kuin InstructGPT, tosin tiedonkeruumäärityksissä oli eroja. Koulutimme alustavan mallin valvotun hienosäädön avulla: tekoälykouluttajat käyttivät keskusteluja, joissa he esittivät molempia osapuolia – käyttäjää ja tekoälyavustajaa. Annoimme kouluttajien käyttöön kirjalliset malliehdotukset auttamaan vastausten laatimisessa. Yhdistimme uuden dialogipohjaisen tietojoukon InstructGPT‑tietojoukkoon, jonka muutimme dialogimuotoon.
Luodaksemme palkitsemismallin vahvistusoppimista varten keräsimme vertailuaineiston, joka koostui vähintään kahdesta, laadun mukaan luokitellusta mallivastauksesta. Keräsimme aineiston keskusteluista, joita tekoälykouluttajat kävivät chatbotin kanssa. Valitsimme satunnaisesti mallin kirjoittaman viestin, otimme näytteitä useista vaihtoehtoisista täydennyksistä ja tekoälykouluttajat arvioivat ne. Näillä palkkiomalleilla voimme hienosäätää mallia käyttämällä Proksimaalista käytäntöjen optimointia. Toteutimme prosessin useita kertoja.
ChatGPT on hienosäädetty GPT‑3.5‑sarjan mallista, jonka koulutus päättyi vuoden 2022 alussa. Lisätietoja 3.5-sarjasta saat täältä(avautuu uudessa ikkunassa). ChatGPT ja GPT‑3.5 koulutettiin Azuren tekoälyn supertietokoneympäristössä.
- ChatGPT kirjoittaa joskus uskottavalta kuulostavia, mutta virheellisiä tai epäloogisia vastauksia. Ongelman korjaaminen on haastavaa, sillä: (1) RL-koulutuksen aikana ei toistaiseksi ole käytössä mitään totuuden lähdettä, (2) mallin kouluttaminen varovaisemmaksi saa sen hylkäämään kysymyksiä, joihin se voisi vastata oikein, ja (3) valvottu koulutus johtaa mallia harhaan, koska ihanteellinen vastaus riippuu siitä, mitä malli tietää(avautuu uudessa ikkunassa), eikä siitä, mitä ihminen tietää.
- ChatGPT reagoi herkästi syötteen muotoilun muutoksiin tai siihen, että samaa kehotetta yritetään käyttää useita kertoja. Esimerkiksi, jos mallille annetaan jokin kysymys, se voi väittää, ettei tiedä vastausta, mutta jos kysymys muotoillaan toisin, malli voi vastata oikein.
- Malli on usein liian monisanainen ja käyttää liikaa tiettyjä lauseita, kuten toistaa, että kyseessä on OpenAI:n kouluttama kielimalli. Ongelmat johtuvat harjoitteluaineiston vääristymistä (kouluttajat suosivat pidempiä, kattavammilta näyttäviä vastauksia) ja tunnetuista ylioptimoinnin ongelmista.1 ja 2
- Ihannetapauksessa malli kysyisi tarkentavia kysymyksiä, jos käyttäjä esittää epäselvän kyselyn. Nykyiset mallimme kuitenkin yleensä arvaavat, mitä käyttäjä on tarkoittanut.
- Vaikka olemme pyrkineet saamaan mallin kieltäytymään sopimattomista pyynnöistä, se vastaa joskus haitallisiin ohjeisiin tai on puolueellinen. Käytämme Moderointi-API:a varoittamaan tietynlaisista vaarallisista sisällöistä, tai estämään ne, mutta odotamme sen yhä tuottavan joitain vääriä positiivisia ja negatiivisia tuloksia. Keräämme mielellämme käyttäjäpalautetta, joka auttaa meitä parantamaan järjestelmää.
ChatGPT:n tuore tutkimusjulkaisu on uusin vaihe OpenAI:n yhä turvallisempien ja hyödyllisempien tekoälyjärjestelmien toistuvissa käyttöönotoissa. Kokemukset aiempien mallien, kuten GPT‑3:n ja Codexin, käyttöönotosta ovat vaikuttaneet julkaisun turvallisuutta koskeviin lieventämistoimiin, kuten haitallisten ja valheellisten tuotosten selvään vähenemiseen, joka on saavutettu käyttämällä ihmispalautteeseen perustuvaa vahvistusoppimista (RLHF).
Tiedämme, että monia edellä mainittuja rajoituksia vielä on, ja aiomme säännöllisesti päivittää mallia parantaaksemme sitä. Toivomme, että helppokäyttöisen käyttöliittymän tarjoaminen ChatGPT:hen tuo myös arvokasta käyttäjäpalautetta ongelmista, joista emme vielä tiedä.
Käyttäjiä kannustetaan antamaan palautetta mallin ongelmallisista tuotoksista käyttöliittymän kautta ja vääristä positiivisista/negatiivisista tuotoksista ulkoisella sisällön suodattimella, joka on osa käyttöliittymää. Meitä kiinnostaa eniten palaute, joka koskee haitallisia tuotoksia, joita voi esiintyä todellisissa, vastakkainasettelusta vapaissa olosuhteissa, sekä palaute, joka auttaa paljastamaan ja ymmärtämään uusia riskejä ja mahdollisia lieventämistoimia. Voit osallistua ChatGPT:n palautekilpailuun(avautuu uudessa ikkunassa)3 ja voittaa jopa 500 dollarin edestä API-krediittejä.A Osallistumiset voi lähettää palautelomakkeen kautta, joka on linkitetty ChatGPT:n käyttöliittymään.
Julkaisusta oppimamme asiat auttavat meitä kehittämään entistä tehokkaampia järjestelmiä, aivan kuten aiemmat käyttöönotot vaikuttivat tämän parantamiseen.
Alaviitteet
- A
Ei edellytä ostamista. Mitätön siellä, missä kielletty. Osallistujan on oltava vähintään 18-vuotias. Kilpailun tiedot löytyvät virallisista säännöistä(avautuu uudessa ikkunassa).
Viitteet
- 1
Stiennon, Nisan, et al. “Learning to summarize with human feedback(avautuu uudessa ikkunassa).” Advances in Neural Information Processing Systems 33 (2020): 3008-3021.
- 2
Gao, Leo, John Schulman ja Jacob Hilton. “Scaling Laws for Reward Model Overoptimization(avautuu uudessa ikkunassa).” arXiv preprint arXiv:2210.10760 (2022).
- 3
Inspiraatio tähän kilpailuun tulee osittain työstä, jota Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji ja Joy Buolamwini ovat tehneet. Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress. Washington, DC: Algorithmic Justice League. Tammikuu 2022. Saatavana osoitteesta https://ajl.org/bugs(avautuu uudessa ikkunassa). Katso myös työ, jota ovat tehneet Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn ja Gretchen Krueger et al. “Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims”, huhtikuu 2020. Saatavana osoitteesta https://arxiv.org/abs/2004.07213(avautuu uudessa ikkunassa). Katso aiempi esimerkki tällaisesta kilpailusta HackerOne-sivustolta. 2021b. “Twitter Algorithmic Bias.” HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(avautuu uudessa ikkunassa). Lopuksi, katso tästä aiheesta aiemmin julkaistua työtä, jonka on tehnyt Rubinovitz, JB, “Bias Bounty Programs as a Method of Combatting Bias in AI”, elokuu 2018. Saatavana osoitteesta https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(avautuu uudessa ikkunassa).
Tekijä
Kiitokset
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic ja Christopher Hesse
