በውይይት መንገድ የሚስተጋበር ChatGPT የተባለ ሞዴል አሰልጥተናል። የውይይት ቅርጸቱ ChatGPT ተከታታይ ጥያቄዎችን እንዲመልስ፣ ስህተቶቹን እንዲቀበል፣ የተሳሳተ መሰረት ያላቸው ሀሳቦች ላይ ጥያቄዎችን እንዲያነሳ እና ተገቢ ያልሆኑ ጥያቄዎችን ውድቅ እንዲያደርግ ያስችለዋል።
ChatGPT የ InstructGPT እህት ሞዴል ሲሆን ጥያቄ ውስጥ ያለውን መመሪያ እንዲከተል እና ዝርዝር ምላሽ እንዲሰጥ የሰለጠነ ነው።
የተጠቃሚዎች ግብረመልስ ለማግኘት እና ጠንካራ እና ደካማ ጎኖቹን ለማወቅ ChatGPT ስናስተዋወቅ ደስተኞች ነን። በምርምር ቅድመ-ዕይታ ወቅት ChatGPTን የሚጠቀሙት በነጻ ነው። በ chatgpt.com(በአዲስ መስኮት ውስጥ ይክፈታል) ላይ አሁኑኑ ይሞክሩት።
ናሙናዎች
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?ይህን ሞዴል ከሰው ግብረ መልስ የማጠናከሪያ ትምህርት (አር.ኤል.ኤች.ኤፍ) በመጠቀም፣ እንደ InstructGPT ተመሳሳይ ዘዴዎችን በመጠቀም አሰልጥነዋል፣ ነገር ግን በመረጃ አሰባሰብ ማዋቀር ላይ ትናንሽ ልዩነቶች አሉ። በክትትል የሚደረግበት ማስተካከያ በመጠቀም የመጀመሪያ ሞዴል አሰልጥነናል፦ የሰው ሰራሽ አስተውሎት አሰልጣኝ ሰዎች ሁለቱንም ወገኖች የተጫወቱባቸውን ውይይቶችን አቅርበዋል—ተጠቃሚው እና የሰው ሰራሽ አስተውሎት ረዳት። አሰልጣኞቹ ምላሾቻቸውን እንዲያዘጋጁ ለመርዳት በሞዴል የተጻፉ አስተያየቶችን እንዲያገኙ ሰጥተናቸዋል። ይህንን አዲስ የውይይት መረጃ ስብስብ ከInstructGPT የመረጃ ስብስብ ጋር የቀላቀልነው ሲሆን፣ ይህንንም ወደ የውይይት ቅርጸት ቀይረነዋል።
ለማጠናከሪያ ትምህርት የሽልማት ሞዴል ለመፍጠር፣ በጥራት ደረጃ የተቀመጡ ሁለት ወይም ከዚያ በላይ የሞዴል ምላሾችን የያዘ የንፅፅር መረጃ መሰብሰብ ነበረብን። ይህንን መረጃ ለመሰብሰብ የሰው ሰራሽ አስተውሎት አሰልጣኞች ከውይይት ቦት ጋር ያደረጓቸውን ውይይቶች ወስደናል። በሞዴል የተጻፈ መልእክት በዘፈቀደ መርጠናል፣ በርካታ አማራጭ ማጠናቀቂያዎችን ናሙና ወስደናል፣ እና የሰው ሰራሽ አስተውሎት አሰልጣኞች ደረጃ እንዲሰጡ አድርገናል። እነዚህን የሽልማት ሞዴሎች በመጠቀም፣ ሞዴሉን ፕሮክሲማል ፖሊሲ ማመቻቸትን በመጠቀም ማስተካከል እንችላለን። የዚህን ሂደት በርካታ ድግግሞሽ አከናውነናል።
ChatGPT እ.ኤ.አ በ2022 መጀመሪያ ላይ ስልጠናውን ካጠናቀቀው የGPT‑3.5 ተከታታይ ውስጥ ከሆነ ሞዴል በጥሩ ሁኔታ የተስተካከለ ነው። ስለ 3.5 ተከታታይ እዚህ(በአዲስ መስኮት ውስጥ ይክፈታል) የበለጠ ማወቅ ይችላሉ። ChatGPT እና GPT‑3.5 በAzure AI ሱፐርኮምፒውቲንግ መሠረት ላይ ሰልጥነዋል።
- ChatGPT አንዳንድ ጊዜ አሳማኝ የሚመስሉ ነገር ግን የተሳሳቱ ወይም ትርጉም የለሽ መልሶችን ይጽፋል። ይህንን ጉዳይ ማስተካከል አስቸጋሪ ነው፣ ምክንያቱም፦ (1) በአር.ኤል ስልጠና ወቅት በአሁኑ ጊዜ የእውነት ምንጭ የለም፤ (2) ሞዴሉ የበለጠ ጥንቃቄ እንዲያደርግ ማሰልጠን በትክክል ሊመልሳቸው የሚችላቸውን ጥያቄዎች ውድቅ እንዲያደርግ ያደርገዋል፤ እና (3) ክትትል የሚደረግበት ስልጠና ሞዴሉን የሚያስት ሲሆን ይህም የሆነበት ምክንያት ትክክለኛው መልስ የሚወሰነው ሞዴሉ በሚያውቀው ላይ(በአዲስ መስኮት ውስጥ ይክፈታል) እንጂ አሰራሩን የሚያሳየው ግለሰብ በሚያውቀው ላይ አይደለም።
- ChatGPT ለግቤት ሀረግ ማስተካከያዎች ወይም ተመሳሳይ ጥያቄን ብዙ ጊዜ መሞከር ላይ ጥንቃቄ ይወስዳል። ለምሳሌ፣ የአንድ ጥያቄ አጻጻፍ ከተሰጠው፣ ሞዴሉ መልሱን እንደማያውቅ ሊናገር ይችላል፣ ነገር ግን የጥያቄው አጻጻፍ በትንሹ ከተቀየረ፣ በትክክል መልስ መስጠት ይችላል።
- ሞዴሉ ብዙ ጊዜ ከሚገባው በላይ ቃላቶችን በመጠቀም ይነጋገራል እና አንዳንድ ሀረጎችን ከመጠን በላይ ይጠቀማል፣ ለምሳሌ በOpenAI የሰለጠነ የቋንቋ ሞዴል መሆኑን በድጋሚ መናገር። እነዚህ ችግሮች የሚመነጩት በስልጠና መረጃ ውስጥ ካሉት አድሎዎች (አሰልጣኞች የበለጥ የተሟሉ የሚመስሉ ረዘም ያሉ መልሶችን ይመርጣሉ) እና በደንብ ከሚታወቁ ከመጠን በላይ የማመቻቸት ችግሮች ነው።1 እና 2
- በሐሳብ ደረጃ፣ ሞዴሉ ተጠቃሚው አሻሚ ጥያቄ ሲያቀርብ የማብራሪያ ጥያቄዎችን ይጠይቃል። ይልቁንም፣ የአሁን ሞዴሎቻችን ብዙውን ጊዜ ተጠቃሚው ምን እንደፈለገ ይገመታሉ።
- ሞዴሉ ተገቢ ያልሆኑ ጥያቄዎችን ውድቅ እንዲያደርግ ጥረት ብናደርግም፣ አንዳንድ ጊዜ ጎጂ ለሆኑ መመሪያዎች ምላሽ ይሰጣል ወይም አድልዎ ያለበትን ባህሪ ያሳያል። አንዳንድ ደህንነት የጎደላቸው ይዘቶችን ለማስጠንቀቅ ወይም ለማገድ የቁጥጥር ኤ.ፒ.አይ እየተጠቀምን ሲሆን፣ ነገር ግን ለጊዜው አንዳንድ የተሳሳቱ አሉታዊ እና አዎንታዊ ይዘቶች ይኖሩታል ብለን እንጠብቃለን። ይህንን ስርዓት ለማሻሻል የምናደርገውን ቀጣይ ስራ ለመርዳት የተጠቃሚ ግብረመልስ ለመሰብሰብ ጓጉተናል።
ዛሬ የወጣው የChatGPT ምርምር በOpenAI የተሻለ ደህንነት እና ጠቃሚነት ያላቸው የሰው ሰራሽ አስተውሎት (AI) ስርዓቶችን በተደጋጋሚ መተግበር ውስጥ የቅርብ ጊዜ እርምጃ ነው። እንደ GPT‑3 እና Codex ያሉ ቀደም ባሉ ሞዴሎችን ከመተግበር የተገኙ ብዙ ትምህርቶች ለዚህ ልቀት በተቀመጡት የደህንነት ማሻሻያዎች ላይ ጉልህ ሚና የተጫወቱ ሲሆን፣ ይህም ከሰው ግብረመልስ የማጠናከሪያ ትምህርትን (አር.ኤል.ኤች.ኤፍ) በመጠቀም የተገኙ ጎጂ እና ሀሰተኛ ውጤቶችን በከፍተኛ ሁኔታ መቀነስን ያካትታል።
ከላይ እንደተገለጸው ብዙ ማነቆዎች እንደሚኖሩ እናውቃለን እና በእንደዚህ ዓይነት አካባቢዎች ለማሻሻል መደበኛ የሞዴል ዝመኔዎችን ለማድረግ እቅድ አለን። ነገር ግን ለChatGPT ተደራሽ በይነገጽ በማቅረብ፣ አስቀድመን በማናውቃቸው ጉዳዮች ላይ ጠቃሚ የሆኑ የተጠቃሚ ግብረ መልስ እንደምንገኝ ተስፋ እናደርጋለን።
ተጠቃሚዎች በተጠቃሚ በይነገጽ በኩል ችግር ያለባቸው የሞዴል ውጤቶች ላይ እንዲሁም የበይነገጽ አካል ከሆነው ውጫዊ የይዘት ማጣሪያ ላይ በሐሰተኛ አዎንታዊ/አሉታዊ ላይ ግብረ መልስ እንዲሰጡ ይበረታታሉ። በተለይ በእውነተኛ ዓለም፣ ተቃራኒ ባልሆኑ ሁኔታዎች ውስጥ ሊከሰቱ የሚችሉ ጎጂ ውጤቶች ላይ፣ እንዲሁም አዲስ ስጋቶችን እና ሊሆኑ የሚችሉ ማሻሻያዎችን እንድናገኝ እና እንድንረዳ የሚያግዘን ግብረ መልስ እንፈልጋለን። እስከ $500 ድረስ በኤ.ፒ.አይ ክሬዲቶች የማሸነፍ እድል ለማግኘት የ ChatGPT ግብረ መልስ ውድድር(በአዲስ መስኮት ውስጥ ይክፈታል)3 ውስጥ ለመግባት መምረጥ ይችላሉ።3 ምዝገባዎችን በChatGPT በይነገጽ ውስጥ በተገናኘው የግብረ መልስ ቅጽ በኩል ማስረከብ ይችላሉ።
ቀደም ሲል የተዘረጉት ትግበራዎች ለዚህ ግብዓት እንደነበሩት ሁሉ፣ ከዚህ ልቀት የተገኙ ትምህርቶችን የበለጠ አቅም ያላቸው ስርዓቶች ትግበራ ላይ ለመጠቀም ጓጉተናል።
የግርጌ ማስታወሻዎች
- A
ምንም ግዢ አያስፈልግም፣ በተከለከለበት ቦታ አይሰራም። ለመግባት ቢያንስ 18 አመት መሆን አለብዎት። የውድድር ዝርዝሮችን ለማግኘት፣ ኦፊሴላዊ ደንቦችን(በአዲስ መስኮት ውስጥ ይክፈታል) ይመልከቱ።
ማጣቀሻዎች
- 1
ስቲንኖን፣ ኒሳን፣ እና ሌሎችም። “Learning to summarize with human feedback(በአዲስ መስኮት ውስጥ ይክፈታል)።” Advances in Neural Information Processing Systems 33 (2020): 3008-3021።
- 2
ጋኦ፣ ሊዮ፣ ጆን ሹልማን እና ጃኮብ ሂልተን። “Scaling Laws for Reward Model Overoptimization(በአዲስ መስኮት ውስጥ ይክፈታል)።” arXiv preprint arXiv:2210.10760 (2022)።
- 3
የዚህ ውድድር መነሻ በከፊል የመጣው ኬንዌይ፣ ጆሽ፣ ካሚል ፍራንስዋ፣ ሳሻ ኮስታንዛ-ቾክ፣ ኢኒኦሉዋ ዲቦራ ራጂ እና ጆይ ቡአላሙዊኒ ባደረጉት ስራ ነው። Bug Bounties For Algorithmic Harms? Lessons from Cybersecurity Vulnerability Disclosure for Algorithmic Harms Discovery, Disclosure, and Redress። Washington, DC: Algorithmic Justice League። እ.ኤ.አ ጃንዋሪ 2022። በ https://ajl.org/bugs(በአዲስ መስኮት ውስጥ ይክፈታል) ላይ ይገኛል። እንዲሁም በብራንዴጅ፣ ማይልስ፣ አቪን፣ ሻሃር፣ ዋንግ፣ ጃዝሚን፣ ቤልፊልድ፣ ሄይደን እና ግሬችን ክሩገር እና ሌሎችም የሰሩትን ስራዎች ይመልከቱ። “Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims፣” እ.ኤ.አ ኤፕሪል 2020። በ https://arxiv.org/abs/2004.07213(በአዲስ መስኮት ውስጥ ይክፈታል) ላይ ይገኛል። HackerOne ላይ እንደዚህ ያለ ውድድር ቀደም ሲል የተከሰተበትን ሁኔታ ይመልከቱ። 2021b። "Twitter Algorithmic Bias።" HackerOne። https://hackerone.com/twitter-algorithmic-bias?type=team(በአዲስ መስኮት ውስጥ ይክፈታል)። በመጨረሻም፣ በዚህ ርዕስ ላይ ቀደም ብሎ የታተመ ሥራ ከሩቢኖቪትዝ፣ ጄ.ቢ፣ “Bias Bounty Programs as a Method of Combatting Bias in AI፣” እ.ኤ.አ ኦገስት 2018 ይመልከቱ። በ https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(በአዲስ መስኮት ውስጥ ይክፈታል) ላይ ይገኛል።
ደራሲ
ምስጋናዎች
John Schulman፣ Barret Zoph፣ Christina Kim፣ Jacob Hilton፣ Jacob Menick፣ Jiayi Weng፣ Juan Felipe Ceron Uribe፣ Liam Fedus፣ Luke Metz፣ Michael Pokorny፣ Rapha Gontijo Lopes፣ Shengjia Zhao፣ Arun Vijayvergiya፣ Eric Sigler፣ Adam Perelman፣ Chelsea Voss፣ Mike Heaton፣ Joel Parish፣ Dave Cummings፣ Rajeev Nayak፣ Valerie Balcom፣ David Schnurr፣ Tomer Kaftan፣ Chris Hallacy፣ Nicholas Turley፣ Noah Deutsch፣ Vik Goel፣ Jonathan Ward፣ Aris Konstantinidis፣ Wojciech Zaremba፣ Long Ouyang፣ Leonard Bogdonoff፣ Joshua Gross፣ David Medina፣ Sarah Yoo፣ Teddy Lee፣ Ryan Lowe፣ Dan Mossing፣ Joost Huizinga፣ Roger Jiang፣ Carroll Wainwright፣ Diogo Almeida፣ Steph Lin፣ Marvin Zhang፣ Kai Xiao፣ Katarina Slama፣ Steven Bills፣ Alex Gray፣ Jan Leike፣ Jakub Pachocki፣ Phil Tillet፣ Shantanu Jain፣ Greg Brockman፣ Nick Ryder፣ Alex Paino፣ Qiming Yuan፣ Clemens Winter፣ Ben Wang፣ Mo Bavarian፣ Igor Babuschkin፣ Szymon Sidor፣ Ingmar Kanitscheider፣ Mikhail Pavlov፣ Matthias Plappert፣ Nik Tezak፣ Heewoo Jun፣ William Zhuk፣ Vitchyr Pong፣ Lukasz Kaiser፣ Jerry Tworek፣ Andrew Carr፣ Lilian Weng፣ Sandhini Agarwal፣ Karl Cobbe፣ Vineet Kosaraju፣ Alethea Power፣ Stanislas Polu፣ Jesse Han፣ Raul Puri፣ Shawn Jain፣ Benjamin Chess፣ Christian Gibson፣ Oleg Boiko፣ Emy Parparita፣ Amin Tootoonchian፣ Kyle Kosic እና Christopher Hesse
