ChatGPT പരിചയപ്പെടുത്തുന്നു
സംഭാഷണ രീതിയിൽ സംവദിക്കുന്ന ChatGPT എന്നൊരു മോഡൽ ഞങ്ങൾ പരിശീലിപ്പിച്ചിരിക്കുന്നു. സംഭാഷണ ഫോർമാറ്റ് ChatGPT‑ന് ഫോളോഅപ്പ് ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകാനും, അതിന്റെ പിഴവുകൾ സമ്മതിക്കാനും, തെറ്റായ ധാരണകളെ വെല്ലുവിളിക്കാനും, അനുചിതമായ അഭ്യർത്ഥനകൾ നിരസിക്കാനും സാധ്യമാക്കുന്നു.
ഒരു പ്രോംപ്റ്റിൽ ഒരു നിർദ്ദേശം പിന്തുടരാനും വിശദമായ മറുപടി നൽകാനും പരിശീലനം ലഭിച്ച ഇൻസ്ട്രക്ട്ജിപിറ്റിക്ക് ഒരു സഹോദര മോഡൽയാണ് ChatGPT.
ഉപയോക്താക്കളുടെ ഫീഡ്ബാക്ക് ലഭിക്കുകയും അതിന്റെ ശക്തികളും ദൗർബല്യങ്ങളും മനസ്സിലാക്കുകയും ചെയ്യുന്നതിനായി ChatGPT അവതരിപ്പിക്കുന്നതിൽ ഞങ്ങൾ ആവേശഭരിതരാണ്. ഗവേഷണ പ്രിവ്യൂ സമയത്ത്, ChatGPT ഉപയോഗിക്കുന്നത് സൗജന്യമാണ്. chatgpt.com-(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) ൽ ഇപ്പോൾ തന്നെ പരീക്ഷിച്ചു നോക്കൂ.
സാമ്പിളുകൾ
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?ഞങ്ങൾ ഈ മോഡലിനെ റീഇൻഫോഴ്സ്മെന്റ് ലേണിംഗ് ഫ്രം ഹ്യൂമൻ ഫീഡ്ബാക്ക് (ആർഎൽഎച്ച്എഫ്) ഉപയോഗിച്ച്, ഇൻസ്ട്രക്ട്ജിപിറ്റി്ക് ന്റെ അതേ രീതികൾ ഉപയോഗിച്ച്, എന്നാൽ ഡാറ്റാ ശേഖരണ സജ്ജീകരണത്തിൽ ചെറിയ വ്യത്യാസങ്ങളോടെ പരിശീലിപ്പിച്ചു. മനുഷ്യ മേൽനോട്ടത്തിലുള്ള ഫൈൻ-ട്യൂണിംഗ് ഉപയോഗിച്ച് ഞങ്ങൾ ഒരു പ്രാരംഭ മോഡൽ പരിശീലിപ്പിച്ചു: AI പരിശീലകർ സംഭാഷണങ്ങൾ നൽകി, അവരിൽ അവർ —ഉപയോക്താവിനെയും AI സഹായിയെയും അവതരിപ്പിച്ചു. പരിശീലകർക്ക് അവരുടെ മറുപടികൾ രചിക്കാൻ സഹായിക്കുന്നതിന് മോഡൽ എഴുതിയ നിർദ്ദേശങ്ങളിലേക്ക് ഞങ്ങൾ ആക്സസ്ം നൽകി. ഞങ്ങൾ ഈ പുതിയ സംഭാഷണ ഡാറ്റാസെറ്റ് ഇൻസ്ട്രക്ട്ജിപിറ്റി ഡാറ്റാസെറ്റുമായി ചേർത്തു, അത് ഞങ്ങൾ സംഭാഷണ ഫോർമാറ്റിലേക്ക് മാറ്റി.
റീഇൻഫോഴ്സ്മെന്റ് ലേണിംഗിനായി ഒരു റിവാർഡ് മോഡൽ സൃഷ്ടിക്കാൻ, ഞങ്ങൾ താരതമ്യ ഡാറ്റ ശേഖരിക്കേണ്ടിവന്നു, അതിൽ ഗുണനിലവാരം അനുസരിച്ച് റാങ്ക് ചെയ്ത രണ്ടോ അതിലധികമോ മോഡൽ മറുപടികൾ ഉൾപ്പെടുന്നു. ഈ ഡാറ്റ ശേഖരിക്കുന്നതിന്, AI പരിശീലകർ ചാറ്റ്ബോട്ടുമായി നടത്തിയ സംഭാഷണങ്ങൾ ഞങ്ങൾ ശേഖരിച്ചു. ഞങ്ങൾ ക്രമരഹിതമായി ഒരു മോഡൽ എഴുതിയ സന്ദേശം തിരഞ്ഞെടുത്തു, നിരവധി ബദൽ പൂർത്തീകരണങ്ങൾ സാമ്പിൾ ചെയ്തു, അവയെ AI പരിശീലകർ റാങ്ക് ചെയ്തു. ഈ റിവാർഡ് മോഡലുകൾ ഉപയോഗിച്ച്, പ്രോക്സിമൽ പോളിസി ഒപ്റ്റിമൈസേഷൻ ഉപയോഗിച്ച് നമുക്ക് മോഡൽ ഫൈൻ-ട്യൂൺ ചെയ്യാൻ കഴിയും. ഈ പ്രക്രിയയുടെ നിരവധി ആവർത്തനങ്ങൾ ഞങ്ങൾ നടത്തി.
ChatGPT 2022 തുടക്കത്തിൽ പരിശീലനം പൂർത്തിയാക്കിയ GPT‑3.5 സീരീസിലെ ഒരു മോഡലിൽ നിന്ന് നന്നായി ട്യൂൺ ചെയ്തിരിക്കുന്നു. 3.5 പരമ്പരയെക്കുറിച്ച് നിങ്ങൾക്ക് ഇവിടെ(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) കൂടുതൽ അറിയാൻ കഴിയും. ChatGPT, GPT‑3.5 എന്നിവയെ Azure AI സൂപ്പർകമ്പ്യൂട്ടിംഗ് ഇൻഫ്രാസ്ട്രക്ചറിൽ പരിശീലിപ്പിച്ചു.
- ChatGPT ചിലപ്പോൾ വിശ്വസനീയമായി തോന്നുന്ന പക്ഷേ തെറ്റായതോ അസംബന്ധമോ ആയ ഉത്തരങ്ങൾ എഴുതാറുണ്ട്. ഈ പ്രശ്നം പരിഹരിക്കുന്നത് വെല്ലുവിളിയാണ്, കാരണം: (1) RL പരിശീലനം സമയത്ത്, നിലവിൽ സത്യത്തിന്റെ ഉറവിടമില്ല; (2) മോഡലിനെ കൂടുതൽ ജാഗ്രത പുലർത്താൻ പരിശീലിപ്പിക്കുന്നത് ശരിയായി ഉത്തരം നൽകാൻ കഴിയുന്ന ചോദ്യങ്ങൾ നിരസിക്കാൻ കാരണമാകുന്നു; (3) മേൽനോട്ടത്തിലുള്ള പരിശീലനം മോഡലിനെ തെറ്റിദ്ധരിപ്പിക്കുന്നു, കാരണം അനുയോജ്യമായ ഉത്തരം മോഡലിന് അറിയാവുന്ന കാര്യങ്ങളെ ആശ്രയിച്ചിരിക്കുന്നു(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു), മനുഷ്യ പ്രകടനക്കാരന് അറിയുന്നതിനേക്കാൾ.
- ഇൻപുട്ട് പദപ്രയോഗത്തിലേക്ക് ട്വീക്കുകൾ ചെയ്യുന്നതിനോ ഒരേ പ്രോംപ്റ്റ് ഒന്നിലധികം തവണ ശ്രമിക്കുന്നതിനോ ChatGPT സെൻസിറ്റീവ് ആണ്. ഉദാഹരണത്തിന്, ഒരു ചോദ്യത്തിന്റെ ഒരു പദപ്രയോഗം നൽകിയാൽ, മോഡൽ ഉത്തരം അറിയില്ലെന്ന് അവകാശപ്പെടാം, പക്ഷേ ചെറിയ ഒരു പുനർവാചകം നൽകിയാൽ, ശരിയായി ഉത്തരം നൽകാൻ കഴിയും.
- ഈ മോഡൽ പലപ്പോഴും അമിതമായി വാചാലാണ്, ചില വാചകങ്ങൾ ആവർത്തിച്ച് ഉപയോഗിക്കുന്നു, ഉദാഹരണത്തിന്, ഇത് OpenAI പരിശീലിപ്പിച്ച ഒരു ഭാഷാ മോഡലാണെന്ന് വീണ്ടും പറയുന്നത്. ഈ പ്രശ്നങ്ങൾ പരിശീലന ഡാറ്റയിലെ പക്ഷപാതങ്ങളിൽ നിന്നാണ് ഉണ്ടാകുന്നത് (പരിശീലകർ കൂടുതൽ സമഗ്രമായി തോന്നുന്ന ദൈർഘ്യമേറിയ ഉത്തരങ്ങൾ ഇഷ്ടപ്പെടുന്നു) കൂടാതെ അറിയപ്പെടുന്ന ഓവർ-ഒപ്റ്റിമൈസേഷൻ പ്രശ്നങ്ങളിൽ നിന്നുമാണ്. 1 2
- ആദർശപരമായി, ഉപയോക്താവ് അവ്യക്തമായ ഒരു ചോദ്യം നൽകിയാൽ മോഡൽ വ്യക്തതയുള്ള ചോദ്യങ്ങൾ ചോദിക്കണം. പകരം, ഞങ്ങളുടെ നിലവിലെ മോഡലുകൾ സാധാരണയായി ഉപയോക്താവ് ഉദ്ദേശിച്ചത് എന്താണെന്ന് ഊഹിക്കുന്നു.
- അനുചിതമായ അഭ്യർത്ഥനകൾ മോഡൽ നിരസിക്കാൻ ഞങ്ങൾ ശ്രമങ്ങൾ നടത്തിയിട്ടും, ചിലപ്പോൾ അത് ദോഷകരമായ നിർദ്ദേശങ്ങൾക്ക് പ്രതികരിക്കുകയോ പക്ഷപാതപരമായ പെരുമാറ്റം കാണിക്കുകയോ ചെയ്യും. സുരക്ഷിതമല്ലാത്ത ചില തരം ഉള്ളടക്കങ്ങൾ മുന്നറിയിപ്പ് നൽകാനോ തടയാനോ ഞങ്ങൾ മോഡറേഷൻ API ഉപയോഗിക്കുന്നു, പക്ഷേ ഇപ്പോൾ ചില തെറ്റായ നെഗറ്റീവുകളും പോസിറ്റീവുകളും ഉണ്ടാകുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു. ഈ സിസ്റ്റം മെച്ചപ്പെടുത്തുന്നതിന് ഞങ്ങളുടെ തുടർച്ചയായ പ്രവർത്തനത്തെ സഹായിക്കുന്നതിന് ഉപയോക്താവ് ഫീഡ്ബാക്ക് ശേഖരിക്കാൻ ഞങ്ങൾ ആകാംക്ഷയോടെ കാത്തിരിക്കുന്നു.
ഇന്നത്തെ ChatGPT ഗവേഷണ റിലീസ് OpenAI കൂടുതൽ സുരക്ഷിതവും പ്രയോജനപ്രദവുമായ AI സിസ്റ്റങ്ങളുടെ ആവർത്തന വിന്യാസം എന്നതിന്റെ ഏറ്റവും പുതിയ ഘട്ടമാണ്. GPT‑3, കോഡെക്സ് തുടങ്ങിയ മുൻ മോഡലുകളുടെ വിന്യാസത്തിൽ നിന്നുള്ള നിരവധി പാഠങ്ങൾ ഈ റിലീസിനായി നിലവിലുള്ള സുരക്ഷാ ലഘൂകരണങ്ങളെ അറിയിച്ചിട്ടുണ്ട്, മനുഷ്യ ഫീഡ്ബാക്കിൽ നിന്നുള്ള (ആർഎൽഎച്ച്എഫ്) റീഇൻഫോഴ്സ്മെന്റ് ലേണിംഗ് ഉപയോഗത്തിലൂടെ ദോഷകരവും സത്യവിരുദ്ധവുമായ ഔട്ട്പുട്ടുകളിൽ ഗണ്യമായ കുറവ് കൈവരിച്ചിരിക്കുന്നു.
മുകളിൽ ചർച്ച ചെയ്തതുപോലെ നിരവധി പരിമിതികൾ നിലനിൽക്കുന്നുവെന്ന് ഞങ്ങൾക്കറിയാം, അത്തരം മേഖലകളിൽ മെച്ചപ്പെടുത്തുന്നതിന് പതിവായി മോഡൽ അപ്ഡേറ്റുകൾ നടത്താൻ ഞങ്ങൾ പദ്ധതിയിടുന്നു. എന്നാൽ ChatGPT‑ലേക്ക് ആക്സസ് ചെയ്യാവുന്ന ഇന്റർഫേസ് നൽകുന്നതിലൂടെ, ഞങ്ങൾക്ക് ഇതിനകം അറിയാത്ത പ്രശ്നങ്ങളിൽ വിലപ്പെട്ട ഉപയോക്താക്കളുടെ ഫീഡ്ബാക്ക് ലഭിക്കുമെന്നും ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു.
ഉപയോക്താക്കളെ യുഐയിലൂടെ പ്രശ്നകരമായ മോഡൽ ഔട്ട്പുട്ടുകളെക്കുറിച്ചും ഇന്റർഫേസിന്റെ ഭാഗമായ ബാഹ്യ ഉള്ളടക്ക തരംതിരിക്കു നിന്നുള്ള തെറ്റായ പോസിറ്റീവുകൾ/നെഗറ്റീവുകളെക്കുറിച്ചും ഫീഡ്ബാക്ക് നൽകാൻ പ്രോത്സാഹിപ്പിക്കുന്നു. യഥാർത്ഥ ലോകത്ത്, ശത്രുതാപരമല്ലാത്ത സാഹചര്യങ്ങളിൽ സംഭവിക്കാവുന്ന ദോഷകരമായ ഔട്ട്പുട്ടുകളെക്കുറിച്ചുള്ള ഫീഡ്ബാക്കിലും, പുതിയ അപകടസാധ്യതകളും സാധ്യതയുള്ള ലഘൂകരണങ്ങളും കണ്ടെത്താനും മനസിലാക്കാനും സഹായിക്കുന്ന ഫീഡ്ബാക്കിലും ഞങ്ങൾക്ക് പ്രത്യേക താൽപ്പര്യമുണ്ട്. നിങ്ങൾക്ക് API ക്രെഡിറ്റുകളിൽ $500 വരെ നേടാനുള്ള അവസരം ലഭിക്കുന്നതിനായി ChatGPT ഫീഡ്ബാക്ക് മത്സരത്തിൽ(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു)പങ്കെടുക്കാൻ തിരഞ്ഞെടുക്കാം 3.A ChatGPT ഇന്റർഫേസിൽ ലിങ്ക് ചെയ്തിരിക്കുന്ന ഫീഡ്ബാക്ക് ഫോം വഴി എൻട്രികൾ സമർപ്പിക്കാം.
മുമ്പത്തെ വിന്യാസങ്ങൾ ഈ റിലീസിനെ അറിയിച്ചതുപോലെ, ഈ റിലീസിൽ നിന്നുള്ള പാഠങ്ങൾ കൂടുതൽ കഴിവുള്ള സിസ്റ്റങ്ങളുടെ വിന്യാസത്തിലേക്ക് കൊണ്ടുപോകുന്നതിൽ ഞങ്ങൾ ആവേശത്തിലാണ്.
അടിക്കുറിപ്പുകൾ
- A
വാങ്ങൽ ആവശ്യമില്ല, നിരോധിച്ചിടത്ത് അസാധുവാണ്. പ്രവേശിക്കാൻ കുറഞ്ഞത് 18 വയസ്സ് തികഞ്ഞിരിക്കണം. മത്സര വിശദാംശങ്ങൾക്കായി,ഔദ്യോഗിക നിയമങ്ങൾ(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു)കാണുക.
അവലംബങ്ങൾ
- 1
സ്റ്റിയെന്നോൺ, നിസാൻ, മറ്റ് ആളുകൾ. “മനുഷ്യ ഫീഡ്ബാക്ക് ഉപയോഗിച്ച് സംഗ്രഹിക്കാൻ പഠിക്കുക(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു).” ന്യൂറൽ ഇൻഫർമേഷൻ പ്രോസസ്സിംഗ് സിസ്റ്റങ്ങളിലെ മുന്നേറ്റങ്ങൾ 33 (2020): 3008-3021.
- 2
ഗാവോ, ലിയോ, ജോൺ ഷുൽമാൻ, ജേക്കബ് ഹിൽട്ടൺ. “റിവാർഡ് മോഡൽ ഓവർഒപ്റ്റിമൈസേഷനായുള്ള സ്കെയിലിംഗ് നിയമ ങ്ങൾ(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു).” arXiv പ്രീപ്രിൻറ് arXiv:2210.10760 (2022).
- 3
ഈ മത്സരത്തിന് പ്രചോദനം ലഭിച്ചത് ഭാഗികമായി കെൻവേ, ജോഷ്, കാമിൽ ഫ്രാങ്കോയിസ്, സാഷ കോസ്റ്റാൻസ-ചോക്ക്, ഇനിയൊലുവ ഡെബോറ രാജി, ജോയ് ബ്യൂലംവിനി എന്നിവരുടെ പ്രവർത്തനങ്ങളിൽ നിന്നാണ്. അൽഗോരിതമിക് ഹാർമുകൾക്കായുള്ള ബഗ് ബൗണ്ടികൾ? അൽഗോരിതമിക് ദോഷങ്ങൾ കണ്ടെത്തൽ, വെളിപ്പെടുത്തൽ, പരിഹാരം എന്നിവയ്ക്കായുള്ള സൈബർ സെക്യൂരിറ്റി ദുർബലത വെളിപ്പെടുത്തലിൽ നിന്നുള്ള പാഠങ്ങൾ. വാഷിംഗ്ടൺ, ഡിസി: അൽഗോരിതമിക് ജസ്റ്റിസ് ലീഗ്. ജനുവരി 2022. https://ajl.org/bugs(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) ൽ ലഭ്യമാണ്. ബ്രണ്ടേജ്, മൈൽസ്, അവിൻ, ഷഹർ, വാങ്, ജാസ്മിൻ, ബെൽഫീൽഡ്, ഹെയ്ഡൻ, ഗ്രെച്ചൻ ക്രൂഗർ എന്നിവരുടെ സൃഷ്ടികളും കാണുക. "വിശ്വസനീയമായ AI വികസനത്തിലേക്ക്: സ്ഥിരീകരിക്കാവുന്ന അവകാശവാദങ്ങളെ പിന്തുണയ്ക്കുന്നതിനുള്ള സംവിധാനങ്ങൾ," ഏപ്രിൽ 2020. ലഭ്യമാണ് https://arxiv.org/abs/2004.07213(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു). HackerOne-ൽ അത്തരമൊരു മത്സരത്തിന്റെ മുൻകാല ഉദാഹരണം കാണുക. 2021b. "ട്വിറ്റർ അൽഗോരിതമിക് പക്ഷപാതം." HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു). അവസാനമായി, റൂബിനോവിറ്റ്സ്, ജെബിയിൽ നിന്നുള്ള ഈ വിഷയത്തിൽ ആദ്യകാല പ്രസിദ്ധീകരിച്ച കൃതി കാണുക, "AI ൽ പക്ഷപാതത്തെ ചെറുക്കുന്നതിനുള്ള ഒരു രീതിയായി ബയസ് ബൗണ്ടി പ്രോഗ്രാമുകൾ," ഓഗസ്റ്റ് 2018. https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(പുതിയ വിൻഡോയിൽ തുറക്കുന്നു) എന്ന വെബ്സൈറ്റിൽ ലഭ്യമാണ്.
രചയിതാവ്
അംഗീകാരങ്ങൾ
John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic, Christopher Hesse
