ما مدلی به نام ChatGPT را آموزش دادهایم که به صورت مکالمهای تعامل میکند. قالب گفتگو این امکان را برای ChatGPT فراهم میکند که به سوالات پیگیری پاسخ دهد، اشتباهاتش را بپذیرد، پیشفرضهای نادرست را به چالش بکشد و درخواستهای نامناسب را رد کند.
ChatGPT یک مدل همخانواده با InstructGPT است که آموزش دیده تا یک دستورالعمل را در یک درخواست دنبال کند و پاسخ دقیقی ارائه دهد.
ما از معرفی ChatGPT برای دریافت بازخورد کاربران و آشنایی با نقاط قوت و ضعف آن بسیار هیجان زده هستیم. در طول پیشنمایش تحقیق، استفاده از ChatGPT رایگان است. همین حالا در chatgpt.com(در یک پنجره جدید باز میشود) امتحانش کن.
نمونهها
resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:
close(resultworkerErr)resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?ما این مدل را با استفاده از یادگیری تقویتی از بازخورد انسانی (RLHF) و با استفاده از روشهای مشابه InstructGPT، اما با تفاوتهای جزئی در تنظیمات جمعآوری دادهها آموزش دادیم. ما یک مدل اولیه را با استفاده از تنظیم دقیق تحت نظارت آموزش دادیم: مربیان انسانی هوش مصنوعی مکالمهای را ارائه کردند که در آن هر دو طرف - کاربر و دستیار هوش مصنوعی - را بازی میکردند. ما به مربیان دسترسی به پیشنهادات نوشته شده توسط مدل را دادیم تا به آنها در نوشتن پاسخهایشان کمک کنیم. ما این مجموعه داده گفتگوی جدید را با مجموعه داده InstructGPT ترکیب کردیم و آن را به قالب گفتگو تبدیل کردیم.
برای ساخت یک مدل پاداش برای یادگیری تقویتی، نیاز داشتیم دادههای مقایسهای جمعآوری کنیم که شامل دو یا چند پاسخ مدل بود که بر اساس کیفیت رتبهبندی شده بودند. برای جمعآوری این دادهها، مکالمههایی که مربیان هوش مصنوعی با چتبات داشتند را جمعآوری کردیم. ما بهطور تصادفی یک پیام نوشتهشده توسط مدل را انتخاب کردیم، چندین تکمیل جایگزین را نمونهبرداری کردیم و از مربیان هوش مصنوعی خواستیم آنها را رتبهبندی کنند. با استفاده از این مدلهای پاداش، میتوانیم مدل را با استفاده از بهینهسازی سیاست نزدیک بهخوبی تنظیم کنیم. ما چندین بار این فرآیند را تکرار کردیم.
ChatGPT از مدلی در سری GPT‑3.5 تنظیم شده است که آموزش آن در اوایل سال 2022 به پایان رسید. میتوانید اطلاعات بیشتری درباره سری 3.5 را اینجا(در یک پنجره جدید باز میشود) پیدا کنید. ChatGPT و GPT‑3.5 بر روی زیرساخت ابرمحاسباتی Azure AI آموزش دیدهاند.
- ChatGPT گاهی اوقات پاسخ های قابل قبول اما نادرست یا بی معنی می نویسد. رفع این مشکل چالشبرانگیز است، زیرا: (1) در طول آموزش RL، در حال حاضر هیچ منبع حقیقتی وجود ندارد؛ (2) آموزش مدل برای احتیاط بیشتر باعث میشود سؤالاتی را که میتواند به درستی پاسخ دهد، رد کند؛ و (3) آموزش نظارتشده مدل را گمراه میکند زیرا پاسخ ایدهآل بستگی به آنچه مدل میداند دارد، نه آنچه(در یک پنجره جدید باز میشود) که انسان نشاندهنده میداند.
- ChatGPT نسبت به تغییرات جزئی در عبارات ورودی یا تلاشهای مکرر برای همان درخواست حساس است. برای مثال، با یک بیان از یک سوال، مدل ممکن است ادعا کند که پاسخ را نمیداند، اما با یک تغییر جزئی در بیان، میتواند به درستی پاسخ دهد.
- این مدل اغلب بیش از حد پرحرف است و از عبارات خاصی بیش از حد استفاده میکند، مانند تکرار اینکه یک مدل زبانی است که توسط OpenAI آموزش دیده است. این مسائل ناشی از تعصبات در دادههای آموزشی است (مربیان پاسخهای طولانیتری را ترجیح میدهند که جامعتر به نظر برسند) و مسائل شناختهشده بهینهسازی بیش از حد.1، 2
- در حالت ایدهآل، وقتی کاربر یک پرسش مبهم ارائه میدهد، مدل سوالات روشنگرانهای میپرسد. در عوض، مدلهای فعلی ما معمولاً حدس میزنند که کاربر چه چیزی میخواسته.
- در حالی که تلاش کردهایم مدل درخواستهای نامناسب را رد کند، گاهی اوقات به دستورالعملهای مضر پاسخ میدهد یا رفتار مغرضانهای نشان میدهد. ما از Moderation API برای هشدار دادن یا مسدود کردن انواع خاصی از محتوای ناامن استفاده میکنیم، اما انتظار داریم که در حال حاضر برخی نتایج منفی و مثبت کاذب داشته باشد. ما مشتاقیم بازخورد کاربران را جمعآوری کنیم تا به کار مداوممان برای بهبود این سیستم کمک کنیم.
انتشار تحقیقاتی امروز ChatGPT آخرین گام در استقرار تکراری سیستمهای هوش مصنوعی به طور فزاینده ایمن و مفید OpenAI است. بسیاری از درسهای حاصل از استقرار مدلهای قبلی مانند GPT‑3 و Codex به بهبود اقدامات ایمنی در این نسخه کمک کردهاند، از جمله کاهش قابل توجه خروجیهای مضر و نادرست که با استفاده از یادگیری تقویتی از بازخورد انسانی (RLHF) به دست آمده است.
ما میدانیم که بسیاری از محدودیتها همانطور که در بالا بحث شد باقی ماندهاند و قصد داریم بهطور منظم مدل را برای بهبود در این زمینهها بهروزرسانی کنیم. اما ما همچنین امیدواریم که با ارائه یک رابط کاربری قابل دسترس به ChatGPT، بازخورد ارزشمندی از کاربران در مورد مسائلی که هنوز از آنها آگاه نیستیم دریافت کنیم.
به کاربران توصیه میشود که از طریق رابط کاربری، درباره خروجیهای مشکلساز مدل و همچنین مثبت/منفیهای کاذب از فیلتر محتوای خارجی که بخشی از رابط کاربری است، بازخورد بدهند. ما بهویژه به بازخوردهایی درباره خروجیهای مضر که ممکن است در شرایط واقعی و غیر متخاصم رخ دهند، و همچنین بازخوردهایی که به ما در کشف و درک خطرات جدید و راهحلهای احتمالی کمک میکنند، علاقهمندیم. تو میتونی در مسابقه بازخورد ChatGPT(در یک پنجره جدید باز میشود)3 شرکت کنی و شانس برنده شدن تا سقف ۵۰۰ دلار اعتبار API رو داشته باشی.A میتوانید مطالب را از طریق فرم بازخوردی که در رابط کاربری ChatGPT پیوند داده شده است، ارسال کنید.
ما خوشحالیم که درسهای این نسخه را در استقرار سیستمهای توانمندتر به کار بگیریم، همانطور که استقرارهای قبلی این نسخه را شکل دادند.
پاورقی
- A
نیازی به خرید نیست، در مناطقی که ممنوع است فاقد اعتبار است. برای ورود باید حداقل 18 سال سن داشته باشید. برای جزئیات مسابقه، به قوانین رسمی(در یک پنجره جدید باز میشود) سر بزنید.
ارجاعات
- 1
استینون، نیسان و همکاران. "(در یک پنجره جدید باز میشود)یادگیری خلاصهسازی با بازخورد انسانی." پیشرفتها در سیستمهای پردازش اطلاعات عصبی 33 (2020): 3008-3021.
- 2
گائو، لئو، جان شولمن و جیکوب هیلتون. قوانین مقیاسگذاری برای بهینهسازی بیشازحد مدل پاداش(در یک پنجره جدید باز میشود). پیشچاپ arXiv:2210.10760 (2022).
- 3
الهام این مسابقه تا حدی از آثار کنوی، جاش، کامیل فرانسوا، ساشا کوستانزا-چاک، اینولووا دبورا راجی و جوی بولاموینی گرفته شده است. پاداش باگ برای آسیبهای الگوریتمی؟ درسهایی از افشای آسیبپذیریهای امنیت سایبری برای کشف، افشا و جبران آسیبهای الگوریتمی واشنگتن دی سی: لیگ عدالت الگوریتمی. ژانویه ۲۰۲۲. در https://ajl.org/bugs(در یک پنجره جدید باز میشود) در دسترس است. همچنین به آثار Brundage، Miles، Avin، Shahar، Wang، Jasmine، Belfield، Haydn و Gretchen Krueger و همکاران مراجعه کنید. «به سوی توسعه هوش مصنوعی قابل اعتماد: مکانیسمهایی برای حمایت از ادعاهای قابل تأیید»، آوریل 2020. در دسترس در https://arxiv.org/abs/2004.07213(در یک پنجره جدید باز میشود). یک نمونه قبلی از چنین مسابقهای را در HackerOne ببینید. ۲۰۲۱b. "سوگیری الگوریتمی توییتر". HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team(در یک پنجره جدید باز میشود). در نهایت، به کار اولیه منتشر شده در این موضوع از Rubinovitz, JB، «برنامههای جایزه تعصب به عنوان روشی برای مبارزه با سوگیری در هوش مصنوعی»، اوت ۲۰۱۸ مراجعه کن. در دسترس در https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting(در یک پنجره جدید باز میشود).
نویسنده
تقدیر و تشکر
John Schulman، Barret Zoph، Christina Kim، Jacob Hilton، Jacob Menick، Jiayi Weng، Juan Felipe Ceron Uribe، Liam Fedus، Luke Metz، Michael Pokorny، Rapha Gontijo Lopes، Shengjia Zhao، Arun Vijayvergiya، Eric Sigler، Adam Perelman، Chelsea Voss، Mike Heaton، Joel Parish، Dave Cummings، Rajeev Nayak، Valerie Balcom، David Schnurr، Tomer Kaftan، Chris Hallacy، Nicholas Turley، Noah Deutsch، Vik Goel، Jonathan Ward، Aris Konstantinidis، Wojciech Zaremba، Long Ouyang، Leonard Bogdonoff، Joshua Gross، David Medina، Sarah Yoo، Teddy Lee، Ryan Lowe، Dan Mossing، Joost Huizinga، Roger Jiang، Carroll Wainwright، Diogo Almeida، Steph Lin، Marvin Zhang، Kai Xiao، Katarina Slama، Steven Bills، Alex Gray، Jan Leike، Jakub Pachocki، Phil Tillet، Shantanu Jain، Greg Brockman، Nick Ryder، Alex Paino، Qiming Yuan، Clemens Winter، Ben Wang، Mo Bavarian، Igor Babuschkin، Szymon Sidor، Ingmar Kanitscheider، Mikhail Pavlov، Matthias Plappert، Nik Tezak، Heewoo Jun، William Zhuk، Vitchyr Pong، Lukasz Kaiser، Jerry Tworek، Andrew Carr، Lilian Weng، Sandhini Agarwal، Karl Cobbe، Vineet Kosaraju، Alethea Power، Stanislas Polu، Jesse Han، Raul Puri، Shawn Jain، Benjamin Chess، Christian Gibson، Oleg Boiko، Emy Parparita، Amin Tootoonchian، Kyle Kosic، Christopher Hesse
