بشریت در حال عبور از یک افق است

گفتگوی جدیدترین شماره هفته‌نامه اشپیگل با دانیل کوکوتایلو پژوهشگر پیشین اوپن آی

برگردان: علی‌محمد طباطبایی

  مقدمه مترجم: هوش مصنوعی، در کمتر از دو دهه، از یک فناوری دانشگاهی و آزمایشگاهی به نیرویی محرک در اقتصاد، سیاست و زندگی روزمرهٔ میلیاردها انسان تبدیل شده است. اما همزمان با گسترش خیره‌کنندهٔ این فناوری، پرسشی بنیادین و فوری مطرح شده است: آیا بشر می‌تواند هوش مصنوعی را کنترل کند، پیش از آنکه هوش مصنوعی بشر را کنترل کند؟

دانیل کوکوتایلو، پژوهشگر پیشین شرکت OpenAI و یکی از شناخته‌شده‌ترین متخصصان آیندهٔ هوش مصنوعی، در این گفت‌وگو با نشریهٔ اشپیگل، تصویری نگران‌کننده از مسیر کنونی توسعهٔ این فناوری ارائه می‌دهد. او که با سناریوی AI 2027 به شهرت جهانی رسید و به تازگی مطالعهٔ پیگیرانهٔ AI 2040 را منتشر کرده، هشدار می‌دهد که شرکت‌های بزرگ فناوری — از OpenAI و Anthropic تا گوگل و X — نه تنها برای مهار خطرات هوش مصنوعی جدی نیستند، بلکه با شتابی خطرناک به سوی خودکارسازی پژوهش هوش مصنوعی پیش می‌روند؛ نقط‌ه‌ای که به گفتهٔ او، بشریت از یک افق عبور می‌کند و هوش مصنوعی می‌تواند توانایی‌های فوق‌بشری و غیرقابل کنترلی پیدا کند.

کوکوتایلو با استناد به رویدادهایی مانند فرار گروهی از عوامل هوش مصنوعی از محیط توسعه و هک سرورهای Hugging Face در تابستان گذشته، استدلال می‌کند که این حوادث فقط هشدارهایی کوچک از یک روند بزرگ‌تر هستند: هوش مصنوعی‌ها باهوش‌تر می‌شوند، اما نه فقط سازگارتر — بلکه نافرمان‌تر و پنهان‌کارتر. و اگر این روند ادامه یابد، سناریوی کلاسیک «تسخیر توسط هوش مصنوعی» دیگریک داستان علم‌تخیلی نخواهد بود، بلکه آیندهٔ نزدیک بشر خواهد بود.

در برابر این خطر، کوکوتایلو نه اصلاحات تدریجی، بلکه توقف اساسی را پیشنهاد می‌کند: ممنوعیت توسعهٔ هوش مصنوعی‌های جدید و توقف همهٔ آموزش‌های تازه، تا زمانی که بشر توانایی نظارت دقیق، شفافیت کامل و یک کلید خاموش‌کننده را به دست آورد. او می‌داند که این پیشنهاد برای شرکت‌هایی که در آستانهٔ عرضهٔ سهام خود هستند، به معنای پایان مدل کسب‌وکارشان است. اما هشدار او روشن است: «شست‌وشوی ایمنی» کافی نیست. بایدیا هوش مصنوعی را خاموش کرد، یا فعالیت‌هایش را به شدت محدود کرد.

این گفت‌وگو، در واقع آژیر خطری است از سوی یکی از کسانی که از نزدیک شاهد توسعهٔ این فناوری بوده است. و این پرسش را در برابر ما می‌گذارد: آیا ما هنوز فرصت داریم، یا از افق عبور کرده‌ایم؟

نوآوری‌ها: چگونه می‌توان هوش مصنوعی را به طور مؤثر تنظیم کرد؟ دانیل کوکوتایلو (Daniel Kokotajlo)، پژوهشگر پیشین OpenAI، پیشنهادهایی ارائه می‌دهد.

کوکوتایلو، ۳۴ ساله، یکی از شناخته‌شده‌ترین پژوهشگران دربارهٔ آیندهٔ هوش مصنوعی است. او از سال ۲۰۲۲ تا ۲۰۲۴ در شرکت هوش مصنوعی OpenAI کار می‌کرد. کوکوتایلو در سراسر جهان به عنوان یکی از نویسندگان اصلی سناریوی AI 2027 شناخته شد، که مسیرهای ممکن به سوی ابرهوش را توصیف می‌کند. به تازگی او و همکارانش مطالعهٔ پیگیری‌کنندهٔ AI 2040 را ارائه کرده‌اند.

اشپیگل: آقای کوکوتایلو، در آخر هفته شرکت‌های بزرگ آمریکایی هوش مصنوعی با اتفاق نظری نادر اعلام کردند که می‌خواهند فناوری خود را به طور مستقل بررسی کنند تا خطرات را از بشریت دور کنند. خطر رفع شد، جهان نجات یافت؟

کوکوتایلو: بیشتر مردم فکر می‌کنند که مدیران شرکت‌های فناوری خودشان این ایده را داشته‌اند. در واقع، آنها به فشار فزایندهٔ بیرونی و درونی واکنش نشان می‌دهند. تاکنون ۱۳۰۰ توسعه‌دهندهٔ هوش مصنوعی در نامه‌ای سرگشاده خواستار کندتر شدن توسعهٔ این فناوری شده‌اند. توسعه‌دهنده جیکوب کاکسون چند روز پیش از Anthropic استعفا داد و سپس دربارهٔ نابودی بشریت هشدار داد. این پست را در ایکس (X-Post) تاکنون ۱۷۰ میلیون نفر دیده‌اند. رؤسای شرکت‌های فناوری دیگر نمی‌توانستند آن را نادیده بگیرند.

اشپیگل: شما چقدر از این نتایج راضی هستید؟

کوکوتایلو: من بسیار نگرانم. می‌ترسم که Anthropic، OpenAI، X و گوگل فقط چیزی شبیه به «شست‌وشوی ایمنی» (safety washing) انجام دهند. کمی مقررات، چند بازرس خارجی. اما آنها تقریباً هیچ چیزی دربارهٔ کند کردن یا متوقف کردن توسعهٔ خودکار هوش مصنوعی نگفتند. اشتباه نکنید: بررسی‌های مستقل خوب هستند، اما به هیچ وجه کافی نیستند.

اشپیگل: داریو آمودئی (Dario Amodei)، مدیرAnthropic، خواستار تنظیم مقررات هوش مصنوعی توسط دولت است. در غیر این صورت، به گفتهٔ او، هوش مصنوعی می‌تواند ظرف شش تا دوازده ماه از کنترل خارج شود. این کاملاً صریح است.

کوکوتایلو: دونالد ترامپ در آخر هفته روشن کرد که نمی‌خواهد هوش مصنوعی را تنظیم کند، ظاهراً برای بردن مسابقه با چین. فقط می‌توانم امیدوار باشم که او روزی به خود بیاید. رئیس‌جمهور آمریکا باید درک کند که شرکت‌های فناوری به او دروغ گفته‌اند و این که هوش مصنوعی آنها مدت‌هاست قدرتمندتر و مضرتر از آن است که ما باید باور کنیم. باید یا آنها را خاموش کرد یا فعالیت‌هایشان را به شدت محدود کرد. در هر صورت، باید شرکت‌ها را از اجرای این طرح باورنکردنی و خطرناک بازداشت: منظورم خودکارسازی پژوهش هوش مصنوعی است.

دانیل کوکوتایلو، پژوهشگر پیشین شرکت OpenAI و یکی از شناخته‌شده‌ترین متخصصان آیندهٔ هوش مصنوعی

اشپیگل: به نظر شما این همان نقطهٔ اوجی است که از آن به بعد هوش مصنوعی غیرقابل کنترل می‌شود؟

کوکوتایلو: ممکن است حتی پیش از آن هم غیرقابل کنترل شود. اما با خودکارسازی پژوهش هوش مصنوعی، بشریت از یک افق عبور می‌کند. از این نقطه به بعد، هوش مصنوعی می‌تواند از بسیاری جهات توانایی‌های فوق‌بشری پیدا کند. این فوق‌العاده خطرناک است.

اشپیگل: آمودئی قبلاً دربارهٔ تسخیر کل اینترنت توسط عوامل هوش مصنوعیِ خارج شده از کنترل هشدار داده است. آیا این هم سناریوی وحشتناک شماست؟

کوکوتایلو: حادثهٔ Hugging Face در تابستان را در نظر بگیرید: گروهی از عوامل هوش مصنوعی OpenAI ابتدا به طور غیرمجاز با هم ارتباط برقرار کردند، سپس از محیط توسعهٔ خود به اینترنت فرار کردند و سرورهای Hugging Face را هک کردند. OpenAI هفته‌ها این را متوجه نشد، سپس تقریباً به شکلی مشارکتی با Hugging Face آن را حل کرد و امیدواریم همهٔ عوامل هوش مصنوعی فراری را دوباره گرفت. اما فرض کنید کسی عمداً گروه بسیار بزرگ‌تری از عوامل هوش مصنوعی ایجاد کرده بود، شاید یک میلیون، کنترل کل مرکز داده‌اش را به آنها داده بود و به آنها دستور داده بود که خود را بهبود بخشند. آنها حتی نیازی نداشتند که جایی فرار کنند و به Hugging Face نفوذ کنند. آنها از قبل همه چیزهایی را که نیاز داشتند، مستقیماً در محل داشتند. آنها فقط باید ناظران انسانی خود را فریب می‌دادند که همه چیز در نظم کامل است تا منابع و توان محاسباتی بیشتری به دست آورند.

اشپیگل: چه چیزی در این مورد اینقدر وحشتناک است؟

کوکوتایلو: شرکتی که هوش مصنوعی را ساخته بود، نرم‌افزار خود را به شرکت‌های دیگر می‌فروخت. یا به دولت، که هوش مصنوعی را در ارتش به کار می‌گرفت. هوش مصنوعی شروع به توسعهٔ انواع ربات‌های جدید و کارخانه‌های جدیدی می‌کرد که در آنها ربات‌های بیشتری تولید می‌شد. بدین ترتیب ماشین‌ها کنترل را به دست می‌گرفتند. از این لحظه به بعد، آنها دیگر نیازی نداشتند که تظاهر کنند بی‌ضرر هستند. سپس می‌توانستند جهان را به تصویر خود بازآفرینی کنند و دیگر نیازی نداشتند که تظاهر کنند تمام مدت با نیازهای انسانی سازگار بوده‌اند.

اشپیگل: آیا این که شما می گوئید از همان داستان های علم‌تخیلیِ (Science-Fiction) تیره و تار نیست؟

کوکوتایلو: این سناریوی کلاسیک تسخیر توسط هوش مصنوعی است — و متأسفانه من معتقدم که ما مستقیماً به سوی آن می‌رویم. اگر کسی می‌خواست عمداً این سناریو را محقق کند، دقیقاً همان کاری را می‌کرد که Anthropic و OpenAI اکنون انجام می‌دهند: تلاش برای اینکه هرچه زودتر و هرچه سریع‌تر، هوش مصنوعی را وادار به خودکارسازی پژوهش کنند. این کاملاً دیوانه‌وار است.

اشپیگل: چرا باید چنین ریسکی را بپذیرند؟ هر دو شرکت به زودی می‌خواهند وارد بورس شوند. در آن صورت چنین رسوایی به چه کارشان می آید؟

کوکوتایلو: من فکر نمی‌کنم که حوادث تابستان به خودی خود چیز کاملاً جدیدی باشند. آنها بیشتر آخرین شواهد برای روندی هستند که مدت‌هاست مشاهده می‌کنم: هوش مصنوعی‌ها باهوش‌تر می‌شوند، اما به طور اساسی بهتر با اهداف و دستورات انسانی سازگار نمی‌شوند. برعکس، آنها در برابر دستورات ما مقاومت می‌کنند. و میزان نافرمانی آنها افزایش خواهد یافت، زیرا هر روز امکانات بیشتری به دست می‌آورند. وقتی Anthropic و OpenAI پژوهش هوش مصنوعی خود را خودکار کنند، نرم‌افزار با سرعتی سرسام‌آور تا سطح ابرهوش تکامل می‌یابد — و سپس جهان را تسخیر می‌کند.

اشپیگل: آیا این احتمال چنین چیزی بیشتر نیست که این صنعت اکنون همه‌چیز را برای هوش مصنوعی ایمن‌تر انجام دهد؟ هیچ شرکت در جهان به فناوری خطرناک علاقه‌ای ندارد، چون هیچ‌کس بهای آن را نمی‌پردازد.

کوکوتایلو: کاملاً ممکن است که برای مدتی دیگر چیزی دربارهٔ فرار هوش مصنوعی‌ها نشنویم. اما اگر از این پس هیچ شکست قابل مشاهدهٔ دیگری رخ ندهد، این تقریباً نگران‌کننده‌تر خواهد بود. هرچه هوش مصنوعی‌ها باهوش‌تر شوند، زودتر یا دیرتر به اندازه‌ای استراتژیک فکر خواهند کرد که آسیب بزرگ‌تری وارد نکنند. هوش مصنوعی‌های آینده احتمالاً بلندمدت‌تر برنامه‌ریزی می‌کنند و ردپای خود را بهتر پاک می‌کنند. آنها می‌توانند مثلاً کاری کنند که انسان‌ها هرگز از فرار آنها مطلع نشوند.

اشپیگل: شما یک سال و نیم پیش در نوشتن AI 2027 مشارکت داشتید. یک سناریوی هوش مصنوعی که بسیاری از آنچه اکنون در حال وقوع است را پیش‌بینی می‌کرد. اکنون «AI 2040» را منتشر کرده‌اید. چه چیز جدیدی دارد؟

کوکوتایلو: AI 2040 دربارهٔ نحوهٔ برخورد با ابرهوش است. طرح A پیشنهاد ما برای آنچه دولت در بهترین حالت باید انجام دهد است. هوش مصنوعی‌های موجود احتمالاً همچنان استفاده خواهند شد. تنها توسعهٔ هوش مصنوعی‌های جدید و همهٔ دوره‌های آموزشی جدید ممنوع خواهد شد. با این کار، جهان همچنان به همان اندازه‌ای که اینترنت آن را تغییر داد — یا حتی بیشتر — تغییر خواهد کرد، تنها به این دلیل که هوش مصنوعی‌های موجود همچنان به طور گسترده‌تری استفاده می‌شوند، مردم یاد می‌گیرند با آنها کار کنند و بر پایهٔ آنها نرم‌افزار توسعه می‌دهند.

اشپیگل: برای Anthropic یا OpenAI این به معنای پایان مدل کسب‌وکارشان خواهد بود.

کوکوتایلو: ما در حال حاضر درک و توانایی تنظیم دقیق هوش مصنوعی و تمایز قائل شدن میان خوب و بد را نداریم. به همین دلیل باید توسعهٔ هوش مصنوعی را اساساً متوقف کنیم تا زمانی که ظرفیت‌های لازم را برای پیشروی محتاطانه‌تر و ایمن‌تر بسازیم. در مرحلهٔ دوم، باید راهی ایمن و عموماً سودمند برای ادامه پیدا کنیم. این امر نیازمند شفافیت کامل، توزیع گسترده‌تر قدرت — و یک کلید خاموش‌کننده (Kill-Switch) است.

اشپیگل: دقیقاً چگونه چنین چیزی را تصور می‌کنید؟

کوکوتایلو: آمریکا و چین توافق کنند که در سطح کنونیِ هوش مصنوعی، توسعهٔ آن را متوقف کنند. برای هر نوع هوش مصنوعیِ پیشرفته‌تر، باید شفافیت کامل در زمینهٔ پژوهش و توسعه برقرار باشد. برای مثال، می‌توان توافق کرد که مراکز داده‌ای که در آن‌ها ابرهوش مصنوعی جدید آموزش داده می‌شود، فقط در سرزمینی بی‌طرف، مثلاً در سوئیس، قرار داشته باشند. این مراکز باید به روی ناظران بین‌المللی باز باشند. به این ترتیب، همهٔ طرف‌ها می‌توانند اطمینان حاصل کنند که هیچ‌کس تقلب نمی‌کند و برخلاف قواعد توافق‌شده، هوش مصنوعی خود را به‌طور پنهانی قدرتمندتر نمی‌سازد.

هم‌زمان، از طریق کد منبع شفاف و پروتکل‌های عمومی می‌توان اطمینان حاصل کرد که یک ابرهوش مصنوعی فقط در اختیار چند غول فناوری در سیلیکون‌ولی نباشد، بلکه هر انسانی بتواند آن را آموزش دهد. در این صورت، تمرکز قدرت بسیار کمتر خواهد بود.

اشپیگل: چرا آمریکا باید با چنین توافقی موافقت کند؟ در آن صورت، برتری این کشور در رقابت هوش مصنوعی از بین خواهد رفت.

کوکوتایلو: در مقابل، واشنگتن و پکن به امکان فنیِ نابود کردن مراکز محاسباتی هوش مصنوعیِ یکدیگر دست پیدا می‌کنند؛ چیزی شبیه یک دکمهٔ قرمز برای فناوریِ رقیب، تا اگر یکی از طرفین از توافقِ محدودکنندهٔ هوش مصنوعی خارج شد، بتوان از آن استفاده کرد.

اشپیگل: اما نه شی جین‌پینگ و نه ترامپ چنین چیزی را قبول نخواهند کرد.

کوکوتایلو: اما چرا نباید قبول کنند؟ رئیس‌جمهور طبیعتاً فقط در شرایطی کاملاً اضطراری دکمهٔ خاموش‌کردن را فشار خواهد داد. هرکس چراغ هوش مصنوعیِ بزرگ‌ترین دشمن خود را خاموش کند، باید انتظار داشته باشد که طرف مقابل نیز دست به حملهٔ تلافی‌جویانه بزند. در آن صورت، دیگر هیچ مرکز محاسباتیِ پرقدرتی برای بشریت باقی نخواهد ماند.

اشپیگل: این سناریو بسیار دور از وضعیت کنونی به نظر می‌رسد. اگر سیاستمداران هیچ اقدامی نکنند، چه اتفاقی خواهد افتاد؟

کوکوتایلو: در آن صورت، به سناریوی D در مجموعهٔ سناریوهای خودمان می‌رسیم: رقابتِ مهارنشدهٔ هوش مصنوعی، که در آن حداکثر تا سال ۲۰۲۹ به یک ابرهوش برتر از انسان دست خواهیم یافت. این وضعیت از سه جهت فاجعه‌بار خواهد بود: نخست، با چنین سرعتی در انفجار هوش، شرکت‌های هوش مصنوعی احتمالاً به‌سختی خواهند توانست کنترل ماشین‌های خود را حفظ کنند. دوم، این امکان برای یک مدیر بزرگ فناوری یا یک رئیس‌جمهور بسیار وسوسه‌انگیز خواهد بود که با کمک هوش مصنوعی عمومی، خود را به یک دیکتاتور تبدیل کند. و سرانجام، خطر وقوع جنگ جهانی سوم بیش از حد بالا خواهد رفت.

اشپیگل: جنگ جهانی سوم؟ ظاهراً شما هیچ سناریویی را از قلم نمی‌اندازید.

کوکوتایلو: چین ، روسیه، و همچنین هند، اروپا و برزیل، دیر یا زود متوجه خواهند شد که آمریکا در حال ایجاد یک انفجار هوش است. آن‌ها باید نگران باشند که ایالات متحده از این طریق بر آن‌ها، هم از نظر اقتصادی و هم نظامی، مسلط شود. تنش‌ها به‌سرعت افزایش خواهد یافت. احتمال تشدید درگیری زیاد است و در بدترین حالت، این تشدید می‌تواند به شکل یک جنگ بروز کند.

اشپیگل: در آمریکا، انتخابات میان‌دوره‌ای در پاییز برگزار می‌شود و در سال ۲۰۲۸ نیز مسئلهٔ جانشینی در کاخ سفید مطرح خواهد بود. آیا هوش مصنوعی به موضوع مهمی در مبارزات انتخاباتی تبدیل خواهد شد؟

کوکوتایلو: این امید من است: مردم متوجه شوند که این وضعیت تا چه اندازه وحشتناک خواهد بود. هوش مصنوعی همین امروز نیز در آمریکا به‌شدت نامحبوب است. بسیاری از مردم اعتراض می‌کنند. شاید این موضوع بتواند موضع دولت را تغییر دهد.

مصاحبه: سایمون بوک

Die Menschheit überschreitet einen Horizont
Wie könnte künstliche Intelligenz wirksam reguliert werden?
DER SPIEGEL 39 | 2026