Яан Таллінн, співзасновник та співрозробник Skype і Kazaa, обрав метою своєї філантропічної діяльності попередження та мінімізацію екзистенційних ризиків для людства. Яан є співзасновником Центру з вивчення екзистенційних ризиків в Кембриджі та Інституту майбутнього життя, а також фінансово підтримує інші організації, які займаються дослідженнями в даній області.

Яан є активним бізнес-ангелом та партнером в інвестиційній компанії Ambient Sound Investments, брав участь в роботі експертної групи високого рівня з питань штучного інтелекту в Європейській комісії і був директор-інвестором у AI-компанії DeepMind, яка стала відомою завдяки розробці комп'ютерної системи AlphaZero, що показала унікальні результати у грі в шахи та го.

Олена Бойцун, імпакт-інвестор і засновник комунікаційної групи «Технології та суспільство», провела з Яаном Таллінном розмову про сучасний стан питань розробки штучного інтелекту і систем глобального управління.

— Яане, ви вже більше десяти років працюєте над питаннями, пов'язаними з екзистенційними ризиками, і обрали цю тему ключовою для своєї філантропічної діяльності. Ви говорите, що ваша головна мета — знизити для людства екзистенційні ризики, що спричиняються розвитком технологій. Який сенс ви вкладаєте в це поняття?

— Існує широке та складне визначення екзистенційного ризику як катастрофічного зменшення максимального потенціалу людства. Наприклад, можна уявити, що коли-небудь у майбутньому людство буде жити на різних планетах у космосі — уявіть, що трильйони людей у всьому всесвіті живуть щасливо та розвивають цікаві проекти. І потім одного разу, в якийсь рік, скажімо — 2040-й, раптово відбувається щось таке, через що така перспектива стає неможливою (припустимо, певна катастрофа). Згідно складного визначення, екзистенційний ризик — це ризик, подібний такій катастрофі. Більш просте визначення — це просто ризик того, що всі помруть.

— Такі ризики, безумовно, стосуються всіх.

— Екзистенційні ризики поділяються на дві категорії. Одна з них — це природні ризики. Наприклад, ми знаємо, що кожні 10 мільйонів років або близько того з'являється астероїд досить великого розміру та завдає удару по планеті. Динозаври відчули, як це, на власному гіркому досвіді. Дуже ймовірно, що якщо ми почекаємо ще близько 10 мільйонів, 20 мільйонів, 30 мільйонів років, то знову з'явиться астероїд, досить великий для того, щоб знищити й людство також. Крім того, час від часу виникає ризик пробудження супервулканів. Може статися досить сильне виверження, яке радикально змінить навколишнє середовище таким чином, що фактично може призвести до вимирання людства як виду. Це типові природні ризики. Друга категорія — технологічні ризики.

Технології — це те, що в певному сенсі формує майбутнє. У новій формі майбутнього можуть бути елементи, які дійсно є дуже шкідливими для людського виживання. Ще один спосіб поглянути на це питання — усвідомити, що розмір планети не збільшується. У той же час ефективний радіус дії кожної нової технології в середньому зростає. Вбити всіх людей кам'яними сокирами набагато складніше, ніж знищити за допомогою ядерної зброї або чогось подібного, що ще навіть не винайдено, але вже зароджується, наприклад, в рамках синтетичної біології.

Таким чином, звичайно, є великі ризики того, що, продовжуючи безперервно розвивати технології, ми входимо у стан, коли світ стає все більш крихким, коли з'являється все більше і більше речей, які все менша кількість людей може зробити випадково або навмисно, щоб повністю зруйнувати майбутнє людства як виду.

— До природних ризиків ви відносите такі, яким людство не може запобігти?

— Насправді ми можемо зробити і робимо багато, щоб їх мінімізувати. Наприклад, вже давно проводиться моніторинг ситуації з астероїдами. «Позитивна» частина в розумінні природних ризиків полягає в тому, що ми вже приблизно знаємо, наскільки вони руйнівні, й очікуємо, що ситуація критично не погіршиться в наступному столітті. Водночас технологічні ризики будуть посилюватися з року в рік.

— Тобто природні ризики не викликаються діяльністю людей. Принаймі, наскільки ми можемо це зрозуміти. Тоді як технологічний прогрес точно розвивається завдяки діям людей.

— Саме так, ми можемо зменшити природні ризики, але технологічні ризики ми одночасно можемо як зменшити, так і попередити. Схоже, що вони можуть мати дуже великий радіус дії.

— Коли ви говорите про ШІ в цьому контексті, ви маєте на увазі загальний штучний інтелект (AGI, Artificial General Intelligence)?

— Загальний штучний інтелект — це саме той термін, який вказує на суть проблеми: люди зараз контролюють ШІ тому, що він на даний момент є обмеженим і сконцентрованим. Так, наприклад, якщо ви граєте в шахи проти комп'ютерної програми, вас, насправді, не турбує, що ШІ може вбити вас під час партії, хоча в цілому йому було б корисно усунути вас фізично, щоб прибрати опонента і здобути перемогу. Залежно від запрограмованої функції значущості, така дія може бути оцінена ШІ позитивно, але він не знає про таку можливість. Це не загальний штучний інтелект в тому сенсі, що він не може відірватися від шахівниці та подивитися на весь світ.

Крім того, ШІ, який ще не буде загальним, також може викликати великі проблеми. Мій друг і колега Ендрю Крітч з Берклі разом з Девідом Крюгером з Монреаля провели докладне дослідження під назвою Arches — AI Research Considerations for Human Existential Safety, в якому вони розглядають важливі питання для екзистенційної безпеки людини.

У своїй роботі вони визначають термін Prepotent AI — «могутній ШІ», який може бути загальним, а може і не бути, але при цьому він повинен відповідати двом наступним критеріям. Перший критерій полягає у тому, що як тільки така ШІ-технологія буде застосована, ступінь її прямого впливу на навколишнє середовище буде як мінімум подібним до впливу від людей. Суть другого критерію в тому, що це має бути ШІ, який ми, якщо вже ініціювали, не зможемо вимкнути. При цьому не важливо, з яких причин ми не зможемо цього зробити. Можливо, тому, що складно вимкнути загальний ШІ, який знає про існування механізму його вимкнення. Однак причина також може бути й більш приземленою: наприклад, дуже складно відключити весь інтернет, або це буде якась системна, економічна причина, через яку люди не схочуть відключати цей могутній ШІ. За логікою з цього випливає, що, коли у нас з'явиться могутній ШІ, ми здійснимо великий вплив на навколишнє середовище, що може в підсумку вбити нас самих.

— Цікавий приклад про гру в шахи з комп'ютерною програмою. Я багато років присвятила грі в шахи і знаю, що в професійному шаховому середовищі було багато дискусій про те, що комп'ютери «вбивають» гру, особливо з появою програми AlphaZero. Але шахісти не підозрювали, що ризики могли б бути значно більшими.

— Дійсно, цікава річ в AlphaZero — це закінчення Zero, нуль. Це означає, що AlphaZero не використала для навчання жодної інформації, яку б створила людська цивілізація. Якщо замислитися, така програма — це інопланетянин. Коли ви граєте в шахи, го або сьогі проти AlphaZero, ви граєте проти сутності, яка ніколи не взаємодіяла з людською цивілізацією, і це приголомшливо.

— Ви згадали дуже цікавий термін — могутній ШІ. Наразі під ШІ здебільшого розуміють далеко не загальний штучний інтелект. Сучасні системи — це алгоритми прийняття обмежених рішень на основі бази даних, машинне навчання. У них немає універсальності.

— Мені подобається один важливий евристичний прийом, який я пропоную використовувати людям. Щоразу, коли ви бачите термін ШІ, просто подумки замініть його на «делегування машинам прийняття людських рішень», і тоді як потенційні можливості, так і ризики відразу ж стануть набагато зрозумілішими.

— Вам подобається загалом застосування терміна "штучний інтелект"?

— Це зручне скорочення. У спільноті раціоналістів (Rationality Community), до якої я входжу, є така вправа для розуму — «табу на слово». Дуже часто люди мають трохи різні визначення для слів, і вам здається, що ви говорите одне, а співрозмовник чує зовсім інше.

У ситуаціях, якщо цей факт може порушити комунікацію, корисно застосовувати підхід, коли ви навмисно заявляєте — ми більше не використовуємо цей термін. Щоразу, коли у вас виникає спокуса вимовити конкретне слово, необхідно зупинитися і пошукати якесь інше пояснення. В контексті ШІ досить часто буває корисно просто не використовувати термін ШІ, тому що люди розуміють під цим різні речі.

— Чому ви концентруєте свою увагу на ризиках, а не на ідеальних можливостях ШІ? Наскільки я розумію, є вже поняття Beneficial AI (корисний ШІ). Чому не просувати ідею про потенційну користь ШІ, який міг би врятувати планету?

— Я є технічним фахівцем, і я дійсно думаю, що ШІ — це висока технологія з величезним впливом та сферою застосування. Я зосереджений на ШІ ще й тому, що кожного разу, коли ми мінімізуємо ризики, що пов'язані з ним, ці коригування, швидше за все, позитивно позначаться й на інших проблемах. Наприклад, якщо ви виправляєте ризик від ШІ, то автоматично також нейтралізуєте, скажімо, біологічний ризик або природні екзистенційні ризики, тому що ШІ зможе нам допомогти з ними розібратися. Але якщо ми прибираємо тільки астероїдний або біологічний ризик, у нас все ще залишається небезпека від застосування ШІ, з якою потрібно боротися.

Причина, з якої я дійсно зосереджений на негативних аспектах, полягає у тому, що, якщо ми не звернемо увагу на ризики, у нас не буде позитивних результатів від застосування технології. Проблема у тому, що позитивний результат кондиціональний негативному. Й при негативному сценарії ви не отримаєте очікуваного позитивного ефекту, не буде достатньо значущої зміни в позитивності результату.

Якщо ви концентруєтеся на позитивному результаті, навіть якщо він буде в десятки разів вищим, негативний результат обмежить більшість сценаріїв розвитку подій, які могли б виникнути при сприятливих обставинах.

Інший підхід до цього питання — важливо фіксувати увагу як на негативних, так і на позитивних сторонах, але має значення також, в якому порядку це робити. Якщо ви зосереджуєтесь тільки на перевагах і збираєтеся подумати про недоліки лише через деякий час, можливо, ви вже не встигнете цього зробити, тому що негативний результат може вбити вас раніше. Водночас, якщо ви спочатку усунете негативний вплив, то у вас буде весь всесвіт для того, щоб зосередитися на перевагах. Тому я і думаю, що важливо концентруватися на ризиках.

— Цільовою групою, з якою ви працюєте, є спільнота розробників, вузькоспеціалізовані експерти, які усвідомлюють великі ризики своєї роботи. Але, наскільки я розумію, ви також намагаєтеся залучити громадськість до обговорення для розуміння цих ризиків.

— Певною мірою.

— Ми ж теж повинні бути залучені якимось чином в обговорення цих ризиків. Ми, люди.

— Я б сказав так: у мене немає дуже продуманого порядку денного, коли справа доходить до інформування громадськості. Я бачу, що інтерес до цієї теми великий, але не займаюся цим питанням проактивно. Я погоджуюся давати інтерв'ю, коли до мене звертаються, але думаю, що набагато важливіше переконатися, що саме люди, які безпосередньо розробляють ці технології, усвідомлюють ризики. Водночас у таких фахівців є друзі, тож навіть якщо я не можу вплинути на людину безпосередньо, все одно корисно, щоб друзі знали про всі ризики, з якими може стикатися людина у роботі.

Тому в певному сенсі до обговорення і спонукання легше було б залучити їхніх друзів, ніж їх самих. У сфері ШІ є безліч прикладів людей, які, схоже на те, відмовляються визнавати дуже і дуже прості істини.

— Здається, що спільнота розробників, про яку ви говорите, дуже закрита та розвинена. Коли я вивчала цю тему для нашої розмови, я була вражена, наскільки це співтовариство розвинене і як сильно закрите від зовнішнього світу. Це нагадало мені шахову спільноту, яка теж є самодостатньою і замкнутою. Але шахісти не розробляють технологію, яка могла би мати настільки важливі наслідки для широкої публіки, як ШІ.

— Так, мій друг Макс Тегмарк іноді говорить, що, цілком ймовірно, майбутнє людства на всю решту історії всесвіту може бути визначено якимось хлопцем, який п'є Red Bull о третій годині ночі на серверній фермі.

Я не стверджую, що все станеться саме так, але певний ризик цього є. Дуже, дуже мало людей просто зараз вирішують все, що станеться з людством, і було б чудово уникнути негативного сценарію, але поки незрозуміло, як це зробити.

— Це дуже цікава тема. Як ви вважаєте, людство повинно звернути більше уваги на дослідження, що відбуваються?

— Безумовно, було б корисно подумати про так звані механізми управління.

В Оксфорді працює група GovAI (The Centre for the Governance of AI, Центр з вивчення питань управління ШІ), яку я підтримую у всіх сенсах. Ця група дослідників вивчає методи, які регуляторні органи або громадськість в цілому можуть використовувати для того, щоб формувати технології у сфері ШІ.

Досить імовірно, що той хлопець з Red Bull о 3 годині ночі, насправді, не дуже хоче вирішувати питання майбутнього всього людства. І в інтересах компаній, що займаються ШІ, розуміти спектр повноважень та відповідальності. Я очікую, що якби з'явилися розумні ідеї з приводу управління та законодавчих документів, то й такі компанії були б мотивовані співпрацювати і прийняти їх. Нам точно потрібні ідеї, як краще управляти та регулювати.

— Коли ви говорите про управління, ви маєте на увазі адміністрування системи розвитку ШІ або питання, як за допомогою ШІ можливо вибудувати системи управління? Наприклад, використовувати ШІ як механізм для глобальної координації.

— Наша спільна мета, по суті, така: визначити, як ми можемо враховувати думку більших стейкхолдерів (це зараз популярне слово). Майже 8 мільярдів осіб сьогодні мають право на майбутнє, і, схоже, це несправедливо, що майже ніхто з них не буде мати право голосу в процесах, які зараз відбуваються. Тому, на мій погляд, питання управління ШІ на філософському рівні дійсно намагаються вирішити проблему — як дати людям право голосу у формуванні їх майбутнього, а не залишати це право програмісту на серверній фермі. На мою думку, в цьому є логіка і це — стратегічне філософське питання.

Тактичне і прагматичне питання полягає в тому, які механізми ми можемо використовувати для того, щоб реалізувати право голосу. Деякі люди кажуть, що нам необхідно демократизувати розвиток ШІ. Звичайно, але якщо шукати найбільш ефективний спосіб вирішення такої проблеми, то навчити 8 мільярдів осіб розробляти ШІ, швидше за все, не вийде.

Так що набагато краще, щоб люди, які зацікавлені та добре підготовлені до розробки ШІ, могли спиратися при цьому на якісь механізми, за допомогою яких або ШІ зможе забезпечувати правильне регулювання самостійно, або будуть введені певні нормативні акти або інші механізми системи координації для того, щоб розробники також могли враховувати інтереси людей, які не беруть участі у створенні ШІ.

— Виникає питання, чому ця група може вважати, що здатна розробити найкращу систему для людства? Мені все ж таки здається, шанси, що випадковий програміст за одну ніч створить загальний штучний інтелект, не настільки великі. Можливо, найімовірніше, що якийсь мільярдер вирішить проінвестувати проект і буде підштовхувати всю команду програмістів до розробки такого продукту, результати впровадження якого він в майбутньому, на жаль, не зможе контролювати.

— Ви кажете про те ж, про що і я, тільки на іншому рівні. З кого складатиметься така команда? Вона буде складатися з програмістів, які працюють вночі на серверних фермах. Ви можете показати це як ініціативу мільярдера, але, врешті-решт, він не буде тим, хто безпосередньо запустить процес.

Було б дуже цінно, якби існували механізми для делегування важливих рішень, щоб інженери, що працюють вже зараз, знали про процедури, наприклад, для інформування про порушення та незаконну діяльність.

Якщо божевільний мільярдер або, що більш імовірно, просто якась корпорація, на чолі якої знаходяться люди, головним завданням яких є максимізація прибутку, будуть наполягати на продовженні розробки потенційно небезпечної технології, то інженери могли б сказати: «Хіба ми не повинні дотримуватися глобальних правил регулювання ШІ?» Для таких випадків мати регулюючі механізми було б також дуже корисно.

Я можу спостерігати і порівнювати США та Китай: в одній з країн, хоча б номінально, — комуністичний режим, а в іншій — капіталізм вільного ринку. І коли я замислююся про те, як усунути потенційні ризики, що пов'язані з передовими технологіями, я бачу, що Китай зараз знаходиться в набагато кращому становищі для регулювання, тому що там і в цілому більш жорстка система регулювання. Якщо виникне дійсно небезпечна ситуація, то вони зможуть зупинити її розвиток, в той час як в США майже всі можуть погодитися з тим, що ситуація небезпечна, але їм можуть знадобитися десятиліття, щоб зупинити процес. Неефективне усунення впливу таких зовнішніх факторів — це додаткове свідчення слабкості капіталізму.

— Зараз серед економістів проходить багато дебатів з приводу переваг різних систем. Виділяють, зокрема, китайську систему, яку називають державним капіталізмом (state capitalism), на противагу традиційному ринковому капіталізму. Але якщо капіталізм має свої недоліки, а планова радянська економіка, як ми точно знаємо, не працює, то яка ж система, на вашу думку, була б найкращою для окремої країни або навіть для глобального рівня координування?

— У мене поки немає будь-якої сформованої думки з цього приводу. Як технічний фахівець, я вважаю блокчейн дуже цікавою технологією. У рамках питання, за останні років десять блокчейн приніс найважливіше — можливість глобально досягти згоди з приводу будь-яких даних без того, щоб довіряти будь-кому зберігання цих даних. Я організував кілька робочих сесій між фахівцями з блокчейну і з безпеки ШІ, щоб подумати, чи є які-небудь позитивні практичні приклади, які можна використовувати для допомоги в координуванні найбільш ефективним способом і для того, щоб людям було легше довіряти системі.

В цілому, я вважаю, що в глобальному управлінні такі поняття, як співпраця та прозорість процесів, важливі, і блокчейн хоча б на якомусь рівні, з якогось боку привносить ці дві речі. Але при цьому я справді не дотримуюся якоїсь певної думки з приводу конкретної системи, я просто вважаю, що для нас важливо підвищити нашу здатність співпрацювати.

— Ви вважаєте, що поки ще не викристалізувалася гарна ідея для глобального механізму управління?

— На глобальному рівні досі ще ніколи не було світової координації. Між державами відбувається «трагедія громад», «трагедія ресурсів загального користування» (tragedy of commons — під цим терміном розуміють явища, які пов'язані з протиріччям між інтересами індивідів щодо блага загального користування).

Розглянемо, наприклад, гонку озброєнь. Причина, з якої ви берете участь в гонці озброєнь, полягає у тому, що в ній беруть участь інші люди, так що це замкнене коло. Ось чому так важливо мати міжнародні договори, щоб обмежувати моменти, які можуть підштовхнути до конкуруючих інтересів. Це класична «дилема в'язня», або «трагедія громад».

В інтересах усіх людей, щоб всі залишалися бездіяльними, наприклад, щоб ніхто не вкладався у все більш потужну зброю, але при цьому членам окремої групи ще більш вигідно бути єдиними, хто робить це. Це означає, що ви у ситуації без Рівноваги Неша, або з поганою Рівновагою Неша (поняття з теорії ігор, стратегія в грі для двох і більше гравців, в якій жоден учасник не може збільшити виграш, змінивши свою стратегію, якщо інші учасники своїх стратегій не змінюють).

— У вас була ідея щодо впровадження глобальної системи виявлення переваг (Global Preference Discovery System).

— Я використовував цей ключовий термін у своїх ранніх дослідженнях. На даний час управління, зокрема, при демократії, стикається з двома питаннями: як визначити, що люди хочуть від майбутнього, і як цього досягти. Політики зазвичай говорять, що знають, як вирішити обидва питання, — ми хочемо X і збираємося зробити для цього Y, тому голосуйте за нас. Але я вважаю, що було б корисно мати певну систему, щоб люди могли самі визначити, яке майбутнє вони хочуть, тобто щоб люди самостійно знаходили X. Найпростіший спосіб це зробити — налагодити систему регулярних опитувань, наприклад, випадковим чином запитувати людей, як у них справи. Якби у нас було достатньо інформації від суспільства про те, як саме зараз люди себе почувають, ми могли б побудувати World Wellness Index (індекс благополуччя світу), на базі якого можна було б робити майбутні прогнози. Скажімо, що сталося б з цим глобальним індексом, якби США повністю відкрили свої кордони? Це потенційно цікавий інструмент при розробці політик і положень, який би відокремив питання про те, що ж ми хочемо від майбутнього, від питання, як же дістатися до цього світлого майбутнього.

— Я розумію сам механізм, але, чесно кажучи, була глибоко вражена вдруге саме тим, що ці питання обговорюються в замкнутій технологічній спільноті та як вони обговорюються. А я український економіст, і мене не дуже легко вразити.

— Нещодавно в спільноті раціоналістів Олександр Скотт, визнаний експерт у цьому середовищі, і Гленн Уайл з Microsoft, відомий розробник у сфері дизайнів механізмів (mechanism design — область досліджень в економічній теорії та теорії ігор), провели дружні дебати з питання, про яке ви говорите. Гленн Уайл казав: «Так, я розробник дизайнів механізмів, але я не довіряю системам, зрештою це все одно, що постійно стріляти собі в ногу». В Олександра Скотта була схожа відповідь, можливо, надмірно критична, але все ж дуже хороша, про те, що це ж не означає, що ми повинні весь час покладатися тільки на інтуїцію та внутрішні відчуття.

У підсумку, це діапазон, який включає в себе питання, наскільки ви довіряєте людям або наскільки ви довіряєте системам. Якщо ви покладаєтеся тільки на людей, то у вас все одно повинні бути якісь обмеження, які спрямовують членів суспільства, наприклад, верховенство права. А це вже механізм, демократія — це вже механізм. Важливо дотримуватися балансу.

— Питання в тому, що вузька група технологічних фахівців розробляє механізм для визначення, наприклад, такого важливого питання, як загальнолюдські цінності.

— Мені не слід перебільшувати переваги такої системи, це був просто зразок механізму, якого в світі ще немає, але він міг би вже існувати, і я думаю, що це було б корисно.

Коли я говорю про механізм виявлення переваг, я хочу звернути увагу на те, що в цілому необхідні механізми, які б дали право голосу людям, і я відкритий до всіх ідей. Нинішнім інструментам, які у нас є, кілька сотень років, вони були винайдені та впроваджені, коли ми все ще використовували коней як основний транспорт. Наші результати у вирішенні питання, як дати людям більше можливостей проявити свою думку, могли б бути кращими, але при цьому я дуже добре розумію всі небезпеки, пов'язані з такою системою, — перебільшення або омана, маніпуляції з метою зробити вигляд, що люди хочуть, скажімо, максимізувати прибуток саме конкретної компанії.

Хороший приклад — це ситуація з системою визначення переваг і оглядів на Amazon. Система, у теорії, повинна була б визначати їх на основі внесеної інформації, але на практиці її постійно обманюють. Дуже важливо перевіряти, що система достатньо надійна і стійка, щоб дійсно виконувати те, для чого вона призначена.

— Дякую, що ви трохи переконали мене в тому, що ви бачите ризики такого підходу. Водночас було цікаво дізнатися про AI Alignment movement, рух з розробки світогляду ШІ. Як би ви описали мету цього руху для громадськості?

— Існує декілька визначень для цього поняття. Одне з них можна тлумачити так: якщо ми думаємо про ШІ як про машини, яким збираємося делегувати прийняття наших людських рішень, то ми зобов'язані гарантувати, що наші ідеї про те, яким має бути гарне майбутнє, у повній мірі будуть передані ШІ.

Дуже важливо розуміти, що ШІ — це ще більший інопланетянин, ніж інопланетяни. У ШІ немає ніякої біологічної основи, ШІ не еволюціонував біологічно, ШІ не дбає про навколишнє середовище.

Ми не повинні недооцінювати, як складно передати ШІ розуміння цінностей людства. Насправді, ШІ настільки аутичний, наскільки це можливо уявити. Люди схильні думати, що ШІ — це майже люди, та їх можна зробити ще більш людяними. Ні, так не вийде.

— Чому ви так в цьому впевнені?

— Є дуже вагомі аргументи на підтвердження цієї думки. Наприклад, люди були сформовані біологічною еволюцією в соціальному контексті, люди розвивалися в групах. Дуже добре це описано в книзі «Моральні племена» Джошуа Гріна з Гарварда. Він розглядає, як розвивалася людська мораль. Мораль виникла в численних племенах від 50 до 100 чоловік автоматично, тому що це допомагало племенам ставати більш конкурентоспроможними, люди дбали один про одного. На персональному рівні альтруїзм — це самопожертва, але на рівні племені — це робить групу більш конкурентоспроможною.

Більш загальна відповідь полягає в тому, що кожного разу, коли ви, зі своєї позиції, хочете обмежити щось розумніше за вас самих, це навряд чи вийде, оскільки те, що ви вважаєте обмеженнями, і що воно вважатиме обмеженнями, будуть відрізнятися. Ваша здатність створювати ліміти слабша, ніж його здатність знаходити варіанти обійти ці обмеження, тому виникають труднощі. Потрібно враховувати дуже багато нюансів, і вже є дійсно цікаві ідеї, які можна знайти, зокрема, на веб-сайті Alignment Forum.

— Люди тисячоліттями розмірковують над питанням системи цінностей людства, а також розробляють концепції, які могли б дати можливість краще зрозуміти як окрему людину, її розум і душу, так і суспільство в цілому. Наприклад, існують поняття «колективне несвідоме» від Карла Густава Юнга, «чистий розум» від Іммануїла Канта, «ноосфера» від Володимира Вернадського. Чи можливо спробувати трансформувати ці метафізичні концепції на практиці та застосувати якимось чином у русі зі створення світогляду ШІ?

— Я не дуже детально знайомий з концепціями, про які ви говорите. Виходячи з того, як це звучить, я б очікував ускладнень при використанні ідей з континентальної філософії, тому що з'явиться величезна онтологічна проблема. Концепції побудовані на речах, які неможливо перекласти на мову машини. Виникне перешкода: буде складно запрограмувати речі, які неможливо точно розписати мовою асемблера. Це була б проблема перекладу.

— Я щиро переконана, що на мову математики можливо перекласти практично все, що означає, що і запрограмувати можна практично все.

— Якщо щось можна виразити в математичному вигляді, тоді, звичайно, немає проблем це запрограмувати. Можуть з'явитися певні інженерні проблеми, але це вже технічне питання. Однак в цілому зазвичай люди, які говорять про континентальну філософію, не знають математики.

— Виклик практично прийнято і, можливо, років за 35 я повернуся до вас з рішенням.

— Завжди корисно розглядати якомога більше точок зору. Перше, що необхідно зробити — це структурувати ідеї досить конкретно, щоб вони були математично описані й сумісні з комп'ютерними науками. Важливо думати про різні ідеї. Технологія блокчейн це підтверджує.

— Я навела цей приклад в рамках роздумів про те, що, можливо, для формування світогляду ШІ необхідно враховувати досягнення людської думки в області філософії, соціології, біології, генетики, мистецтва, не кажучи вже про фізику, хімію, астрономію.

— Я згоден, і велика проблема полягає в тому, щоб зосередитися на продуктивності. Як це зробити? В цьому полягає питання. Зазвичай виходить, що коли люди усвідомлюють необхідність зібрати різні перспективи і точки зору, то організовують велику конференцію. Зараз, за часів пандемії, у нас віртуальні конференції. Люди проводять багато годин за розмовами, а потім нічого не відбувається. Важливе завдання полягає в тому, щоб переконатися, що всі ідеї можна розглянути та реалізувати ефективно та продуктивно, а не намагатися переконати людей прочитати багато матеріалу та витратити багато годин на те, що після обговорення не буде працювати.

— Можливо, все ж має сенс подумати над тим, як в цілому зробити процеси більш інклюзивними і зрозумілими, за участю всіх зацікавлених сторін. Я не кажу про те, що необхідно запрошувати неспеціалістів на ваші професійні конференції, але зараз ваша спільнота та її ідеї достатньо розрослися, щоб трохи відкритися і долучити до суспільного порядку денного питання, якими ви займаєтеся.

— Я є співзасновником Інституту з вивчення майбутнього життя (Future of Life Institute), і наймасштабніше, що ми зараз робимо, — це проводимо спеціальну конференцію кожні два роки. Вона була запланована і в цьому році, але через пандемію не відбулася. Захід допомагає вивчати різні точки зору на ситуацію. Але при цьому важливо відбирати людей, тому що, якщо в кімнаті знаходиться хоча б одна людина, яка не розуміє, що відбувається навколо, але при цьому активно намагається вплинути на процес, це дійсно може знизити продуктивність для всіх.

— Ви розбудували чудове співтовариство для вирішення важливих завдань. Але здається, що ви підійшли до того рівня, коли необхідно залучення інших груп експертів та соціуму в цілому. Так само, як ви серйозно занурені в тему ШІ, є групи, які серйозно працюють, наприклад, над питаннями систем прямої демократії або цивільних технологій.

— Саме тому я планую залучити до спільної роботи співтовариство дизайнерів механізмів (mechanism design), яке відрізняється від спільноти програмістів.

— Щиро дякую за приділений час і бесіду, це було надзвичайно захоплююче та корисно. Я рада, що ми зможемо продовжити обговорення цієї теми на першому засіданні групи «Технології та суспільство», яка стартує в Україні.

Статтю "Екзистенційні ризики і глобальне управління. Інтерв'ю з філантропом і програмістом Яаном Таллінном" було опубліковано у випуску альманаху Huxley №4/2021 у квітні 2021 року.