Հատման կետը. ինչու՞ ԱԲ-ի ապագան չունի միջանկյալ տարբերակ

Իմ մտքերը այն մասին, թե ինչու ենք քայլում դեպի կա՛մ դրախտ, կա՛մ կատաստրոֆա — և ինչու երրորդ ճանապարհ գուցե գոյություն չունի

Իսկ դու ո՞վ ես այս մեքենայում՝ ուղևո՞ր, թե՞ վարորդ։ Եվ եթե հատման կետն իսկապես չունի միջանկյալ տարբերակ — ինչպե՞ս ենք համոզվում, որ ղեկը ճիշտ ձեռքերում է, քանի դեռ ուշ չէ։

Կա մի միտք, որ ինձ չի թողնում հանգիստ։

ԱԲ-ն այս պահին պրակտիկանտ է։ Հում։ Հինգ-յոթ տարեկան վունդերկինդ, որը դեռ սխալվում է, դեռ հորինում է փաստեր, դեռ չի հասկանում աշխարհը այնպես, ինչպես մենք։ Բայց այս պրակտիկանտն արդեն փոխել է տասնյակ ոլորտներ։ Եվ ահա այստեղ եմ տեսնում ամենավտանգավոր բանը. մենք գնահատում ենք ԱԲ-ն ըստ նրա, թե ինչ է այսօր, ոչ ըստ նրա, թե ինչ արագությամբ է փոխվում։

Սա ճանաչողական թակարդ է, որի մեջ ինքս էլ եմ ընկնում։ Մարդու ուղեղը գծային է մտածում։ Բնությունը մեզ չի սովորեցրել զգալ էքսպոնենցիալ աճը։ Երբ մի բան կրկնապատկվում է ամեն տարի, մենք տեսնում ենք միայն վերջին քայլը, ոչ ամբողջ կորը։ Հենց դա է ինձ անհանգստացնում. դեռ մի քանի տարի առաջ ԱԲ-ն հազիվ տեքստ էր գրում մեկ լեզվով։ Այսօր նա ինքն է կառուցում կոնֆիգուրացիոն լոգիկա ԱԲ-ի համար։ Ինձ ոչ թե բարելավումն է զարմացնում։ Արագությունն է զարմացնում։

Ինչու՞ եմ ասում «հատման կետ»

Տեխնոլոգիաների մեծ մասը ունի միջանկյալ տարբերակներ։ Մեքենան կարող է լինել արագ կամ դանդաղ, թանկ կամ էժան, անվտանգ կամ վտանգավոր։ Սպեկտր է։ Աստիճանականություն։

Բայց superintelligence-ի ռիսկի տեսաբանները պնդում են, որ ԱԲ-ն այս առումով ուրիշ է։ Պատճառը մի հասկացություն է, որը կոչվում է recursive self-improvement — ինքնակատարելագործվող ռեկուրսիա։ Գաղափարն այսպիսին է. եթե ԱԲ-ն մի օր դառնա բավականաչափ խելացի, որ բարելավի ինքն իրեն, ապա ավելի լավ տարբերակը կկառուցի էլ ավելի լավ տարբերակ, և այդ լավը՝ էլ ավելին։ Ոչ թե գծային։ Պայթյունավտանգ։ I.J. Good-ը դեռ 1965-ին այս երևույթն անվանեց «intelligence explosion»՝ բանականության պայթյուն։

Եթե այս սցենարը ճիշտ է, ապա հատման կետից հետո միջանկյալ տարբերակ չի մնում։ Կա՛մ համակարգի նպատակները համընկնում են մարդկության շահի հետ — և մենք ստանում ենք գործիք, որը լուծում է քաղցկեղը, ծերացումը, կլիմայական ճգնաժամը։ Կա՛մ չեն համընկնում — և մենք դառնում ենք անկարևոր փոփոխական ուրիշի հավասարման մեջ։ Դրախտ կամ կատաստրոֆա։ Ինձ համար սա ոչ թե բարոյական մեղադրանք է, այլ ճարտարապետական հետևանք. երբ ինչ-որ բան մեզնից շատ ավելի խելացի է, մենք այլևս չենք վերահսկում արդյունքը։ Մենք միայն հույս ունենք, որ սկզբնական ուղղությունը ճիշտ ենք դրել։

Բայց ահա որտեղ ուզում եմ ազնիվ լինել

Ես չեմ ուզում քեզ ապոկալիպսիս վաճառել։ Իմ սկզբունքն է՝ fix the root, don't patch the surface։ Իսկ արմատը պահանջում է ազնվություն, ոչ դրամա։

2025-ին լույս տեսան երկու ազդեցիկ աշխատանք՝ Yudkowsky-ի և Soares-ի «If Anyone Builds It, Everyone Dies» գիրքը, և «AI 2027» սցենարը, որոնք պնդում են, որ superintelligent ԱԲ-ն գրեթե անխուսափելիորեն կկործանի կամ անպետք կդարձնի մարդկությունը հաջորդ տասնամյակում։ Ուժեղ խոսքեր են։ Բայց կա նաև հակափաստարկ, և ինձ համար այն նույնքան լուրջ է։ arXiv

Թերահավատների empirical դիրքն այսպիսին է. վաթսուն տարի անց Good-ի վարկածից, պահանջվող երևույթներից ոչ մեկը — կայուն ռեկուրսիվ ինքնակատարելագործում, ինքնավար ստրատեգիական գիտակցություն, կամ անլուծելի մահացու misalignment — չի դիտարկվել։ Ըստ այս տեսակետի՝ ներկայիս գեներատիվ մոդելները մնում են նեղ, վիճակագրորեն մարզված արտեֆակտներ. հզոր, անթափանց, անկատար, բայց զուրկ այն հատկություններից, որոնք կհանգեցնեին բանականության պայթյունի։ arXivarXiv

Brookings-ի վերլուծությունն ավելի սուր է ձևակերպում. չկա ոչ մի ապացույց, որ այսօրվա խափանվող ԱԲ-գործակալները մոտ են ԱԲ-հետազոտություն կատարելուն նույնիսկ սովորական մարդ-տեխնիկի մակարդակով։ Իսկ Georgia Tech-ի հետազոտությունը հիշեցնում է ինձ մի հիմնարար բան. թե ինչքան հեռու կարող է գնալ ԱԲ-ն և որոնք են նրա սահմանները՝ դա հասարակությունն է ձևավորում։ Ոչ թե ճակատագիր։ Ընտրություն։ BrookingsGeorgia Tech News

Ահա հատման կետի մասին երկու ճշմարտություն, որոնք ինձ թվում է՝ պետք է պահել միաժամանակ գլխում. առաջին՝ եթե ռեկուրսիվ պայթյունը հնարավոր է, ապա միջանկյալ տարբերակ չկա, և մենք պետք է ուղղությունը ճիշտ դնենք նախքան կետին հասնելը։ Երկրորդ՝ մինչ այժմ չկա empirical ապացույց, որ պայթյունը մոտ է։ Երկուսն էլ ճիշտ են։ Եվ հենց այս երկակիությունն է, որ թեման ինձ համար դարձնում է այսքան դժվար։

Ավելի մոտ ռիսկը, քան superintelligence-ը

Թույլ տուր ուղղություն փոխեմ, որովհետև այստեղ է, իմ կարծիքով, ամենակարևոր կետը։

Մինչ աշխարհը վիճում է, թե ԱԲ-ն մեզ կսպանի՞ 2035-ին, կա ռիսկ, որն արդեն գործում է այսօր։ Ես այն անվանում եմ դեգրադացիա։ Կամ ավելի ճշգրիտ՝ ճանաչողական ատրոֆիա։

Մկանը, որը չես օգտագործում, թուլանում է։ Ուղեղը նույնն է։ Երբ ԱԲ-ն գրում է մեր փոխարեն, հիշում է մեր փոխարեն, որոշում է մեր փոխարեն — մենք չենք դառնում ավելի ազատ։ Մենք դառնում ենք ավելի կախյալ։ Եվ ինձ ամենաշատը վախեցնում է այն, որ դա ցավ չի պատճառում։ Ոչ ոք չի նկատում, թե ինչպես է դանդաղում սեփական միտքը։ Դանդաղում է ամեն պահի հետ, և մենք չենք էլ նկատում։

Սա superintelligence չի պահանջում։ Սա պահանջում է միայն հարմարություն։ Եվ հենց հարմարությունն է ամենահամոզիչ թակարդը, որովհետև այն չի երևում որպես թշնամի։ Այն երևում է որպես նվեր։

Ահա պարադոքսը, որ ինձ չի թողնում. մարդկությունը կարող է կորցնել իր մտածողությունը ոչ թե այն պատճառով, որ ԱԲ-ն այն խլեց, այլ որովհետև մենք ինքներս հանձնեցինք այն՝ մեկ հարմար քլիք առ քլիք։

Ո՞վ է ղեկին

Ես մտածում եմ նաև ստեղծողների մասին։ Որ նրանք գնում են շահի հետևից՝ առանց ապագայի գինը հաշվելու։ Բայց այստեղ ուզում եմ ճշգրիտ լինել, ոչ ցինիկ։

Խնդիրը, իմ կարծիքով, ոչ թե չար մարդիկ են։ Խնդիրը կառուցվածքն է։ Մրցավազքի դինամիկան այսպիսին է. եթե ես դանդաղեմ՝ անվտանգության համար, իսկ մրցակիցը՝ ոչ, ապա մրցակիցը հաղթում է, և իմ զգուշությունն անիմաստ է դառնում։ Սա կոչվում է «race to the bottom»՝ վազք դեպի հատակ։ Ոչ ոք չի ուզում կատաստրոֆա, բայց բոլորը ստիպված են արագ վազել, որովհետև դանդաղողը պարտվում է։

Հենց այս պատճառով 2026-ի հունվարին Մեծ Բրիտանիայի Lords-ի պալատը քննարկեց մի հարց, որը մի քանի տարի առաջ ֆանտաստիկա կթվար ինձ. superintelligent ԱԲ-ի զարգացման միջազգային մորատորիումի առաջարկ։ Մորատորիում։ Կանգ։ Երբ կառավարություններն սկսում են քննարկել արգելակը, ինձ համար դա նշանակում է, որ ինչ-որ մեկը զգում է, որ մեքենան չափից արագ է գնում։ House of Lords Library

Bostrom-ի անհարմար հարցը

Եվ հիմա ամենասադրիչ գաղափարը, որը ստիպեց ինձ վերանայել ամեն ինչ։

Nick Bostrom-ը՝ մարդը, ով 2014-ին գրեց superintelligence-ի ռիսկի գլխավոր գիրքը, 2026-ին հրապարակեց նոր աշխատանք և փոխեց հարցը։ Ոչ թե «արդյո՞ք պետք է կառուցել», այլ «ե՞րբ է օպտիմալ կառուցել»։ Նրա փոխաբերությունն ինձ սթափեցրեց. superintelligence-ի զարգացումը ռուսական ռուլետկա խաղալ չէ. այն ավելի շատ նման է ռիսկային վիրահատության արդեն մահացու վիճակի համար։ Qubic

Ի՞նչ է այդ մահացու վիճակը։ Մարդկության ներկայիս վիճակն ինքնին։ Bostrom-ը հիշեցնում է անհարմար թիվը. օրական մոտ 170,000 մահ՝ ծերացումից, հիվանդությունից և համակարգային ձախողումներից։ Նրա տրամաբանությունը սա է. եթե հրաժարվենք ԱԲ-ից, մենք չենք ընտրում անվտանգություն։ Մենք ընտրում ենք status quo, որն ինքնին սպանում է մարդկանց ամեն օր։ Qubic

Ահա ինչու հատման կետն ինձ համար երկսայր է։ Նույն ուժը, որը կարող է մեզ ոչնչացնել, կարող է նաև բուժել այն, ինչ մեզ արդեն ոչնչացնում է։ Դրախտ կամ կատաստրոֆա, և երկուսն էլ բխում են նույն աղբյուրից։ Սա է, որ ընտրությունը դարձնում է այսքան դաժան. չկառուցելը նույնպես ընտրություն է՝ իր սեփական զոհերով։

Ո՞ւր է գնում մարդկությունը

Սա էր իմ սկզբնական հարցը։ Ես չունեմ պատասխան՝ կանխատեսման իմաստով։ Բայց ունեմ պատասխան՝ ուղղության իմաստով։

Հատման կետը դեռ չի եկել։ Մենք դեռ ղեկին ենք։ Եվ ամենավտանգավոր բանը, որ կարող ենք անել, ոչ թե սխալ ընտրություն կատարելն է, այլ ընտրությունը չկատարելը — թողնելը, որ մրցավազքի դինամիկան, հարմարությունը և անուշադրությունը որոշեն մեր փոխարեն։

Կա մի տարբերություն ուղևորի և վարորդի միջև։ Ուղևորին տանում են։ Վարորդը ընտրում է ուղղությունը։ Այս պահին մարդկության մեծ մասը ուղևոր է — օգտագործում է գործիքը՝ առանց հարցնելու, թե ուր է այն տանում։ Իսկ վարորդները՝ մի քանի լաբորատորիա — վազում են այնքան արագ, որ ղեկը հազիվ են պահում։

Իմ եզրակացությունն այսպիսին է, և այն ոչ լավատեսական է, ոչ հոռետեսական։ Այն ինժեներական է. երբ չես կարող դանդաղեցնել մեքենան, միակ բանը, որ կարող ես անել, ուղղությունը ճիշտ դնելն է, քանի դեռ ղեկը ձեռքիդ է։ Հատման կետից հետո շտկելու հնարավորություն գուցե չլինի։

Իսկ դա նշանակում է, որ ամենակարևոր աշխատանքը տեխնիկական չէ։ Այն բարոյական է, քաղաքական, փիլիսոփայական։ Թե ինչ արժեքներ ենք դնում համակարգի մեջ։ Թե ով է որոշում։ Թե արդյոք մենք պահպանում ենք մեր սեփական մտածողությունը այնքան ժամանակ, որ ընդունակ լինենք ճիշտ որոշում կայացնելու, երբ կետը գա։

Որովհետև ինձ համար ամենավատ սցենարը ոչ թե չար ԱԲ-ն է։ Ամենավատ սցենարը այն մարդկությունն է, որն այնքան է դեգրադացել, որ այլևս ի վիճակի չէ հասկանալ, թե ինչ ընտրություն է կանգնած իր առջև։