Yapay zeka. Birinci Bölüm: Süper Zekaya Giden Yol

İçindekiler:

Yapay zeka. Birinci Bölüm: Süper Zekaya Giden Yol
Yapay zeka. Birinci Bölüm: Süper Zekaya Giden Yol

Video: Yapay zeka. Birinci Bölüm: Süper Zekaya Giden Yol

Video: Yapay zeka. Birinci Bölüm: Süper Zekaya Giden Yol
Video: Rusya'da Donanma Günü kutlandı 2024, Mayıs
Anonim
Yapay zeka. Birinci Bölüm: Süper Zekaya Giden Yol
Yapay zeka. Birinci Bölüm: Süper Zekaya Giden Yol

Bu (ve diğer) makalenin gün ışığına çıkmasının nedeni basit: belki de yapay zeka sadece tartışma için önemli bir konu değil, aynı zamanda gelecek bağlamında en önemlisidir. Yapay zekanın potansiyelinin özüne biraz bile olsa giren herkes, bu konunun göz ardı edilemeyeceğini bilir. Bazıları - ve aralarında Elon Musk, Stephen Hawking, Bill Gates, gezegenimizdeki en aptal insanlar değil - yapay zekanın insanlık için varoluşsal bir tehdit oluşturduğuna inanıyor, ölçekte bir tür olarak tamamen yok olmamızla karşılaştırılabilir. Pekala, arkanıza yaslanın ve i'leri kendiniz için işaretleyin.

“Dünyadaki insan yaşamının kökeniyle karşılaştırılabilir değişikliklerin eşiğindeyiz” (Vernor Vinge).

Böyle bir değişimin eşiğinde olmak ne anlama geliyor?

resim
resim

Özel bir şey yok gibi görünüyor. Ancak grafikte böyle bir yerde olmanın sağınızda ne olduğunu bilmediğiniz anlamına geldiğini unutmamalısınız. Bunun gibi bir şey hissetmelisin:

resim
resim

Duygular oldukça normal, uçuş iyi gidiyor.

gelecek geliyor

Bir zaman makinesinin sizi 1750'ye - dünyanın elektrik arzında sürekli kesintiler yaşadığı, şehirler arasındaki iletişimin top atışları anlamına geldiği ve tüm ulaşımın samanla çalıştığı bir zamana - taşıdığını hayal edin. Diyelim ki oraya gittiniz, birini alıp 2015'e getirdiniz, burada nasıl olduğunu gösterin. Yollarda uçuşan bu parlak kapsülleri görmenin onun için nasıl bir şey olduğunu anlayamıyoruz; okyanusun diğer tarafındaki insanlarla konuşmak; bin kilometre uzaktaki spor oyunlarına bakın; 50 yıl önce kaydedilmiş bir müzikal performansı dinleyin; fotoğraf çekebilen veya canlı bir anı yakalayabilen sihirli bir dikdörtgenle oynayın; yerini gösteren bir paranormal mavi nokta ile bir harita oluşturun; birinin yüzüne bak ve onunla kilometrelerce uzakta iletişim kur, vb. Bütün bunlar, neredeyse üç yüz yıllık insanlar için açıklanamaz bir sihirdir. İnternet, Uluslararası Uzay İstasyonu, Büyük Hadron Çarpıştırıcısı, nükleer silahlar ve genel görelilikten bahsetmiyorum bile.

Onun için böyle bir deneyim şaşırtıcı veya şok edici olmayacak - bu kelimeler zihinsel çöküşün tüm özünü iletmiyor. Yolcumuz tamamen ölebilir.

Ama ilginç bir nokta var. 1750'ye geri dönerse ve 2015'e tepkisini görmek istediğimizi kıskanırsa, yanına bir zaman makinesi alabilir ve aynısını 1500 ile yapmaya çalışabilir. Oraya uçacak, birini bulacak, onu 1750'de alacak ve her şeyi gösterecek. 1500'den bir adam ölçülemeyecek kadar şok olacak - ama ölmesi muhtemel değil. Elbette şaşıracak olsa da 1500 ile 1750 arasındaki fark 1750 ile 2015 arasındaki farktan çok daha az. 1500'lü bir insan fizikten bazı anlara şaşıracak, Avrupa'nın sert topukların altında ne hale geldiğine şaşıracak. emperyalizmin kafasında yeni bir dünya haritası çizecek… Ancak 1750'deki günlük yaşamın - ulaşım, iletişim vb. - onu ölümüne şaşırtması pek olası değildir.

Hayır, 1750'li bir adamın bizimle aynı eğlenceyi yaşaması için çok daha ileri gitmesi gerekiyor - belki de MÖ 12.000'de böyle bir yıl. M. Ö., daha ilk tarım devriminden önce bile ilk şehirleri ve medeniyet kavramını doğurmuştur. Avcı-toplayıcılar dünyasından biri, insanların daha başka bir hayvan türü olduğu zamanlardan beri, yüksek kiliseleri, okyanusları geçen gemileri, bir binanın "içinde" olma kavramları, her şeyiyle 1750'nin devasa insan imparatorluklarını gördüyse. bu bilgi - büyük olasılıkla ölecekti.

Ve sonra, öldükten sonra kıskanır ve aynısını yapmak isterdi. 12.000 yıl önce, MÖ 24.000'de dönecekti. e., bir kişiyi alıp vaktinde getirirdi. Ve yeni bir gezgin ona şöyle derdi: "Pekala, sorun değil, teşekkür ederim." Çünkü bu durumda, MÖ 12.000'den bir kişi. NS. 100.000 yıl geriye gitmek ve yerel Aborjinlere ateşi ve dili ilk kez göstermek gerekecekti.

Şaşırmak için birini geleceğe taşımamız gerekiyorsa, ilerlemenin belli bir mesafe kat etmesi gerekir. Ölüm İlerleme Noktasına (TPP) ulaşılmalıdır. Yani, avcı-toplayıcılar zamanında TSP 100.000 yıl aldıysa, bir sonraki durak MÖ 12.000'de gerçekleşti. NS. Ondan sonra, ilerleme zaten daha hızlıydı ve dünyayı 1750'ye kadar (kabaca) radikal bir şekilde dönüştürdü. Sonra birkaç yüz yıl sürdü ve işte buradayız.

İnsan gelişiminin zaman geçtikçe daha hızlı ilerlediği bu resme, fütürist Ray Kurzweil, insanlık tarihinde hızlanan geri dönüşler yasası diyor. Bunun nedeni, daha gelişmiş toplumların, ilerlemeyi daha az gelişmiş toplumlardan daha hızlı hareket ettirme yeteneğine sahip olmasıdır. 19. yüzyılın insanları 15. yüzyılın insanlarından daha fazlasını biliyordu, bu nedenle 19. yüzyıldaki ilerlemenin 15. yüzyıldan daha hızlı olması şaşırtıcı değil.

Daha küçük ölçekte, bu da işe yarar. Geleceğe Dönüş 1985'te piyasaya sürüldü ve geçmiş 1955'teydi. Filmde, Michael J. Fox 1955'te döndüğünde, televizyonların yeniliği, gazozun fiyatı, gitar sesine olan sevgisizliği ve argodaki farklılıklar onu şaşırtmıştı. Farklı bir dünyaydı elbette ama film bugün çekilseydi ve geçmiş 1985'te olsaydı, fark çok daha küresel olurdu. Kişisel bilgisayarların, internetin, cep telefonlarının olduğu günlerden geriye giden Marty McFly, 1985'ten 1955'e giden Marty'den çok daha alakasız olurdu.

Bütün bunlar hızlanan getiriler kanunundan kaynaklanmaktadır. 1985 ile 2015 arasındaki ortalama gelişme hızı, 1955'ten 1985'e kadar olan orandan daha yüksekti - çünkü ilk durumda, dünya daha gelişmişti, son 30 yılın başarılarına doymuştu.

Böylece, ne kadar çok başarı olursa, değişiklikler o kadar hızlı gerçekleşir. Ama bu bize gelecek için bazı ipuçları bırakmamalı mı?

Kurzweil, tüm 20. yüzyılın ilerlemesinin, 2000 kalkınma düzeyinde sadece 20 yılda gerçekleşebileceğini öne sürüyor - yani, 2000 yılında ilerleme hızı, 20. yüzyılın ortalama ilerleme hızından beş kat daha hızlıydı. Ayrıca, 20. yüzyılın tamamının ilerlemesinin 2000'den 2014'e kadar olan dönemin ilerlemesine eşdeğer olduğuna ve bir başka 20. yüzyılın ilerlemesinin 2021'e kadar olan döneme, yani sadece yedi yıla eşdeğer olacağına inanıyor. Birkaç on yıl sonra, 20. yüzyılın tüm ilerlemesi yılda birkaç kez ve daha sonra sadece bir ay içinde gerçekleşecek. Sonuç olarak, hızlanan getiriler yasası, bizi 21. yüzyılın tamamındaki ilerlemenin 20. yüzyılın ilerlemesinden 1000 kat daha büyük olacağı noktasına götürecektir.

Kurzweil ve destekçileri haklıysa, 2030, 1750'deki adamın 2015'imizi şaşırtacağı gibi bizi şaşırtacak - yani, bir sonraki TSP sadece birkaç on yıl alacak - ve 2050 dünyası çok farklı olacak zar zor öğrendiğimiz modern olandan. Ve bu kurgu değil. Bu, sizden ve benden daha akıllı ve daha eğitimli birçok bilim insanının görüşüdür. Ve tarihe bakarsanız, bu tahminin saf mantıktan geldiğini anlayacaksınız.

O halde, "35 yıl sonra dünya tanınmayacak kadar değişecek" gibi ifadelerle karşılaştığımızda neden şüpheyle omuz silkiyoruz? Geleceğe yönelik tahminler konusunda şüpheci olmamızın üç nedeni var:

1. Tarih söz konusu olduğunda, düz çizgiler halinde düşünürüz. Önümüzdeki 30 yılın ilerlemesini görselleştirmeye çalışırken, ne kadar muhtemel olduğunun bir göstergesi olarak önceki 30 yılın ilerlemesine bakıyoruz. 21. yüzyılda dünyamızın nasıl değişeceğini düşündüğümüzde, 20. yüzyılın ilerlemesini alıp 2000 yılına ekliyoruz. 1750'deki adamımızın 1500'den birini alıp onu şaşırtmaya çalıştığında yaptığı aynı hata. Üstel olmamız gerektiğinde sezgisel olarak doğrusal bir şekilde düşünürüz. Esasen bir fütürist, önceki 30 yıla bakarak değil, mevcut ilerleme düzeyine göre değerlendirerek, önümüzdeki 30 yılın ilerlemesini tahmin etmeye çalışmalıdır. O zaman tahmin daha doğru olacak, ancak yine de kapıda. Gelecek hakkında doğru düşünmek için, şu anda hareket ettiklerinden çok daha hızlı hareket eden şeyleri görmeniz gerekir.

resim
resim

[/merkez]

2. Yakın tarihin gidişatı genellikle çarpıktır. İlk olarak, küçük kısımlarını gördüğünüzde dik bir üstel eğri bile doğrusal görünür. İkincisi, üstel büyüme her zaman düzgün ve tekdüze değildir. Kurzweil, ilerlemenin serpantin eğrilerinde hareket ettiğine inanıyor.

resim
resim

Böyle bir eğri üç aşamadan geçer: 1) yavaş büyüme (üstel büyümenin erken aşaması); 2) hızlı büyüme (patlayıcı, üstel büyümenin geç aşaması); 3) belirli bir paradigma biçiminde istikrar.

Son hikayeye bakarsanız, S-eğrisinin şu anda içinde bulunduğunuz kısmı, ilerleme hızını algınızdan gizleyebilir. 1995 ile 2007 arasındaki zamanın bir kısmı, İnternet'in patlamaya hazır gelişimi, Microsoft, Google ve Facebook'un halka tanıtılması, sosyal ağların doğuşu ve cep telefonlarının ve ardından akıllı telefonların geliştirilmesine harcandı. Bu, eğrimizin ikinci aşamasıydı. Ancak 2008'den 2015'e kadar olan dönem, en azından teknoloji cephesinde daha az yıkıcıydı. Bugün geleceği düşünenler, ilerlemenin genel hızını ölçmek için son birkaç yılı alabilir, ancak daha büyük resmi göremezler. Aslında, şimdi yeni ve güçlü bir Aşama 2 hazırlanıyor olabilir.

3. Kendi deneyimimiz, gelecek söz konusu olduğunda bizi huysuz yaşlı insanlar yapar. Dünya hakkındaki fikirlerimizi kendi tecrübelerimize dayandırıyoruz ve bu tecrübe bizim için doğal olarak yakın geçmişteki büyüme hızını belirledi. Aynı şekilde, tahmin etmek için deneyimlerimizi kullandıkları için hayal gücümüz sınırlıdır - ancak çoğu zaman, geleceği doğru bir şekilde tahmin etmemize izin veren araçlara sahip değiliz. İşlerin nasıl yürüdüğüne dair günlük algılarımızla çelişen geleceğe yönelik tahminler duyduğumuzda, içgüdüsel olarak onları saf olarak kabul ederiz. 150 ya da 250 yaşına kadar yaşayacağınızı ya da belki hiç ölmeyeceğinizi söylesem, içgüdüsel olarak “bu aptalca, tarihten biliyorum ki bu süre zarfında herkes öldü” diye düşünürsünüz. Yani öyle: kimse bu yılları görecek kadar yaşamadı. Ancak uçakların icadından önce tek bir uçak bile uçmamıştı.

Bu nedenle, şüphecilik size makul görünse de, çoğu zaman yanlış değildir. Kendimizi saf mantıkla silahlandırırsak ve olağan tarihsel zikzakları beklersek, önümüzdeki on yıllarda çok, çok, çok şeyin değişmesi gerektiğini kabul etmeliyiz; sezgisel olmaktan çok daha fazlası. Mantık ayrıca, gezegendeki en gelişmiş türler ileriye doğru, daha hızlı ve daha hızlı dev sıçramalar yapmaya devam ederse, bir noktada sıçramanın o kadar şiddetli olacağını ve bildiğimiz şekliyle hayatı kökten değiştireceğini belirtir. Evrim sürecinde de benzer bir şey oldu, insan o kadar akıllı hale geldi ki, Dünya gezegenindeki diğer türlerin yaşamını tamamen değiştirdi. Ve şu anda bilim ve teknolojide neler olup bittiğini okumak için biraz zaman ayırırsanız, bir sonraki dev sıçramanın nasıl olacağına dair bazı ipuçları görmeye başlayabilirsiniz.

Süper zekaya giden yol: AI (yapay zeka) nedir?

Bu gezegendeki birçok insan gibi, yapay zekayı aptalca bir bilim kurgu fikri olarak düşünmeye alışıksınız. Ama son zamanlarda, pek çok ciddi insan bu aptalca fikirle ilgilendi. Sorun nedir?

AI terimi etrafında kafa karışıklığına yol açan üç neden vardır:

Yapay zekayı filmlerle ilişkilendiriyoruz. "Yıldız Savaşları". "Terminatör". "Bir Uzay Macerası 2001". Ancak robotlar gibi, bu filmlerdeki yapay zeka da kurgu. Böylece Hollywood kasetleri algı seviyemizi sulandırıyor, yapay zeka tanıdık, tanıdık ve elbette kötü oluyor.

Bu geniş bir uygulama alanıdır. Telefonunuzdaki bir hesap makinesiyle başlar ve gelecekte dünyada devrim yaratacak kendi kendini süren arabaları geliştirerek çok uzaklara gider. AI tüm bunları temsil eder ve kafa karıştırıcıdır.

AI'yı her gün kullanıyoruz, ancak çoğu zaman bunun farkında bile değiliz. 1956'da "yapay zeka" teriminin mucidi John McCarthy'nin dediği gibi, "bir kez çalıştığında, artık kimse ona yapay zeka demiyor." Yapay zeka, gerçek bir şeyden çok geleceğe dair efsanevi bir tahmine dönüştü. Aynı zamanda, bu isim geçmişten gelen ve asla gerçeğe dönüşmemiş bir şeyin tadına da sahiptir. Ray Kurzweil, insanların yapay zekayı 80'lerdeki gerçeklerle ilişkilendirdiğini duyduğunu söylüyor; bu, "2000'lerin başında internetin dotcom'larla birlikte öldüğünü iddia etmekle" kıyaslanabilir.

Açık olalım. İlk olarak, robotları düşünmeyi bırakın. AI'nın kabı olan robot bazen insan formunu taklit eder, bazen etmez, ancak AI'nın kendisi robotun içindeki bilgisayardır. AI bir beyindir ve bir vücudu varsa, bir robot bir vücuttur. Örneğin, Siri'nin yazılımı ve verileri yapay zekadır, bir kadın sesi bu yapay zekanın kişileştirilmesidir ve bu sistemde robot yoktur.

İkincisi, muhtemelen "tekillik" veya "teknolojik tekillik" terimini duymuşsunuzdur. Bu terim, matematikte olağan kuralların artık işlemediği olağandışı bir durumu tanımlamak için kullanılır. Fizikte, bir kara deliğin sonsuz küçük ve yoğun noktasını veya Büyük Patlama'nın orijinal noktasını tanımlamak için kullanılır. Yine, fizik yasaları onun içinde çalışmaz. 1993'te Vernor Vinge, bu terimi, teknolojilerimizin zekasının bizimkini aştığı gelecekte bir ana - bildiğimiz kadarıyla yaşamın sonsuza dek değişeceği ve varoluşunun olağan kurallarının - kullandığı ünlü bir makale yazdı. artık çalışmayacak…. Ray Kurzweil, bu terimi daha da geliştirerek, tekilliğe, hızlanan geri tepme yasası uç bir noktaya ulaştığında, teknolojik ilerleme o kadar hızlı hareket ettiğinde, başarılarını fark etmeyi bıraktığımız zaman, neredeyse sonsuz hızda ulaşılacağına işaret etti. O zaman tamamen yeni bir dünyada yaşayacağız. Bununla birlikte, birçok uzman bu terimi kullanmayı bıraktı, bu yüzden ona sık sık değinmeyelim.

Son olarak, geniş AI kavramından türeyen birçok AI türü veya biçimi olsa da, AI'nın ana kategorileri kalibreye bağlıdır. Üç ana kategori vardır:

Odaklanmış (zayıf) yapay zeka (AI). UII bir alanda uzmanlaşmıştır. Bu yapay zekalar arasında dünya satranç şampiyonunu yenebilecek olanlar da var, ancak bu kadar. Sabit sürücünüzde veri depolamanın en iyi yolunu sunabilecek bir tane var, o kadar.

Genel (güçlü) yapay zeka. Bazen insan düzeyinde AI olarak da adlandırılır. AGI, bir kişi kadar akıllı olan bir bilgisayarı ifade eder - bir kişinin doğasında bulunan herhangi bir entelektüel eylemi gerçekleştirebilen bir makine. YGZ oluşturmak YGZ'den çok daha zordur ve buna henüz ulaşamadık. Profesör Linda Gottfredson, zekayı "genel anlamda, diğer şeylerin yanı sıra akıl yürütme, planlama, problem çözme, soyut düşünme, karmaşık fikirleri anlama, hızlı öğrenme ve deneyimlerden öğrenme yeteneğini içeren psişik potansiyel" olarak tanımlar. AGI, tüm bunları sizin yaptığınız kadar kolay bir şekilde yapabilmelidir.

Yapay süper zeka (ISI). Oxford filozofu ve yapay zeka teorisyeni Nick Bostrom, süper zekayı "bilimsel yaratıcılık, genel bilgelik ve sosyal beceriler dahil olmak üzere hemen hemen her alanda en iyi insan akıllarından çok daha akıllı zeka" olarak tanımlar. Yapay süperzeka, hem bir insandan biraz daha akıllı olan bir bilgisayarı hem de herhangi bir yönde trilyonlarca kat daha akıllı olan bir bilgisayarı içerir. ISI, yapay zekaya artan ilginin yanı sıra "neslinin tükenmesi" ve "ölümsüzlük" kelimelerinin bu tür tartışmalarda sıklıkla kullanılmasının nedenidir.

Günümüzde insanlar, AI kalibresinin ilk aşamasını - AI - birçok yönden zaten fethetti. AI devrimi, AGI'den AGI'ye ve ISI'ye bir yolculuktur. Bu yolda hayatta kalamayabiliriz ama kesinlikle her şeyi değiştirecek.

Alanın önde gelen düşünürlerinin bu yolu nasıl gördüklerine ve bu devrimin neden düşündüğünüzden daha hızlı gerçekleşebileceğine yakından bakalım.

Bu akımın neresindeyiz?

Odaklanmış yapay zeka, belirli bir görevi yerine getirmede insan zekasına veya verimliliğine eşit veya ondan daha büyük olan makine zekasıdır. Birkaç örnek:

* Arabalar, kilitlenme önleyici fren sisteminin ne zaman devreye girmesi gerektiğini belirleyen bilgisayarlardan yakıt enjeksiyon sisteminin parametrelerini belirleyen bir bilgisayara kadar ICD sistemleriyle doludur. Google'ın şu anda test edilmekte olan sürücüsüz arabaları, çevrelerindeki dünyayı algılayan ve tepki veren güçlü yapay zeka sistemleri içerecek.

* Telefonunuz küçük bir ICD fabrikasıdır. Haritalar uygulamasını kullandığınızda, uygulama veya müzik indirme önerileri alın, yarının hava durumunu kontrol edin, Siri ile konuşun veya başka bir şey yapın; yapay zeka kullanıyorsunuz.

* E-posta spam filtreniz, klasik bir yapay zeka türüdür. İstenmeyen postaları kullanılabilir e-postalardan nasıl ayıracağınızı bularak başlar ve ardından e-postalarınızı ve tercihlerinizi ele alırken öğrenir.

* Ve dün bir arama motorunda bir tornavida veya yeni bir plazma ararken, bugün diğer sitelerdeki yardımcı mağazalardan teklifler gördüğünüzde bu garip duygu? Veya sosyal ağ ilginç insanları arkadaş olarak eklemenizi önerdiğinde? Bunların hepsi birlikte çalışan, tercihlerinizi belirleyen, internetten sizinle ilgili verileri alan, size daha da yakınlaşan yapay zeka sistemleridir. Büyük şirketlerin hizmetlerini satmak veya hizmetlerini daha iyi hale getirmek için milyonlarca insanın davranışlarını analiz eder ve bu analizlere dayanarak sonuçlar çıkarırlar.

* Başka bir klasik AI sistemi olan Google Translate, bazı şeylerde etkileyici derecede iyidir. Ses tanıma da öyle. Uçağınız indiğinde, terminali bir kişi tarafından belirlenmez. Bilet fiyatı aynı. Dünyanın en iyi dama, satranç, tavla, buldozer ve diğer oyunları bugün dar odaklı yapay zeka ile temsil edilmektedir.

* Google Arama, sayfaları sıralamak ve SERP'leri belirlemek için inanılmaz derecede akıllı yöntemler kullanan dev bir yapay zekadır.

Ve bu sadece tüketici dünyasında. Gelişmiş IMD sistemleri askeri, imalat ve finans endüstrilerinde yaygın olarak kullanılmaktadır; tıbbi sistemlerde (IBM'in Watson'ını düşünün) vb.

IMD sistemleri mevcut haliyle bir tehdit oluşturmamaktadır. En kötü durumda, buggy veya kötü programlanmış bir yapay zeka, yerel felaketlere, elektrik kesintilerine, finansal piyasaların çökmesine ve benzerlerine yol açabilir. Ancak YGZ varoluşsal bir tehdit yaratma yetkisine sahip olmasa da, olayları daha geniş görmemiz gerekiyor - habercisi AII olan yıkıcı bir kasırga bizi bekliyor. AGI'deki her yeni yenilik, AGI ve ISI'ye giden yola bir blok ekler. Veya, Aaron Saenz'in çok iyi belirttiği gibi, dünyamızın yapay zekaları, "genç Dünya'nın ilkel çorbasının amino asitleri" gibidir - yine de bir gün uyanacak olan yaşamın cansız bileşenleri.

AGI'den AGI'ye giden yol: neden bu kadar zor?

Hiçbir şey, insan zekasının karmaşıklığını, onun kadar akıllı bir bilgisayar yaratmaya çalışmaktan daha fazla ortaya çıkaramaz. Gökdelenler inşa etmek, uzaya uçmak, Büyük Patlama'nın sırları - tüm bunlar kendi beynimizi tekrarlamakla ya da en azından onu anlamakla kıyaslandığında saçmalık. İnsan beyni şu anda bilinen evrendeki en karmaşık nesnedir.

Belki de AGI (sadece bir alanda değil, genel olarak bir kişi olarak akıllı olacak bir bilgisayar) oluşturmanın zorluğunun ne olduğundan şüphelenmiyorsunuz bile. On basamaklı iki sayıyı bir saniyede çarpabilen bir bilgisayar yapmak, armutları bombalamak kadar kolaydır. Bir köpeğe ve bir kediye bakıp köpeğin nerede olduğunu ve kedinin nerede olduğunu söyleyebilecek birini yaratmak inanılmaz derecede zor. Bir büyük ustayı yenebilecek bir yapay zeka mı yaratacaksınız? Yapılmış. Şimdi ona altı yıllık bir kitaptan bir paragraf okutmaya çalışın ve sadece kelimeleri değil anlamlarını da anlayın. Google bunu yapmak için milyarlarca dolar harcıyor. Karmaşık şeylerle - hesaplamalar, finansal piyasa stratejilerini hesaplamak, bir dili çevirmek gibi - bilgisayar bununla kolaylıkla başa çıkıyor, ancak basit şeylerle - vizyon, hareket, algı - hayır. Donald Knuth'un belirttiği gibi, "Yapay zeka artık 'düşünmeyi' gerektiren hemen hemen her şeyi yapıyor, ancak insanların ve hayvanların düşünmeden yaptıklarıyla baş edemiyor."

Bunun nedenlerini düşündüğünüzde, bizim için basit görünen şeylerin, yüz milyonlarca yıllık evrim boyunca bizim (ve hayvanlar) için optimize edilmiş olmaları nedeniyle öyle göründüğünü anlayacaksınız. Bir cisme uzandığınızda, omuzlarınızın, dirseklerinizin ve ellerinizin kasları, eklemleri, kemikleri, gördüklerinizle eş zamanlı olarak uzun fiziksel işlemler zincirini anında gerçekleştirir ve kolunuzu üç boyutlu olarak hareket ettirir. Size basit geliyor çünkü beyninizdeki ideal yazılım bu işlemlerden sorumludur. Bu basit numara, çarpık yazılmış bir kelime (captcha) girerek yeni bir hesap kaydetme prosedürünü sizin için basit ve kötü niyetli bir bot için cehenneme çevirir. Beynimiz için bu zor değil: sadece görebilmeniz gerekiyor.

Öte yandan, büyük sayıları çarpmak veya satranç oynamak biyolojik canlılar için yeni aktivitelerdir ve onları geliştirmek için yeterli zamanımız olmadı (milyonlarca yıl değil), bu yüzden bir bilgisayarın bizi yenmesi zor değil. Bir düşünün: Büyük sayıları çarpabilen bir program mı yoksa milyonlarca yazımında B harfini tanıyan bir program mı, en öngörülemeyen yazı tiplerinde, elle mi yoksa karda bir çubukla mı yaratmayı tercih edersiniz?

Basit bir örnek: Buna baktığınızda, siz ve bilgisayarınız bunların iki farklı tonda değişen kareler olduğunu anlıyorsunuz.

resim
resim

Ancak siyahı kaldırırsanız, hemen resmin tamamını tarif edeceksiniz: silindirler, düzlemler, üç boyutlu açılar, ancak bir bilgisayar yapamaz.

resim
resim

Prensipte doğru olan, farklı tonlarda çeşitli iki boyutlu şekiller olarak gördüğünü tanımlayacaktır. Beyniniz bir resimdeki derinliği, gölge oyununu ve ışığı yorumlamak için tonlarca iş yapar. Aşağıdaki resimde, gerçekte üç boyutlu bir taş varken, bilgisayar iki boyutlu beyaz-gri-siyah bir kolaj görecektir.

resim
resim

Ve az önce özetlediğimiz şey, bilgiyi anlama ve işleme söz konusu olduğunda buzdağının görünen kısmıdır. Bir insanla aynı seviyeye ulaşmak için, bir bilgisayar, ince yüz ifadelerindeki farkı, zevk, üzüntü, tatmin, neşe arasındaki farkı ve Chatsky'nin neden iyi olduğunu ve Molchalin'in neden olmadığını anlamalıdır.

Ne yapalım?

AGI oluşturmanın ilk adımı: artan bilgi işlem gücü

AGI'nin mümkün olması için olması gereken şeylerden biri, bilgi işlem donanımının gücünü artırmaktır. Bir yapay zeka sistemi beyin kadar akıllı olacaksa, ham işlem gücünde beyne uyması gerekir.

Bu yeteneği artırmanın bir yolu, beynin üretebileceği saniye başına toplam hesaplama sayısıdır (OPS) ve bu sayıyı, her beyin yapısı için maksimum OPS'yi bulup bir araya getirerek belirleyebilirsiniz.

Ray Kurzweil, bir yapının OPS'sinin ve tüm beynin ağırlığına göre ağırlığının profesyonel bir tahminini almanın ve ardından genel tahmini elde etmek için orantılı olarak çarpmanın yeterli olduğu sonucuna vardı. Kulağa biraz şüpheli geliyor, ancak bunu farklı alanların farklı tahminleriyle birçok kez yaptı ve her zaman aynı sayıyı buldu: 10 ^ 16 veya 10 katrilyon OPS düzeyinde.

Dünyanın en hızlı süper bilgisayarı olan Çin'in Tianhe-2'si bu sayıyı çoktan aştı: saniyede yaklaşık 32 katrilyon işlem yapma kapasitesine sahip. Ancak Tianhe-2 720 metrekarelik bir alanı kaplıyor, 24 megavat enerji tüketiyor (beynimiz sadece 20 watt tüketiyor) ve 390 milyon dolara mal oluyor. Ticari veya yaygın kullanımdan bahsetmiyoruz.

Kurzweil, bilgisayarların sağlığını 1.000 dolara satın alabileceğiniz OPS sayısına göre değerlendirmemizi önerir. Bu sayı insan seviyesine ulaştığında - 10 katrilyon OPS - AGI hayatımızın bir parçası olabilir.

Moore Yasası - bilgisayarların maksimum hesaplama gücünün her iki yılda bir ikiye katlandığı tarihsel olarak güvenilir kural - insanın tarih boyunca hareketi gibi bilgisayar teknolojisinin gelişiminin katlanarak büyüdüğünü ima eder. Bunu Kurzweil'in bin dolar kuralıyla karşılaştırırsak, şimdi 1.000 dolara 10 trilyon OPS verebiliriz.

resim
resim

1000 dolarlık bilgisayarlar, bilgisayar gücünde bir farenin beynini atlar ve insanlardan bin kat daha zayıftır. Bu, bilgisayarların 1985'te insan beyninden trilyon, 1995'te bir milyar ve 2005'te bir milyon kat daha zayıf olduğunu hatırlayana kadar kötü bir gösterge gibi görünüyor. 2025'e kadar, beynimizin bilgi işlem gücüne rakip olacak uygun fiyatlı bir bilgisayara sahip olmalıyız..

Bu nedenle, AGI için gereken ham güç zaten teknik olarak mevcuttur. 10 yıl içinde Çin'i terk edecek ve dünyaya yayılacak. Ancak bilgi işlem gücü tek başına yeterli değildir. Ve bir sonraki soru şudur: Tüm bu güçle insan seviyesinde zekayı nasıl sağlarız?

AGI oluşturmanın ikinci adımı: ona zeka vermek

Bu kısım oldukça zor. Gerçekte, hiç kimse bir makineyi nasıl akıllı hale getireceğini gerçekten bilmiyor - hala bir kediyi bir köpekten ayırt edebilen, karda çizilmiş bir B'yi izole edebilen ve bir ikinci sınıf film. Ancak, bir avuç ileri görüşlü strateji var ve bir noktada bunlardan biri işe yaramalı.

1. Beyni tekrarlayın

Bu seçenek, bilim insanlarının çok zeki ve soruları yanıtlamada iyi olan bir çocukla aynı sınıfta olmaları gibidir; ve bilimi anlamaya çalışsalar bile, zeki çocuğu yakalamanın yanına bile yaklaşamazlar. Sonunda karar verirler: cehenneme, sadece sorularının cevaplarını yazın. Mantıklı: süper karmaşık bir bilgisayar yapamayız, öyleyse neden evrendeki en iyi prototiplerden birini temel almıyorsunuz: beynimiz?

Bilim dünyası, beynimizin nasıl çalıştığını ve evrimin bu kadar karmaşık bir şeyi nasıl yarattığını anlamak için çok çalışıyor. En iyimser tahminlere göre bunu ancak 2030 yılına kadar yapabilecekler. Ancak beynin tüm sırlarını, verimliliğini ve gücünü anladığımızda, onun teknoloji yaratma yöntemlerinden ilham alabiliriz. Örneğin, beynin işleyişini taklit eden bilgisayar mimarilerinden biri sinir ağıdır. Giriş ve çıkışla birbirine bağlı bir transistör "nöron" ağı ile başlar ve hiçbir şey bilmez - yeni doğmuş bir bebek gibi. Sistem, görevleri tamamlamaya, el yazısı metni tanımaya ve benzerlerine çalışarak "öğrenir". Doğru cevap durumunda transistörler arasındaki bağlantılar güçlendirilir ve yanlış cevap durumunda zayıflar. Birçok soru ve cevap döngüsünden sonra sistem, belirli görevler için optimize edilmiş akıllı sinirsel örgüler oluşturur. Beyin de benzer şekilde öğrenir, ancak çok daha karmaşık bir şekilde ve biz onu incelemeye devam ettikçe, sinir ağlarını iyileştirmenin inanılmaz yeni yollarını keşfediyoruz.

Daha da aşırı intihal, tam beyin öykünmesi adı verilen bir stratejiyi içerir. Amaç: Gerçek bir beyni ince dilimler halinde kesmek için her birini tarayın, ardından yazılımı kullanarak 3B modeli doğru bir şekilde yeniden oluşturun ve ardından onu güçlü bir bilgisayara çevirin. O zaman beynin yapabildiği her şeyi resmi olarak yapabilen bir bilgisayarımız olacak: sadece öğrenmesi ve bilgi toplaması gerekiyor. Mühendisler başarılı olursa, gerçek bir beyni o kadar inanılmaz bir doğrulukla taklit edebilirler ki, bir bilgisayara indirildikten sonra beynin gerçek kimliği ve hafızası bozulmadan kalacaktır. Beyin, ölmeden önce Vadim'e aitse, bilgisayar şimdi insan düzeyinde bir YG olacak olan Vadim rolünde uyanacak ve biz de Vadim'i inanılmaz derecede zeki bir ISI'ye dönüştüreceğiz, ki o kesinlikle olacak. ile sevinmek.

Beyni tamamen taklit etmekten ne kadar uzağız? Gerçekte, toplamda 302 nöron içeren bir milimetrelik yassı solucanın beynini taklit ettik. İnsan beyni 100 milyar nöron içerir. Bu sayıya ulaşmaya çalışmak size beyhude görünüyorsa, ilerlemenin üstel büyüme oranını düşünün. Bir sonraki adım, karınca beyninin öykünmesi olacak, sonra bir fare olacak ve sonra bir kişi kolayca ulaşılabilecek.

2. Evrimin izini sürmeye çalışın

Akıllı bir çocuğun cevaplarının silinemeyecek kadar karmaşık olduğuna karar verirsek, onun öğrenme ve sınavlara hazırlanma konusundaki ayak izlerini takip etmeye çalışabiliriz. Biz ne biliyoruz? Beyin kadar güçlü bir bilgisayar yapmak oldukça mümkündür - kendi beynimizin evrimi bunu kanıtlamıştır. Ve eğer beyin taklit edilemeyecek kadar karmaşıksa, evrimi taklit etmeye çalışabiliriz. Mesele şu ki, beyni taklit edebilsek bile, kuşların kanat hareketlerini taklit eden gülünç el sallayarak bir uçak yapmaya çalışmak gibi olabilir. Çoğu zaman, biyolojinin tam bir taklidi yerine makine odaklı bir yaklaşım kullanarak iyi makineler yaratmayı başarırız.

AGI oluşturmak için evrim nasıl simüle edilir? "Genetik algoritmalar" denen bu yöntemin şöyle bir işe yaraması gerekir: Üretken bir süreç ve onun değerlendirmesi olmalı ve tekrar tekrar kendini tekrar edecektir (aynı şekilde biyolojik canlılar da yeteneklerine göre "vardır" ve "değerlendirilirler". yeniden üretmek). Bir grup bilgisayar, görevleri yerine getirecek ve bunların en başarılısı, özelliklerini diğer bilgisayarlarla "çıktı" olarak paylaşacaktır. Daha az başarılı olanlar acımasızca tarihin çöplüğüne atılacak. Pek çok yineleme yoluyla, bu doğal seçim süreci daha iyi bilgisayarlar üretecektir. Zorluk, evrim sürecinin kendi kendine devam etmesi için üreme ve değerlendirme döngülerinin oluşturulması ve otomatikleştirilmesinde yatmaktadır.

Evrimi kopyalamanın dezavantajı, bir şeyi yapmak için evrimin milyarlarca yıl sürmesi ve bunu yapmak için sadece birkaç on yıla ihtiyacımız olmasıdır.

Ama evrimden farklı olarak birçok avantajımız var. İlk olarak, öngörü yeteneği yoktur, tesadüfen çalışır - örneğin işe yaramaz mutasyonlar verir - ve verilen görevler çerçevesinde süreci kontrol edebiliriz. İkincisi, evrimin zeka arzusu da dahil hiçbir amacı yoktur - bazen çevrede belirli bir tür zeka pahasına kazanmaz (çünkü ikincisi daha fazla enerji tüketir). Biz ise zekayı artırmayı hedefleyebiliriz. Üçüncüsü, zekayı seçmek için evrimin bir dizi üçüncü taraf iyileştirmesi yapması gerekiyor - örneğin enerji tüketimini hücreler tarafından yeniden dağıtmak gibi - fazlalığı ortadan kaldırabilir ve elektriği kullanabiliriz. Şüphesiz, evrimden daha hızlı olacağız - ama yine de onu geçip geçemeyeceğimiz belli değil.

3. Bilgisayarları kendilerine bırakın

Bu, bilim adamlarının tamamen çaresiz kaldığı ve kendini geliştirme için bir program programlamaya çalıştığı son şanstır. Bununla birlikte, bu yöntem, hepsinden daha umut verici olduğunu kanıtlayabilir. Buradaki fikir, iki temel beceriye sahip olacak bir bilgisayar inşa etmemizdir: yapay zekayı araştırmak ve kendi içinde kod değişiklikleri yapmak - bu onun yalnızca daha fazla öğrenmesine değil, aynı zamanda kendi mimarisini de geliştirmesine izin verecektir. Bilgisayarları kendi bilgisayar mühendisleri olacak şekilde eğitebiliriz, böylece kendilerini geliştirebilirler. Ve asıl görevleri nasıl daha akıllı olunacağını bulmak olacak. Bunun hakkında daha ayrıntılı konuşacağız.

Bütün bunlar çok yakında olabilir

Donanımdaki hızlı gelişmeler ve paralel çalışan yazılımlarla denemeler ve AGI iki ana nedenden dolayı hızlı ve beklenmedik bir şekilde ortaya çıkabilir:

1. Üstel büyüme yoğundur ve bir salyangozun adımları hızla yedi millik sıçramalara dönüşebilir - bu-g.webp

resim
resim

animasyonlu resim: hi-news.ru/wp-content/uploads/2015/02/gif.gif

2. Yazılım söz konusu olduğunda, ilerleme yavaş görünebilir, ancak bir atılım anında ilerleme hızını değiştirir (iyi bir örnek: yer merkezli dünya görüşünün olduğu günlerde, insanların evrenin işini hesaplaması zordu, ancak günmerkezliliğin keşfi her şeyi çok daha kolaylaştırdı). Veya iş kendini geliştiren bir bilgisayara gelince, işler son derece yavaş görünebilir, ancak bazen sistemde yapılan tek bir değişiklik, onu insan veya eski bir sürüme kıyasla bin kat verimlilikten ayırır.

AGI'den ISI'ye giden yol

Bir noktada, kesinlikle AGI - genel yapay zeka, genel insan zeka seviyesine sahip bilgisayarlar alacağız. Bilgisayarlar ve insanlar birlikte yaşayacak. Yoksa yapmazlar.

Mesele şu ki, insanlarla aynı seviyede zeka ve bilgi işlem gücüne sahip AGI, insanlara göre hala önemli avantajlara sahip olacak. Örneğin:

Teçhizat

Hız. Beyin nöronları 200 Hz'de çalışırken, modern mikroişlemciler (YGZ oluşturulduğunda elde edeceğimizden önemli ölçüde daha yavaştır) 2 GHz frekansında veya nöronlarımızdan 10 milyon kat daha hızlı çalışır. Ve 120 m / s hızında hareket edebilen beynin iç iletişimi, bilgisayarların optik kullanma yeteneğinden ve ışık hızından önemli ölçüde daha düşüktür.

Boyut ve depolama. Beynin boyutu kafataslarımızın boyutuyla sınırlıdır ve daha da büyüyemez, aksi takdirde 120 m / s hızındaki dahili iletişimin bir yapıdan diğerine seyahat etmesi çok uzun sürer. Bilgisayarlar herhangi bir fiziksel boyuta genişleyebilir, daha fazla donanım kullanabilir, RAM'i artırabilir, uzun süreli bellek - tüm bunlar bizim yeteneklerimizin ötesinde.

Güvenilirlik ve dayanıklılık. Sadece bilgisayar hafızası insan hafızasından daha doğru değildir. Bilgisayar transistörleri biyolojik nöronlardan daha doğrudur ve bozulmaya daha az eğilimlidir (ve gerçekten de değiştirilebilir veya tamir edilebilirler). İnsanların beyinleri daha hızlı yorulurken, bilgisayarlar 7 gün 24 saat kesintisiz çalışabilir.

Yazılım

Düzenleme, modernizasyon, daha geniş bir olasılık yelpazesi. İnsan beyninden farklı olarak, bir bilgisayar programı kolayca düzeltilebilir, güncellenebilir ve denenebilir. İnsan beyninin zayıf olduğu alanlar da yükseltilebilir. Görme için insan yazılımı mükemmel bir şekilde tasarlanmıştır, ancak mühendislik açısından yetenekleri hala çok sınırlıdır - yalnızca görünür ışık spektrumunda görürüz.

Kolektif yetenek. İnsanlar, büyük kolektif zeka açısından diğer türlerden üstündür. Dilin gelişmesi ve büyük toplulukların oluşumu ile başlayarak, yazı ve matbaa icatları boyunca ilerleyen ve şimdi İnternet gibi araçlar tarafından enerjilendirilen insanların kolektif zekası, kendimizi evrimin tacı olarak adlandırabilmemizin önemli bir nedenidir.. Ancak bilgisayarlar yine de daha iyi olacak. Tek bir program üzerinde çalışan, sürekli senkronize olan ve kendi kendini geliştiren dünya çapındaki yapay zeka ağı, nereden alırsanız alın, veritabanına anında yeni bilgiler eklemenize izin verecektir. Böyle bir grup aynı zamanda bir bütün olarak tek bir amaç için çalışabilecektir, çünkü bilgisayarlar insanlar gibi muhalefetten, motivasyondan ve kişisel çıkardan muzdarip değildir.

Programlanmış kendini geliştirme yoluyla AGI haline gelmesi muhtemel olan AI, "insan düzeyinde zekayı" önemli bir kilometre taşı olarak görmeyecek - bu kilometre taşı sadece bizim için önemlidir. Bu şüpheli seviyede durmak için hiçbir nedeni olmayacak. Ve insan seviyesindeki YGZ'nin bile sahip olacağı avantajlar düşünüldüğünde, insan zekasının entelektüel üstünlük yarışında onun için kısa bir parlama olacağı oldukça açıktır.

Olayların bu gelişimi bizi çok ama çok şaşırtabilir. Gerçek şu ki, bizim açımızdan, a) zekanın niteliğini belirlememizi sağlayan tek kriter, varsayılan olarak bizimkinden daha düşük olan hayvanların zekasıdır; b) Bizim için en zeki insanlar DAİMA en aptallardan daha zekidir. Bunun gibi:

resim
resim

Yani yapay zeka sadece bizim gelişme seviyemize ulaşmaya çalışırken, hayvanın seviyesine yaklaşarak nasıl daha akıllı hale geldiğini görüyoruz. İlk insan seviyesine ulaştığında -Nick Bostrom "ülke salağı" terimini kullanıyor - çok memnun olacağız: "Vay canına, o zaten bir moron gibi. Güzel! " Tek şey, köy aptalından Einstein'a kadar insanların genel zeka yelpazesinde, aralığın küçük olmasıdır - bu nedenle, AI aptal seviyesine ulaştıktan ve AGI olduktan sonra, aniden daha akıllı hale gelecektir. Einstein.

resim
resim

Ve sonra ne olacak?

istihbarat patlaması

Umarım ilginç ve eğlenceli bulmuşsunuzdur, çünkü o andan itibaren tartıştığımız konu anormal ve ürkütücü hale geliyor. Durup kendimize, yukarıda ve ötesinde belirtilen her gerçeğin gerçek bilim ve en önde gelen düşünür ve bilim adamlarının geleceğe yönelik gerçek tahminleri olduğunu hatırlatmalıyız. Sadece aklınızda bulundurun.

Bu nedenle, yukarıda belirttiğimiz gibi, AGI'ye ulaşmak için tüm modern modellerimiz, AI'nın kendini geliştirdiği seçeneği içerir. Ve AGI olur olmaz, büyüdüğü sistemler ve yöntemler bile - isterlerse - kendini geliştirecek kadar akıllı hale gelir. İlginç bir kavram ortaya çıkıyor: özyinelemeli kendini geliştirme. Bu şekilde çalışır.

Belirli bir seviyedeki belirli bir AI sistemi - diyelim ki bir köyün aptalı - kendi zekasını geliştirmek için programlanmıştır. Gelişen - diyelim ki Einstein düzeyine kadar - böyle bir sistem Einstein'ın zekasıyla zaten gelişmeye başlar, gelişmesi daha az zaman alır ve sıçramalar giderek daha büyüktür. Sistemin herhangi bir kişiden daha iyi performans göstermesine ve giderek daha fazla olmasına izin veriyorlar. Hızlı gelişimi ile AGI, zekasında göksel zirvelere yükselir ve süper akıllı bir ISI sistemi haline gelir. Bu sürece zeka patlaması denir ve hızlanan getiriler yasasının en açık örneğidir.

Bilim adamları, yapay zekanın YGZ düzeyine ne kadar hızlı ulaşacağını tartışıyorlar - çoğu, YGZ'yi 2040'a kadar, yani sadece 25 yıl içinde alacağımıza inanıyor ki bu, teknoloji geliştirme standartlarına göre çok, çok az. Mantıksal zinciri devam ettirerek, YGZ'den ISI'ye geçişin de son derece hızlı bir şekilde gerçekleşeceğini varsaymak kolaydır. Bunun gibi:

"İlk yapay zeka sisteminin en düşük genel zeka düzeyine ulaşması on yıllar aldı, ama sonunda oldu. Bilgisayar, etrafındaki dünyayı dört yaşında bir insan olarak anlayabilir. Aniden, kelimenin tam anlamıyla bu dönüm noktasına ulaştıktan bir saat sonra, sistem, genel görelilik ile kuantum mekaniğini birleştiren, hiçbir insanın yapamayacağı büyük bir fizik teorisi üretir. Bir buçuk saat sonra AI, herhangi bir insandan 170.000 kat daha akıllı olan ISI olur."

Bu büyüklükteki süper zekayı tanımlamak için doğru terimlere bile sahip değiliz. Bizim dünyamızda "akıllı", IQ'su 130, "aptal" - 85 olan bir kişi anlamına gelir, ancak IQ'su 12,952 olan hiçbir insan örneğine sahip değiliz. Yöneticilerimiz bunun için tasarlanmamıştır.

İnsanlık tarihi bize açık ve net bir şekilde şunu söylüyor: Akıl ile birlikte güç ve kuvvet gelir. Bu, yapay süper zekayı yarattığımız zaman, onun Dünya'daki yaşam tarihindeki en güçlü yaratık olacağı ve insanlar dahil tüm canlıların tamamen onun gücünde olacağı anlamına geliyor - ve bu yirmi yıl içinde olabilir.

Yetersiz beyinlerimiz Wi-Fi bulabilseydi, o zaman bizden yüz, bin, milyar kez daha akıllı bir şey, herhangi bir zamanda evrendeki her atomun konumunu kolayca hesaplayabilir. Sihir olarak adlandırılabilecek her şey, her şeye gücü yeten bir tanrıya atfedilen herhangi bir güç - bunların hepsi ISI'nın emrinde olacak. Yaşlanmayı tersine çevirmek, herhangi bir hastalığı tedavi etmek, açlığı ve hatta ölümü ortadan kaldırmak, havayı kontrol etmek için teknoloji yaratmak - her şey aniden mümkün olacak. Dünyadaki tüm yaşamın anında sona ermesi de mümkündür. Gezegenimizdeki en zeki insanlar, dünyada yapay süper zeka ortaya çıkar çıkmaz, Tanrı'nın Dünya'daki görünümünü belirleyeceği konusunda hemfikirdir. Ve geriye önemli bir soru kalıyor.

Önerilen: