MASTER ALGORITMA -- Yapay Ögrenme Hayatimizi Nasil Degistirecek?

MASTER ALGORITMA -- Yapay Ögrenme Hayatimizi Nasil Degistirecek?

Fevzi BOZKURT
Psikoloji

Pedro DOMINGOS : 
 
Washington Üniversitesi’nde bilgisayar bilimi profesörüdür. Veri bilimindeki en prestijli ödülü olarak kabul edilen SIGKDD Innovasyon Ödülü’ne layik görülmüs bir bilim adamidir.
 
 
Belki farkinda degilsiniz ama yapay ögrenme, hayatin her alaninda  yayilmis durumda. Kitap satin almak için Amazon.com sitesine veya video izlemek için Netflix’e girdiginizde yapay ögrenme sistemi size yardimci olmak için hoslanabileceginiz bazi tavsiyelerde bulunur. Facebook size gösterilecek güncellemeleri belirlemek için yapay ögrenmeyi kullanir. Bilgisayari her kullandiginizda yapay ögrenme muhtemelen bir yerlerde devreye girer.
Geleneksel olarak bilgisayarlarin iki sayiyi toplamaktan bir uçagi  uçurmaya kadar herhangi bir seyi yapmasinin tek yolu, bunun nasil yapilacagini açiklayan bir algoritmayi bütün ayrintilariyla yazmakti.
Cep telefonunuz da algoritmalarla doludur. Bunlar yazim hatalarinizi düzeltmek, sesli komutlarinizi anlamak, iletim hatalarini azaltmak, barkodlari okumak ve daha birçok seyi yapmak için sürekli görev basindadir.
Toplum, ögrenen algoritmalarla adim adim degisiyor. Yapay ögrenme bilim, teknoloji, ticaret, politika ve savasi yeniden sekillendiriyor. Uydular, DNA dizileyiciler ve parçacik hizlandiricilar dogayi en ince ayrintisina kadar inceliyor ve ögrenen algoritmalar veri akisini yeni bilimsel bilgilere dönüstürüyor. Sirketler müsterilerini hiçbir zaman olmadigi kadar çok taniyor. En iyi  seçmen modellerine sahip olan aday seçimi kazaniyor, tipki Obama’nin Romney karsisinda kazandigi gibi.
Google’in sürücüsüz otomobili, yoldan çikmamayi kendi kendine ögretti: Hiçbir mühendis A noktasindan B noktasina nasil gidileceginin adim adim talimatlarini veren bir algoritma yazmadi. Hiç kimse bir otomobili kendi kendine gidecek sekilde nasil programlayacagini bilmiyor ve kimsenin bilmesi de gerekmiyor, çünkü ögrenen algoritmayla donatilmis bir otomobil, sürücünün ne yaptigini gözlemleyerek bunu ögrenir.
Homo sapiens, kendini dünyaya adapte etmek yerine dünyayi kendine adapte eden türdür.
Yapay ögrenme bu milyon yillik destanin en yeni bölümüdür: Onunla birlikte, dünya sizin ne istediginizi anliyor ve parmaginizi bile kipirdatmaniza gerek olmadan isteginize göre degisiyor. Çevreniz-bugün sanal olarak, yarin fiziksel olarak- sihirli bir orman gibi, siz hareket ettikçe kendi kendini yeniden düzenliyor.
Her yil yüzlerce ögrenen algoritma gelistirilir ama hepsi ayni birkaç temel fikre dayanir. Bu kitap da, iste bu temel fikirler hakkinda ve yapay ögrenmenin dünyayi nasil degistirecegini anlamak için de onlari gerçekten bilmeniz gerektigi hakkindadir. Ezoterik olmaktan çok uzak ve bilgisayarlardaki kullanim alanlarindan oldukça ayri olan bu temel fikirler, hepimizi ilgilendiren sorulara yanit verirler: Nasil ögreniriz? Bunun daha iyi bir yolu var mi? Neleri öngörebiliriz? Ögrendigimiz seylere güvenebilir miyiz?
Yapay ögrenme içindeki rakip düsünce ekolleri bu sorulara çok farkli yanit veriyor. Belli basli bes tane vardir ve bunlarin her birine bir bölüm ayirdik. Yapay ögrenmenin bes ana kolunun her biri kendine özgü Master Algoritma’ya sahiptir.
Master Algoritma, prensipte her türden alandaki veriden bilgiye ulasmak için kullanabileceginiz genel amaçli bir ögrenicidir. Master Algoritma, eger varsa, dünyadaki geçmis, simdiki ve gelecek tüm bilgi birikimini verilerden elde edebilir. Onun icadi, bilim tarihindeki en büyük ilerlemelerden biri olacaktir.
Yapay Ögrenme Devrimi
Algoritmalar çaginda yasiyoruz. Sadece bir iki kusak önce, algoritma denince çogu kisinin zihninde bir sey canlanmazdi. Günümüzde ise algoritmalar uygarligin her kösesinde. Gündelik hayatin her dokusuna islenmis durumda. Sadece cep telefonunuz veya dizüstü bilgisayarinizda degil  evinizde, cihazlarinizda ve oyuncaklarinizda da. Bankaniz, insanlarin orada burada dügmelere dokundugu devasa bir algoritmalar yigini. Algoritmalar uçak  seferlerini planliyor ve daha sonra da uçaklari uçuruyor. Algoritmalar fabrikalari isletiyor, mallari satip sevk ediyor, tahsilat yapiyor ve kayit tutuyor. Her bir algoritma aniden duruverse bildigimiz haliyle dünyanin sonu gelirdi.
Algoritma, bilgisayara nelerin yapilmasi gerektigini söyleyen talimatlar dizisidir. Bilgisayarlar, transistor adi verilen milyarlarca küçük anahtardan olusur ve algoritmalar bu anahtarlari saniyede milyarca kez açip kapatir. En basit algoritma, anahtari çevirmektir. Bir transistorun durumu, en küçük bilgi dagarcigidir: transistor etkinse bir, degilse sifir. Bankanizin bilgisayarlarindaki  bir bit, hesap bakiyenizin yeterli olup olmadigini söyler. Sosyal Güvenlik Kurumu'nun bilgisayarlarindaki bir baska bit, sizin hayatta olup olmadiginizi söyler.
Ikinci en basit algoritma, iki biti birlestirmektir. Bilgi kuraminin babasi olarak taninan Claude Shannon, transistorlarin birbirine yanit olarak açilip kapatildikça ne yaptigini fark eden ilk kisidir: uslamlama.
Insanlar genellikle bilgisayarlarin tamamen sayilardan ibaret oldugunu düsünür, oysa bilgisayarlar sayilardan degil tamamen mantiktan ibarettir. Sayilar ve aritmetik, mantiktan yapilmistir, tipki bilgisayarda geri kalan her sey gibi.
Michelangelo, yaptigi tek seyin heykelleri mermer blogunun içinde görmek ve heykel ortaya çikana dek de tasin fazlaliklarini yontmak oldugunu söylemistir. Benzer bir biçimde, algoritma da ister bir uçagin otomatik pilotu ister yeni bir Pixar filmi olsun amaçlanan islevi gerçeklestirmek için bilgisayarlardaki asiri transistörleri kesip atar.
Her bilgisayar bilimci, karmasiklik canavariyla her gün mücadele eder. Bilgisayar bilimciler savasi kaybettiginde karmasiklik hayatlarimiza girer. Büyük olasilikla birçok savasin kaybedildigini fark etmissinizdir. Yine de algoritmalar kulemizi giderek daha fazla zorlanarak da olsa insa etmeye devam ederiz. Her yeni algoritma kusagi, daha öncekilerin üstüne insa edilmek ve kendi karmasikliginin yani sira onlarin karmasikligiyla da basa çikmak zorundadir. Kule gittikçe yükselir ve tüm dünyayi kaplar ama çökmeyi bekleyen kâgittan kuleler gibi gittikçe daha kirilganlasir. Bir algoritmadaki ufacik bir hata yüzünden milyar dolarlik bir roket patlayabilir veya milyonlarca kisi elektriksiz kalabilir. Algoritmalarin beklenemedik bir biçimde etkilesime girmesi sonucunda borsa çökebilir.
Programcilar ufak çapli birer tanriysa, karmasiklik canavari da seytanin ta  kendisidir.  Küçük  adimlarla  savasi  kazanmaktadir.  Bunun  daha  iyi bir yolunu bulmak gerekir.
Bazi ögrenen algoritmalar bilgi dagarcigini ögrenirken, bazilari yetenekleri ögrenir. “Bütün insanlar ölümlüdür” bir bilgi dagarcigi parçasidir. Bisiklet  sürmek ise yetenektir. Yapay ögrenmede bilgi dagarcigi genellikle istatiksel modeller seklindedir çünkü çogu bilgi dagarcigi istatistikseldir: Bütün insanlar ölümlüdür ama yalnizca yüzde 4'ü Amerikalidir. Yetenekler ise genellikle prosedürler seklindedir: Yol sola kivriliyorsa direksiyonu sola cevir veya önüne bir geyik çikarsa frene bas. (Ne yazik ki bu satirlarin yazildigi tarihte, Google'in sürücüsüz otomobilleri, geyikleri rüzgârda uçusan plastik posetlerden ayiramiyordu.)
Prosedürler genellikle çok basittir ve karmasik olan, onlarin temelindeki bilgi dagarcigidir. Hangi elektronik postalarin istenmedigi belliyse hangilerinin silinmesi gerektigini bilebilirsiniz. Satranç tahtasinda hangi pozisyonun iyi oldugu belliyse hangi hamlenin yapilmasi gerektigini (en iyi pozisyonu saglayan hamleyi) bilebilirsiniz.
Yapay ögrenme birçok farkli sekle bürünür ve birçok farkli ad alir: örüntü tanima, istatistiksel modelleme, veri madenciligi, bilgi dagarcigi kesfi, öngörücü analiz, veri bilimi, adaptif sistemler, özörgütlenmeli sistemler vs. Bunlarin her  biri farkli topluluklar tarafindan kullanilir ve farkli çagrisimlara sahiptir. Bazilari uzun bir yari-yasam süresine sahiptir, bazilarinda bu süre daha kisadir. Bu kitapta yapay ögrenme terimini bunlarin tümünü kapsayacak sekilde genis anlamda kullaniyorum.
Yapay ögrenme bazen Yapay Zekâ ile (Artificial Intelligence -AI) karistirilir. Teknik olarak, yapay ögrenme Yapay Zekânin bir alt alanidir ama öylesine büyük ve basarili bir sekilde gelismekte ki gururlu ebeveynini simdiden gölgede birakti.
Yapay Zeka'nin amaci, bilgisayarlara insanlarin hâlihazirda yaptigi seyleri daha iyi yapmayi ögretmektir ve ögrenme bunlarin en önemlisi olarak görülebilir. Ögrenme olmadan hiçbir bilgisayar insana uzun süre ayak uyduramaz; ögrenme olduktan sonra gerisi gelir.
Bilgi isleme ekosisteminde, ögreniciler süper yirticilardir. Veri tabanlari, arama robotlari, dizin olusturucular vs uçsuz bucaksiz veri tarlalarinda sabirla isini yapan otçullardir. Istatistiksel algoritmalar, çevrimiçi analitik islem vs yirticilardir. Otçullar gereklidir çünkü onlar olmadan digerleri de var olamazdi ama süper yirticilarin hayati daha heyecanlidir. Arama robotlari bir inege benzetilebilir, web tüm dünyaya yayilan bir çayir ve her web sayfasi da bir sap ottur. Arama robotu isini tamamladiginda, hard disklerinde web’in bir kopyasi durur. Dizin olusturucu, tipki bir kitabin sonundaki dizin gibi, her sözcügün göründügü sayfalarin listesini olusturur. Veri tabanlari filler gibi büyük ve  agirdir asla unutmazlar. Bu sabirli hayvanlarin arasinda istatiksel ve analitik algoritmalar verileri kompakt hale getirip ayiklar ve bilgiye dönüstürür. Ögreniciler bu bilgiyi yer, sindirir ve bilgi dagarcigina dönüstürür.
Sanayi Devrimi, elle çalismayi otomatik hale getirmis, Bilgi Devrimi de ayni seyi zihinsel çalisma için yapmistir ama yapay ögrenme otomasyonun kendisini otomatik hale getirir. Bu olmaksizin programcilar ilerlemenin önündeki engel haline gelirler. Bunun sayesinde ilerlemenin hizi artar.
Tembel ve pek de parlak olmayan bir bilgisayar bilimciyseniz, yapay ögrenme sizin için ideal bir ugrastir çünkü bütün isi ögrenen algoritmalar yapar ama bütün övgüyü siz alirsiniz. Öte yandan ögrenen  algoritmalar, siirsel adaletin neticesi olarak isimizi elimizden alabilir.
Isletmeler yapay ögrenmeye neden sicak bakiyor?
Google neden Yahoo'dan çok daha degerli? Her ikisi de web üzerinde reklam yayinlamaktan para kazaniyor ve her ikisi de en önemli ugrak noktalari. Her ikisi de reklam satmak için açik arttirma yöntemini, kullanicinin bir reklami tiklama olasiligini (olasilik ne kadar yüksekse reklam o kadar degerli) öngörmek için de yapay ögrenmeyi kullaniyor. Ancak Google'in ögrenen algoritmalari, Yahoo'nunkilerden çok daha iyi. Bu elbette  ki piyasa degerlerindeki farkin tek nedeni degil ama oldukça önemli. Öngörüldügü halde gerçeklesmeyen her tiklama, reklamci için bosa harcanmis bir firsat ve web sitesi için de gelir kaybidir.
Google'in yapay ögrenmenin büyük bir tutkunu oldugu ve Yahoo'yla digerlerinin ona yetismeye çalistigi süphe götürmez.
Web reklamciligi, çok daha büyük bir fenomenin sadece tek göstergesidir. Her piyasada, bir islem gerçeklesmeden önce üretici ve tüketicilerin baglanti kurmasi gerekir. Internetten önce, bunun önündeki baslica engeller fizikseldi. Yalnizca, kendi bölgenizdeki kitapçidan kitaplar alabiliyordunuz ve onun da  raflari sinirliydi. Ama istediginiz her kitabi her an elektronik okuyucunuza indirebildiginizde, problem artik seçenegin çok fazla olmasidir. Milyonlarca kitap satan bir kitapçinin raflarina nasil göz atabilirsiniz ki?
Sirketler büyürken üç asamadan geçer:
 Ilk basta her seyi manuel olarak yaparlar: Aile isletmelerinin sahipleri müsterilerini kisisel olarak tanir ve buna uygun ürünler siparis eder, sergiler ve tavsiye eder. Bu asama sorunsuzdur ama genislemeye açik degildir.
 Ikinci ve en mutsuz asamada, sirket bilgisayar kullanmaya ihtiyaç duyacak kadar büyür. Programcilar, danismanlar ve veri tabani yöneticileri devreye girer ve sirketin otomatik hale getirilebilecek tüm islevlerini otomatiklestirmek için milyonlarca satir kod yazilir. Çok daha fazla insana hizmet verilir ama yine de yeterli degildir: Kararlar islenmemis demografik kategorilere göre alinir ve bilgisayar programlari insanlarin sonsuz çok yönlülügüne yanit verebilecek kadar esnek degildir.
Bir noktadan sonra ihtiyaç duyulan her seyi yapmak için yeterli programci ve danisman olmaz ve sirket ister istemez yapay ögrenmeye yönelir.
Nasil ki veri tabanlarina sahip olmayan bir banka sahip olan diger bankalarla rekabet edemezse, yapay ögrenmeyi kullanmayan bir sirket de diger sirketlere ayak uyduramaz.
Yapay ögrenme, sisirilmis bilimsel yöntemdir. Hipotezleri üretme, test etme ve iskartaya çikarma veya rafine etme sürecini izler. Ama bilim insanlari  hayatlari boyunca sadece birkaç yüz hipotez ortaya atip test edebilirken, bir yapay ögrenme sistemi ayni seyi bir saniyeden kisa sürede yapabilir. Yapay ögrenme, kesfi otomatik hale getirir. Bu nedenle hem bilim hem de is dünyasinda devrim etkisi yaratmasi hiç sasirtici degildir.
Bilgisayarlar icat edilmemis olsaydi, bilim 20. Yüzyilin ikinci yarisinda durma noktasina gelirdi. Bilim insanlari halen kaydedebildikleri sinirli ilerlemeye
 
odaklanmis olduklari için bunu hemen fark etmeyebilirdi ama bu ilerlemenin üst siniri çok ama çok daha alçakta olurdu. Benzer bir biçimde, yapay ögrenme olmaksizin birçok bilim dalinda gelecek on yillarda verim düserdi.
2011’de “büyük veri” fikri hiç olmadigi kadar yayginlasinca, yapay ögrenme küresel ekonominin geleceginin merkezine oturmustur. Günümüzde yapay ögrenmenin kendini hissettirmedigi bir insani ugrasi alani neredeyse kalmamis gibidir; müzik, spor ve sarap tadimi gibi en zayif görünen adaylar bile bunlarin arasinda yerini almistir.
Master Algoritma
Yapay ögrenmenin uygulama yayginligindan daha da sasirtici olan sey, bu farkli seylerin tümünü ayni algoritmalarin yapmasidir. Iki farkli problemle karsi karsiyasaniz, Yapay ögrenme olmadikça iki farkli program yazmaniz gerekir. Ayni altyapinin bir kismini, örnegin ayni programlama dilini veya ayni veri tabani sistemini kullanabilirler. Ama örnegin satranç oynayan bir program ile kredi  karti uygulamalari gerçeklestirmek isterseniz hiçbir fayda saglamaz.
Yapay ögrenmede, ögrenmesi için uygun veriyi sagladiginiz takdirde ayni algoritma her ikisini de yapar. Aslinda Yapay ögrenme uygulamalarinin büyük bir çogunlugundan sadece birkaç algoritma sorumludur.
Sinirbilime dayali argüman 2000  yilinin  Nisan  ayinda,  MIT'de  görev  yapan  bir  sinirbilimciler ekibi Nature dergisinde olagandisi bir deneyim sonuçlarini duyurdu.
Bir dag gelinciginin beyninin baglantilarini yeniden olusturdular: Gözlerin baglantilarini isitsel kortekse (beynin sesleri isitmekten sorumlu olan kismina) ve kulaklarin baglantilarini görsel kortekse yönlendirdiler. Dag gelinciginin ciddi bir biçimde sakat kaldigini düsünebilirsiniz ama öyle olmadi: Isitsel korteks görmeyi, görsel korteks de isitmeyi ögrendi ve dag gelincigi iyiydi.
Normal memelilerde görsel korteks retinanin bir haritasini içerir: Retinanin komsu bölgelerine baglanan nöronlar kortekste birbirlerine yakindir. Baglantilari yeniden kurulan dag gelinciklerinde, isitsel korteks retinanin bir haritasini gelistirmisti. Görsel girdi dokunma algisindan sorumlu beden-duyusal kortekse yönlendirilirse, o kisim da görmeyi ögrenir. Diger memeliler de bu yetenege sahiptir. Dogustan görme engellilerde görsel korteks, beynin baska islevlerini üstlenebilir. Duyma engellilerde de isitsel korteks ayni seyi yapar. Görme engelliler, baslarina takilan bir kameradan dillerine yerlestirilen bir dizi elektroda video görüntüleri göndererek dilleriyle “görmeyi” ögrenebilir. Yüksek voltajlar parlak piksellere karsilik gelirken, düsük voltajlar koyu piksellere karsilik gelir. Ben Underwood adli görme engelli çocuk, gezinmek için yarasalarin yaptigi gibi sesle yer belirlemeyi (ekolokasyon) kendi kendine ögrenmistir. Diliyle çikardigi seslerin yankilarini dinleyerek engellere çarpmadan yürüyebiliyor, kaykaya binebiliyor ve hatta basketbol oynayabiliyordu. Tüm bunlar, beynin yalnizca baglantili olduklari farkli girdilere göre ayirt edilebilen farkli duyulara tahsis edilmis (örnegin gözler, kulaklar, burun) alanlarinda ayni ögrenme  algoritmasinin kullanildigini kanitlar.
Yasamin sonsuz çesitliligi bir tek mekanizmanin sonucudur: dogal seçilim (seleksiyon). Daha da dikkat çekici olan, bunun bilgisayar bilimcilerin çok asina oldugu türden bir mekanizma olmasidir.
Yinelemeli arastirmaya çok benzer: Bir problemi birçok aday çözümü deneyerek, en iyi olanlari seçip düzenleyerek ve bu adimlari gerektigi kadar tekrarlayarak çözeriz.
Evrime dayali argüman
Evrim bir algoritmadir. Victoria döneminde yasamis olan bilgisayarin öncüsü Charles Babbage'in ifadesiyle, Tanri türleri degil türleri yaratmanin algoritmasini yaratmistir.
Darwin'in Türlerin Kökeni kitabinin sonuç kisminda sözünü ettigi “basit bir baslangiçtan en güzel sonsuz biçimin türemesi” en güzel birlik fikriyle çelisir: Tüm bu biçimler, DNA dizilimlerinde kodlanir ve hepsi bu dizilimlerin degistirilmesi ve birlestirilmesiyle ortaya çikar. Sadece bu algoritmanin bir tanimindan yola çikarak, onun sizi ve beni üretebilecegini kim tahmin ederdi ki?
Evrim bizi ögrenebiliyorsa yeterince güçlü bir bilgisayarda uygulanmasi kosuluyla ögrenilebilecek her seyi ögrenebilir.
Evrim, basit bir ögrenen algoritmanin yeterince veriye sahip olmasi durumunda ne kadar çok sey basarabileceginin en büyük örnegidir. Evrimin girdisi, simdiye dek var olmus tüm canlilarin deneyim ve kaderidir.
Master Algoritma tilki mi, yoksa kirpi mi?
Insan eli basittir; dört parmak ve bir basparmaktan olusur ama sayisiz araç yapabilir veya kullanabilir. Kalem, kiliç, tornavida ve çatal için el neyse, algoritmalar için de Master Algoritma odur.
Isaiah Berlin’in unutulmaz biçimde belirttigi gibi, kimi düsünürler tilkidir yani birçok küçük seyi bilirler ama kimileri de kirpidir yani tek bir büyük seyi bilirler.
Ayni sey ögrenen algoritmalar için de geçerlidir. Umarim Master Algoritma bir kirpidir ama eger tilkiyse onu yakin bir zamanda yakalayabilmemiz mümkün olmayabilir. Günümüzün ögrenen Algoritmalarinin en büyük problemi, çok sayida olmalari degildir; çok faydali olmalarina ragmen henüz istedigimiz her seyi yapmamalaridir.
Bilim günümüzde tam anlamiyla bölünmüstür; her alt toplulugun kendi jargonunu konustugu ve yalnizca kendisine yakin birkaç alt toplulugu görebildigi bir Babil Kulesi’dir. Master Algoritma tüm bilimlerin birlestirici bir görünüsünü sunacak ve potansiyel olarak her sey hakkinda yeni bir teoriye yol açacaktir.
YAPAY ÖGRENME ÜZERINE KURULU DÜNYA
Günümüzde dört tür veriniz olabilir:
Herkesle paylastiginiz veriler,
Arkadaslariniz ve is arkadaslarinizla paylastiginiz veriler,
Çesitli sirketlerle (bilerek veya bilmeyerek) paylastiginiz veriler,
Hiç paylasmadiginiz veriler.
Amazon ve TripAdvisor’da yaptiginiz degerlendirmeler, eBay geribesleme skorlariniz, LinkedIn özgeçmisleriniz, blog yazilariniz, tweet’leriniz vs ilk veri türüne girer.
Bu veriler çok kiymetlidir ve dört veri türü içinde en az sorunlu olanlaridir.
Siz istediginiz için herkes bu verilere ulasabilir ve bunlardan faydalanabilir.
Paylasmak ya da Paylasmamak, Nerede ve Nasil?
Atlantic'ten Alexis Madrigal'in isaret ettigi gibi, günümüzde profiliniz olsa olsa yarim sent karsiliginda satin alinabilir ama internet reklam endüstrisi için bir kullanicinin degeri yilda l.200 dolar kadardir. Google'daki verileriniz yaklasik 20 dolar, Facebook'taki verileriniz yaklasik 5 dolar eder vs.
Bu verilere henüz hiç kimsenin sahip olmadigi verileri de ekleyin. Bütünün degerinin parçalarin degerinin toplamindan fazlasi oldugunu da düsünürsek, tüm verilerinize dayali bir model, binlerce parçaya dayali binlerce modelden çok daha degerlidir. Amerika Birlesik Devletleri büyüklügündeki bir ekonomi için yilda bir trilyon dolari asan bir meblagdan kolayca söz edebiliriz. Bu durumda, Fortune 500 listesine giren bir sirket haline gelmek isten bile sayilmaz. Bunu deneyip dolar milyarderi olursaniz, nereden esinlendiginizi unutmayin.
Elbette ki mevcut sirketlerden bazilari dijital modelinizi barindirmaya can atacaktir. Örnegin, Google. Sergey Brin, “Google’in beyninizin üçüncü yarisi olmasini istiyoruz" diyor. Google'in satin aldigi bazi sirketlerin kullanici veri akisinin, Goolge'in kullanici veri akisini tamamlayan cinsten olmasi  muhtemelen tesadüfi degildir.
Google ve Facebook gibi sirketler yarisa önde baslayacak olsalar da çikar çatismasi nedeniyle dijital modelinizi barindirmaya uygun degildir. Bu sirketler reklamlari hedef kitleye yönlendirerek para kazanirlar ve sizin çikarlarinizla reklamcilarin çikarlari arasinda denge kurmak zorundadirlar. Beyninizin ilk veya ikinci yarisinin çatisan bagliliklara sahip olmasini istemeyeceginize göre, beyninizin üçüncü yarisinda bunu neden isteyesiniz?
Dikkat çekici bir olasilik da hükümetin verilerinizi mahkeme karariyla incelemesi veya hatta modeliniz bir suçlunun modeline benziyorsa Azinlik Raporu (Minority Report) filminde oldugu gibi suçu önlemek için sizi hapse atmasidir. Veri sirketiniz bunu önlemek için her seyi sifreleyebilir ve sifreyi sadece size verebilir. (Bugünlerde sifreli veriler üzerinden sifreyi çözmeden de hesaplamalar yapabilirsiniz.) Alternatif olarak, her seyi evinizdeki hard diskinizde tutabilirsiniz ve sirket size gerekli yazilimi kiralar.
Kendi kralliginizin anahtarlarinin kâr amaci güden bir kurumun elinde olmasi fikrinden hoslanmadiysaniz bunun yerine bir veri birligine katilabilirsiniz. (Böyle bir veri birligi yoksa kendiniz kurmayi düsünebilirsiniz.)
Yirminci yüzyilda isçiler ve isverenler arasinda denge saglamak için sendikalara ihtiyaç duyulmustu. Yirmi birinci yüzyilda da benzer bir nedenle veri birliklerine ihtiyaç duyulacaktir. Sirketler, verileri toplama ve kullanma noktasinda bireylerden çok daha büyük bir kapasiteye sahiptir. Bu güç dengesizligine yol açar ve veriler ne kadar degerli olursa, onlardan ögrenilebilecek modeller o kadar iyi ve faydali olur ve dengesizlik de o kadar büyür.
Veri birligi, üyelerinin verilerin kullanimi hakkinda sirketlerle esit sartlar altinda pazarlik etmesini saglar. Belki de sendikalar da sürece dahil olabilir ve üyeleri için veri birlikleri kurarak tabanlarini genisletebilirler. Fakat sendikalar meslek ve bölge temelinde örgütlenirken, veri birlikleri daha esnek olabilir. Ortak noktalarinizin çok oldugu insanlarla bir araya gelirseniz ögrenilen modeller sizin için çok daha faydali olacaktir.
Bir veri birligine üye olmak, diger tüm üyelerin verilerinizi görebilecegi anlamina gelmez; herkesin havuza konan verilerden ögrenilen modelleri kullanabilecegi anlamina gelir. Veri birlikleri, politikacilara isteklerinizi iletmenin bir araci da olabilir. Verileriniz, dünyayi oyunuz kadar, hatta daha fazla etkileyebilir, çünkü yalnizca seçim günlerinde sandik basina gidersiniz. Diger tüm günlerde verileriniz oyunuzdur. Ayaga kalkin ve ne kadar kalabalik oldugunuzu  gösterin!
Simdiye kadar mahremiyet sözcügünü hiç kullanmadim. Bu tesadüfi degil. Mahremiyet veri paylasimi sorunun yalnizca bir boyutu ve bugüne kadar birçok tartismada yapildigi gibi ona odaklanarak sorunun bütününü gözden kaçirirsak yanlis sonuçlara ulasabiliriz. Örnegin verilerin asil amaçlari disinda her türlü kullanimini engelleyen yasalar asiri miyoptur.
Insanlar bir web sitesinde profil bilgilerini doldururken yaptiklari gibi  baska yararlar ugruna mahremiyetten vazgeçmek durumunda kaldiginda, mahrem degeri "Mahremiyet endisesi duyuyor musunuz?" gibi soyut sorulara alacagimiz yanitlardan çok daha düsüktür. Fakat mahremiyet tartismalari genellikle soyut sorular üzerinden yürütülüyor.
Avrupa. Birligi Adalet Divani, insanlarin unutulma hakkinin yani sira hatirlama hakkina da sahip olduguna karar kilmistir; bu hatirlama kendi nöronlari araciligiyla da olabilir, bir sabit disk araciligiyla da. Sirketler için de ayni sey geçerlidir ve bir noktaya kadar kullanicilar, veri toplayicilar ve reklamcilarin çikarlari örtüsür. Dikkatin bosa harcanmasi hiç kimsenin yararina degildir ve daha iyi veriler daha iyi ürünler üretir. Mahremiyet, çogu zaman aksi düsünülse de birinin kaybinin digerinin kazanci oldugu bir oyun degildir.
Günümüzde çogu insan, hem kendileri hakkinda ne kadar çok veri toplandiginin, hem de bunun potansiyel külfet ve yararlarinin ne oldugunun farkinda degil. Sirketler bir patlama endisesiyle bunu simdilik sessiz sedasiz yürütmekten memnunmus gibi görünüyor. Ama er ya da geç bir patlama yasanacak ve bunu izleyen büyük kargasada hiç kimseye hizmet etmeyen çok hasin yasalar çikacak. Bu nedenle simdiden farkindaligi artirmak ve herkesin neleri paylasip neleri paylasmayacagi ve paylastigi verileri nerede ve nasil paylasacagi hakkindaki bireysel tercihlerini yapmasini saglamak en iyisi.
Sinirsel bir ag isimi elimden aldi
Mesleginizde beyninizin ne kadarini kullaniyorsunuz? Beyninizi ne kadar çok kullaniyorsaniz o kadar güvendesiniz. Yapay Zekânin ilk zamanlarinda bilgisayarlarin beyaz yakalilardan önce mavi yakalilari isinden edecegi düsünülmüstü. Çünkü beyaz yakalilarin isleri beyni daha çok kullanmayi gerektiriyordu. Ancak beklenen olmadi. Robotlar otomobillerin parçalarini bir araya getiriyorlar ama insaat isçilerinin yerini almadilar. Öte yandan yapay ögrenme algoritmalari kredi analistleri ve dogrudan pazarlamacilarin isini ellerinden aliyor. Insanlar için durum tam tersi olsa da makineler için kredi basvurularini degerlendirmek, bir insaat alanina takilip düsmeden gezinmekten daha kolaydir.
Beyninizin büyük bir kismi görmek ve hareket etmek için ayrilmistir; bu, etrafta dolasmanin zannedildiginden çok daha karmasik oldugunun bir isaretedir.
Evrim sayesinde kusursuz hale geldikten sonra bunu çogunlukla bilinçdisi bir biçimde yaptigimiz için etrafta sorunsuzca dolanmayi dogal karsilariz. Narrative Science sirketi, beyzbol oyunlarinin oldukça iyi özetlerini yazabilen bir Yapay Zeka sistemine sahip ama ayni sistem roman yazamaz, çünkü, George F. Will'in hosgörüsüne siginarak, hayatta beysbol oyunlarindan çok daha fazla seyin oldugunu söyleyebiliriz. Konusma tanima, bilgisayarlar için zordur, çünkü konusan kisinin neden bahsettigi hakkinda hiçbir fikriniz olmadiginda bosluklari doldurmak, konusmacinin rutin bir biçimde yuvarladigi sesleri anlamak zordur. Algoritmalar, hisse senedi dalgalanmalarini öngörebilirler ama bunlarin politikayla iliskisini kurabilmek için hiçbir ipucuna sahip degiller.
Bir meslek ne kadar çok baglam gerektiriyorsa, bilgisayarlarin onu  basarma ihtimali o kadar düsüktür. Sagduyu yalnizca anneniz size bunu ögütledigi için degil, bilgisayarlar sagduyuya sahip olmadigi için de önemlidir.
Bir bilgisayar isinizi yapmayi ögrendiyse, onunla rekabet etmeye kalkmayin; ondan yararlanin. H&R Block halen faaliyette ama vergi beyannamesi hazirlayanlarin isi eskisinden çok daha az zahmetli; çünkü artik isin zahmetli kismi büyük ölçüde bilgisayarlar tarafindan yapiliyor.
Bugünlerde en iyi satranç oyunculari, yari insan yari programdir. Borsa analistlerinden beysboldaki yetenek avcilarina kadar daha birçok meslek için de aynisi geçerlidir. Rekabet, insanla makine arasinda degil, makinesi olan ve olmayan insanlar arasindadir.
Veri ve sezgi, binici gibidir; attan hizli kosmaya çalismayin, ati sürün!
Bilgisayarlarin ve robotlarin her seyi daha iyi yapabilecegi bir gün gelse bile ki bu yakin gelecekte olmayacak-en azindan bazilarimiz için halen is olacaktir.
Bir robot kusursuz bir biçimde barmenlik yapabilir ve müsterilerle küçük sohbetler bile edebilir ama bar isletmecileri sirf insan olduklari için insanlari çalistirmayi tercih edebilirler. Günümüzde el isi ürünlerin daha çok ragbet görmesi gibi, insan garsonlarin çalistigi restoranlar da daha çok ragbet  görecektir. Filmler, otomobiller ve sürat teknelerine ragmen insanlar yine  tiyatroya gidiyor, ata biniyor ve yelkenlilerle seyahat ediyorlar. Daha da önemlisi, bazi profesyonellerden gerçekten de vazgeçilemeyecek çünkü isleri bilgisayarlarin ve robotlarin dogasi geregi sahip olmayacaklari bir sey gerektiriyor: insan deneyimi. Samimiyet ve yilisiklik gerektiren islerden söz etmiyorum, çünkü bunu taklit etmek zor degil; robot evcil hayvanlarin basarisi bunun bir göstergesidir. Insan olma deneyimi olmaksizin hiçbir sekilde anlayamayacaginiz beserî bilimleri kastediyorum. Beserî bilimlerin yok olma sarmalina girdiginden endiselensek de diger meslekler otomatik hale geldikten sonra küllerinden dogacaklar. Gittikçe daha çok sey makineler tarafindan ucuza yapildikça, sosyal bilimcilerin katkisi daha da deger kazanacak.
Aksine, bilim insanlarinin gelecegi, ne yazik ki çok parlak degil.  Gelecekte tek bilimciler pekâlâ bilgisayar bilimciler olabilir; yani bilim bilgisayarlar tarafindan yapilabilir.
Emegin toplam degeri önemli ölçüde düstügü için dogal kaynaklarinin ülke nüfusuna orani önem kazanacak. Bu oranin en yüksek oldugu ülkeler, en  varlikli ülkeler haline gelecek.
Insanlar en az simdiki kadar insan iliskilerinde, kendini gerçeklestirmede ve spiritüellikte anlam arayacaklar. Geçimini saglama ihtiyaci, insanligin barbarca geçmisinin bir diger örnegi olarak tarihin tozlu sayfalari arasinda yerini alacaktir.
Savas insanlarin isi degil
Bilimi otomatik hale getirmekten daha zor olsa da askerlik de otomatik  hale getirilecek. Robotlarin baslica kullanim alanlarindan biri, insanlar için çok tehlikeli olan seyleri yapmaktir ve savasmak da çok tehlikelidir. Robotlar hâlihazirda bombalari etkisiz hale getiriyor ve insansiz hava araçlari bir müfrezenin araziyi gözden geçirmesine imkân taniyor. Kendi kendine ilerleyen erzak kamyonlari ve robot katirlar yolda.
Yakinda robotlarin kendi baslarina tetigi çekmelerine izin verilip verilmeyecegini karara baglamamiz gerekecek. Bunu savunanlar, bu sayede insanlarin zarar görmesini engelleyebilecegimizi ve hizli seyreden çatisma kosullarinda uzaktan kontrolün mümkün olmadigini ileri sürüyorlar. Buna karsi çikanlar ise robotlarin ahlaki anlayamadigini ve dolayisiyla hayati kararlarda onlara güvenemeyecegimizi savunuyorlar. Ancak onlara bunu ögretebiliriz. Daha derinlerdeki soru, buna henüz hazir olup olmadigimizdir.
Askeri gereklilik, orantililik ve sivilleri ayirt etmek gibi genel prensipleri ortaya koymak zor degil. Ancak bu prensiplerle somut eylemler arasinda uçurum vardir ve askerlerin muhakeme gücünün bunlar arasinda bir köprü kurmasi gerekir.
Robot ordulara yöneltilen bir diger itiraz, savasi çok kolaylastirmalaridir. Ancak robotlardan tek tarafli olarak feragat edersek, bu bize bir sonraki savasta pahaliya mal olabilir. Birlesmis Milletler ve Insan Haklari Izleme Komitesi’nin savundugu mantiksal yaklasim, kimyasal ve biyolojik savasi yasaklayan 1925 Cenevre Protokolü'ne benzer bir biçimde robot savasini yasaklayan bir anlasmanin imzalanmasidir. Ancak bu, aradaki önemli bir ayirimi kaçiriyor. Kimyasal ve biyolojik savas sadece insanlarin çektikleri acilari artirirken, robot savasi bu acilari önemli ölçüde azaltabilir. Savas makineler tarafindan gerçeklestirilirse ve insanlar yalnizca komuta kademelerinde yer alirsa hiç kimse ölmez veya yaralanmaz. Belki de yapmamiz gereken sey, robot  askerleri yasadisi ilan etmek yerine-hazir oldugumuzda-insan askerleri yasadisi ilan etmektir.
Robot askerler gerçekten de savaslari daha olasi kilabilir ama ayni zamanda savas etigini de degistirecektir. Ates açma/açmama ikilemi, hedefler baska robotlar oldugunda çok daha kolay hale gelir. Günümüzde savas tarifi imkânsiz bir dehset olarak yalnizca son çare olarak görülür. Bu modern bakis yerini biraz farkli bir savas görüsüne birakacaktir: Tüm taraflari yoksullastiran ve belki her ne pahasina olursa olsun uzak durulamasa bile önlenmesi herkese fayda saglayan bir büyük yikim.
Ayrica savas kimin en büyük yikimi yapabilecegini; görmek için girisilen bir rekabete indirgenirse, ayni rekabet neden en çok seyi üretmek konusunda gerçeklesmesin?
Her halükârda, robot savasini yasaklamak pratikte mümkün olmayabilir. Büyük ve küçük her ülke, yarinin savas robotlarinin öncülleri olan dronlari yasaklamak söyle dursun gelistirmekle mesgul, çünkü tahminen sagladiklari faydalarin risklerden daha agir bastigini düsünüyorlar. Her silahta oldugu gibi, robotlara sahip olmak diger tarafin olmadigina güvenmekten daha güvenlidir. Gelecekteki savaslarda milyonlarca kamikaze dron geleneksel ordulari dakikalar içinde imha edecekse, onlarin bizim dronlarimiz  olmasi  tercih  edilir.  Üçüncü  Dünya  Savasi  bir  tarafin   diger tarafin sistemlerini kontrol altina almasiyla saniyeler içinde olup bitecekse daha akilli, hizli ve dirençli bir aga sahip olsak iyi olur.
Bilgisayarlar her geçen yil daha çok is yapmakla kalmiyor, daha çok karar da aliyorlar. Kimin kredi alacagi, kimin neyi satin alacagi, kimin hangi ise alinacagi ve terfi edecegi, hangi hisse senetlerinin yükselip düsecegi, sigorta priminin ne kadar olacagi, polis memurlarinin nerede devriye gezip kimleri gözaltina alacagi, hapis cezalarinin ne kadar uzun olacagi, kimlerin flört edecegi ve dolayisiyla kimlerin dogacagi; tüm bunlarda yapay ögrenmeye dayali modeller rol oynuyor.
Modern uygarligin çöküsüne neden olmaksizin tüm bilgisayarlarimizi kapatabilecegimiz noktayi çoktan geride biraktik. Yapay ögrenme bardagi tasiran son damla; bilgisayarlar kendi kendilerini programlamaya baslarsa onlari kontrol etme umudu kesinlikle son bulur. Stephen Hawking gibi seçkin bilim insanlari, çok geç olmadan bu konunun acilen arastirilmasi için çagrida bulunmaktalar.
Sakin olun. Master Algoritmayla donatilmis bir Yapay Zekanin dünyanin kontrolünü ele geçirmesi ihtimali sifir. Nedeni gayet basit: Insanlarin aksine bilgisayarlar iradeye sahip degiller. Evrimin degil mühendisligin ürünleridirler. Sonsuz bir güce sahip bilgisayar bile yalnizca bizim irademizin bir uzantisi olacaktir, korkulacak bir sey yok.
Yapay Zekâ bizim yavas düsündügümüz seyleri hizlica düsünecek ve bundan tüm dünya faydalanacak. Kendi adima yeni robotlari içtenlikle karsiliyorum.
Bildigimiz akilli varliklar insanlar ve hayvanlardan ibaret oldugu, onlar da kendi iradelerine sahip olduklari için, akilli makinelerin kontrolü ele geçirmesinden endise duymak dogaldir. Ancak zekâ ve özerk irade arasinda hiçbir baglanti yoktur. Daha dogrusu, aralarinda kontrol hatti bulunmasi kosuluyla zekâ ve irade ayni bedende bulunmayabilir.
Richard Dawkins, The Extended Phenotype [Genisletilmis Fenotip] adli kitabinda bir hayvanin genlerinin kendi vücudundan fazlasini kontrol edebildigini ve guguk kusu yumurtalarindan kunduzlarin yaptigi bentlere kadar doganin bu tür örneklerle dolu oldugunu gösterir.
Teknoloji insanin genisletilmis fenotipidir. Bu,  anlayabilecegimizden çok daha karmasik hale gelse bile kontrol etmeye devam edebilecegimiz anlamina gelir.
Iki milyar yil önce, özel havuzlarinda, nam-i diger bakteri sitoplazmalarinda yüzmeye giden iki DNA zincirini gözünüzde canlandirin. Çok önemli bir karar almak üzereler. Bir tanesi "Kaygiliyim, Diana. Çok hücreli yaratiklar üretmeye baslarsak kontrolü ele geçirirler mi?" diye soruyor.
Hizla ileri sarip 21. Yüzyila geldigimizde DNA halen hayatta ve iyi  durumda. Aslinda hiç olmadigi kadar iyi durumda; gittikçe artan oranda trilyonlarca hücreden olusan iki ayakli organizmalarda güven içinde yasamini sürdürüyor. Çift sarmal olusturan dostlarimiz o hayati karari verdikleri andan  bu yana uzun bir mesafe kat ettiler. Insanlar DNA'larin simdiye kadarki en becerikli eserleri; DNA'mizi yaymadan eglenmemize imkan taniyan dogum kontrolü gibi seyleri icat ettik ve özgür iradeye sahibiz (veya sahipmis gibi görünüyoruz).  Ama  yine  de  eglence  anlayisimizi  DNA  sekillendiriyor  ve   haz yasayip acidan kaçmak için özgür irademizi kullaniyoruz; bu da büyük ölçüde DNA'mizin varligini sürdürmesi için en iyi olani tercih etmekle örtüsüyor.
Kendimizi silikona dönüstürmeye karar verirsek DNA'nin ölümü gerçeklesebilir ama yine de iki milyar yil varligini sürdürmek büyük bir basaridir. Bugün verecegimiz karar da buna benziyor: Genis, birbiriyle baglantili, insandan üstün, sirrina erisilemez Yapay Zekalar üretmeye baslarsak kontrolü ele  geçirirler mi?
Genler için çok hücreli organizmalar neyse, bizim için de Yapay Zekalar odur. Yapay Zekalar da bizim hayatta kalma makinelerimizdir, tipki bizim genler için oldugumuz gibi.
Ancak bu, endiselenecek hiçbir seyin olmadigi anlamina gelmez. Her teknolojide oldugu gibi, ilk büyük tehlike Yapay Zekânin yanlisi ellere geçebilecek olmasidir. Bir suçlu veya düzenbaz Yapay Zekâyi dünyanin kontrolünü ele geçirmeye programlarsa, çok ileri gitmeden onu tespit edip engelleyecek  bir Yapay Zekâ polise sahip olsak iyi ederiz. Çok sayida Yapay Zekânin cinnet geçirip kontrolden çikmasina karsi en büyük güvence, daha çok sayida Yapay Zekânin barisi   korumasidir.
Ikinci endise kaynagi, insanlarin gönüllü olarak kontrolü teslim etmesidir. Bu bana saçma görünse de herkese saçma görünmeyen robot haklariyla basliyor. Ne de olsa hiçbir talepleri olmasa da hayvanlara çesitli haklar sunmus durumdayiz. Robot haklari da "empati çemberini" genisletmek için bir sonraki mantiksal adimmis gibi görünebilir.
Yapay Zekâ kontrolünün sinsice ilerleyisindeki bir sonraki adim, çok daha zeki olduklari için bütün kararlari onlara birakmaktir. Dikkatli olun. Daha akilli olabilirler ama skor fonksiyonlarini tasarlayan kisilere hizmet ederler. Bu bir “Oz Büyücüsü” problemi. Akilli makinelerle dolu bir dünyada, onlarin hem girdi (hedeflerin belirlenmesi) hem de çikti (sonuçlarin kontrolü) bakimindan istediginiz seyleri yaptigindan emin olmaniz gerekir. Bunu siz yapmasaniz bir baskasi yapacaktir. Makineler kolektif olarak isteklerimizi belirlememize yardimci olabilirler ama tipki demokraside oldugu gibi katilim saglamazsaniz kaybedersiniz. Bugün inandigimizin aksine insanlar kolayca baskalarina itaat edebilir ve yeterince gelismis herhangi bir Yapay Zekâyi mutlak güç olarak görebilirler veya Insanlar sirrina erisilmez bilgisayarlardan talimatlar almayi önemsemeyebilir; asil mesele denetçiyi kimin denetleyecegidir- Yapay Zekâ daha kusursuz bir demokrasiye mi, yoksa daha sinsi bir diktatörlüge mi giden yol? Sonsuz nöbet daha yeni basliyor.
Üçüncü ve belki de en büyük kaygi, makinelerin lambadaki cin gibi  bize istedigimiz seyi degil, agzimizdan ne çikarsa onu sunmasidir. Bu varsayimsal bir senaryo degil; ögrenen algoritmalar bunu hep yaparlar.
Sinirsel bir agi, atlari tanimasi için egitiriz ama egitim verilerindeki tüm atlar kahverengiyse yalnizca kahverengi lekeleri tanimayi ögrenir. Bir saat satin alirsiniz ve Amazon size benzer ürünler olarak baska saatler tavsiye eder;  halbuki saat, artik satin almak istediginiz son seydir. Bilgisayarlarin bugün verdigi tüm kararlari incelerseniz -örnegin kimlerin kredi aldiklari-çogu zaman gereksiz yere kötü olduklarini görürsünüz. Beyniniz bir destek vektör makinesi olsaydi ve kredi degerlendirme bilginiz berbat bir veri tabanina dayansaydi sizin kararlariniz  da  kötü  olurdu.  Insanlar  bilgisayarlarin  çok  akilli  hale       gelip dünyanin kontrolünü ele geçirmesinden endiselense de asil problem, çok aptal olmalari ve hâlihazirda dünyayi kontrol etmeleridir.
Günümüzde bilgisayarlar halen o kadar akilli olmasa da zekalarinin gelistigine süphe yok. Ikinci Dünya Savasi sirasinda Enigma sifre kirma projesinde Alan Turing'le birlikte çalisan Ingiliz istatistikçi I. J. Good, daha 1965'te yaklasan zekâ patlamasina deginmisti. Good, kendimizden daha zeki makineler tasarlayabilirsek onlarin da kendilerinden daha zeki makineler tasarlayabilecegine ve bu sekilde devam edecek sonsuz döngüde insan zekâsinin çok gerilerde kalacagina isaret etmisti.
Son Söz
Yapay ögrenme hepimizin hayatini etkiliyor ve onunla ne yapmak istedigimize hepimiz birlikte karar ·verecegiz.
Istatistikçiler özellikle gelecekle ilgili tahminler yürütmenin ne kadar zor oldugunu bilirler ve bilgisayar bilimcilere göre gelecegi tahmin etmenin en iyi yolu onu bizzat sekillendirmektir ama incelenmemis gelecek sekillendirmeye deger degildir.
Size bir veda hediyesi sunmak istiyorum.
Newton kendini sahilde oyun oynayan bir çocuk gibi hissettigini, çakil tasi veya deniz kabuklariyla oynadigini ama hemen ileride hakikatin büyük okyanusunun kesfedilmeyi bekledigini söylemistir. Üç yüzyil sonra, müthis bir çakil taslari ve deniz kabuklari koleksiyonumuz var ama kesfedilmemis büyük okyanus halen göz alabildigine uzaniyor ve vaatlerle isildiyor. Armagan bir tekne- yapay ögrenme-ve simdi yelken açma zamani

Benzer Kitaplar

SILIVRI TOPLAMA KAMPI - ZULÜMHANE
Fevzi BOZKURT

SILIVRI TOPLAMA KAMPI - ZULÜMHANE

Psikoloji
KORKU IMPARATORLUGU - GLADIO
Fevzi BOZKURT

KORKU IMPARATORLUGU - GLADIO

Psikoloji
TÜRK ORDUSU KUSATMAYI NASIL YARACAK
Fevzi BOZKURT

TÜRK ORDUSU KUSATMAYI NASIL YARACAK

Psikoloji
SUSURLUGUN KARAKUTUSU
Fevzi BOZKURT

SUSURLUGUN KARAKUTUSU

Psikoloji