Arama Motorlarının Tarihi

Hepimiz biliyoruz ki arama motorları sadece Google, Yahoo, Yandex veya Bing'den ibaret değildir. Adım adım bir gelişim süreci yaşanmıştır ve en son günümüzdeki halini almıştır. Bu yazımda ilk arama motorunun çıkışından günümüze kadar uzanan bu gelişim sürecinden bahsedeceğim.

İnternetin temelinde iki önemli teknoloji yatmaktadır. Bunlar hypertext ve bellek genişletme teknolojileridir. Hypertext bir metin içinde bulunan kelime veya kelime gruplarının tıklanmasıyla ilişkili olduğu bilginin görüntülenmesini sağlayan bir teknolojidir. Bu teknoloji ilk olarak 1944 yılında yılında ortaya çıkmıştır.

Bu iki teknolojinin ortaya çıkmasından sonra yani 1945 yılında Vannevar Bush Düşündüğünüz Gibi adlı makalesinde bilim adamlarının bir araya gelerek bütün bilgileri tek bir yerde toplamasını ve bunların insanlarla paylaşılıp onların bilgilendirilmesini öneriyordu. Bahsettiği bu  cihaza Memex ismini verdi. İşte arama motorlarına doğru ilk adım bu şekilde atılmış oldu.

 

 

Memex 1945

 

Memex'ten sonra arama motorları ile ilgili yapılan çalışmalar 60'lı yıllarda da devam etti. Modern arama motorlarının babası kabul edilen Gerard Salton SMART adında bir bilgi çekme sistemi oluşturdu.

Daha sonra 1960 yılında Ted Nelson Project Xanadu'yu geliştirdi ve o zamanlar kullanılsada daha önce bu isimle anılmayan hypertext ismini türetti. Project Xanadu daha basit bir kullanıcı arayüzü ile bilgisayar ağı oluşturarak belli sosyal sorunları çözmeyi amaçlamıştı.


1990 yılına kadar geliştirilen arama motorları internetten arama yapamıyordu. O zamana kadar çok az olan internet sitelerinin çoğu FTP sunucular tarafından indirilebilir veriler tutuyordu fakat bu verileri indirebilmemiz için tam olarak nerede olduklarını bilmeniz gerekiyordu. Bir dosyayı aratabilmemiz için onun tam olarak adını ve yerini belirtmemiz gerekiyordu. 1990 yılında McGill üniversitesinde okuyan Alan Emtage dünyanın ilk arama motorunu geliştirdi ve adını Archie  koydu. Archie etrafa saçılmış verilerin toplanmasına yardımcı oluyordu. Archie dosyaları kullanıcının sorgusundaki isim uyuşmaları ile buluyordu.

Archie : http://archie.icm.edu.pl/archie-adv_eng.html


Bu sırada CERN'de çalışan Tim Berners-Lee hypertext'i internete bağlayarak çılgın bir projeye imza attı. Hypertext'i TCP ve DNS protokolleri ile bağlamayı başaran Lee bugün bizim kullanmış olduğumuz WWW yani World Wide Web'i yarattı. 1992 yılında ise Lee sanal bir kütüphane kurmak amacıyla Vlib'i ortaya çıkardı. CERN'e bağlı olan bu web sitesi bize web sunucularını listeliyordu.

Vlib : http://vlib.org/

 

1998’de Vlib


Sonra ortaya Gopher Projesi çıktı. Gopher aslında ilk olarak Archie'nin yükünü hafifletmek için çıkarılmıştı. Gopher bir suncuyu metin tabanlı bilgiler ile doldururken diğerini de resimlerle dolduruyordu. Sonra Gopher'ın yanında  bir de  Veronica adlı arama motoru ortaya çıktı. Nevada Bilişim Servisi Üniversitesi tarafından geliştirilen Veronica Gopher sunucularını tarıyordu.

 


1993 yılına geldiğimizde internetteki web sitesi sayısı "Birkaç yüz tane" sözü ile tanımlanıyordu ve bunların çoğu da üniversitelerde oluşturulmuş web siteleriydi. Gopher siteleri ve e-posta sunucuları iyice ortaya çıkmaya başlamıştı. O sırada Matthew Gray WWWW ( World Wide Web Wanderer) icat etti. WWWW en büyük özelliği web URL'lerini avlayıp Wandex adı verilen bir veri tabanına kaydeden bir sistem olmasıydı. Yani işin içine yavaş yavaş botlar (robotlar) girmeye başlamıştı.


Aynı yıl içerisinde ayrıca ALIWEB ortaya çıktı. Martijin Koster'ın kurduğu site meta bilgiyi kullanan ilk arama motoruydu. Ayrıca site meta bilgiyi tarayarak kullanıcının indekslenmesini istediği sayfaları yanında bir açıklama ile kaydediyordu. Fakat sorun kimsenin sitesini nasıl kaydettireceğini bilmemesiydi.

ALIWEB : http://www.aliweb.com/


Daha sonra programcılar bot fikrini iyice benimsediler ve birçok programcı bot adı verilen ufak programlar ile çalışmaya başladı ve ortaya Excite ortaya çıktı. Stanford'da master yapmakta olan 6 öğrenci tarafından 1993 yılında geliştirildi. Excite'ın amacı internetteki bilgiler arasında daha iyi aramalar yapabilmek için kelime ilişkilerine dair istatistiksel analiz yapmaktı. Arama motorunun popüleritesi giderek arttı ve ekibe çok paralar kazandıran bir arama motoru oldu.

Excite : http://www.excite.com/

 
1996’da Excite

 

Ancak Excite da diğerleri gibi internetin gelişim hızına ayak uyduramadı. Arama motoru kendi içerisinde kategorize edilmemiş linkler barındırmaya başlamıştı. Ayrıca botlar ne indekslediklerini anlayabilecek bir zekaya sahip değillerdi. Yani aradığınız şeyin tam olarak ne olduğunu bilmiyorsanız onu bulmanız çok zordu. Bu durum EINet Galaxy'nin doğuşuna zemin hazırladı. Tarayıcı tabanlı arama yapabilen bir web diziniydi ve bir dizin olduğundan dolayı linkleri kategorize edilmişti. Ama hala Gopher arama özelliklerini kullanıyordu.

 

1994 yılında WebCrawler arama motoru ortaya çıktı. Bu arama motorunun en önemli özelliği ise dünyanın ilk tam metin arama özelliğine sahip olmasıydı. 1995 yılında Excite tarafından satın alındı. 2001'yılında da Infospace satın aldı. WebCrawler günümüzde Google, Yahoo ve diğer arama motorlarından aldığı arama sonuçlarını bir araya getirerek hizmet vermeye devam ediyor.

WebCrawler : http://www.webcrawler.com/

1995’de WebCrawler

 

Infoseek'e gelince. 1997'de aylık ziyaret sayısını 7.3 milyona çıkarmayı başaran Infoseek, 1998'de Walt Disney tarafından satın alındı. Arama motoru 2001'de kapandı.


 

Aynı yıl içerisinde geliştirilen Lycos ise eşleştirme ve benzer kelime özelliğini sunarak diğerlerinden öne çıkıyordu. Lycos, 60 milyondan fazla belgeyi taramış ve bu konuda tüm arama motorlarını geçmişti.

Lycos : http://www.lycos.com/

 
1996’da Lycos

 

Aynı yıl içerisinde geliştirilen bir diğer arama motoru AltaVista ise İnternet üzerinden ilk çoklu dil arama özelliği ve ilk imaj görüntü ve ses arama özelliği bulunan arama motoruydu. 1996'da Yahoo arama sonuçlarında Altavista kullanılmaya başlandı. 1997'de günlük ziyaret sayısı 80 milyona ulaşmıştı.


 

1995’te AltaVista

 

1994 yılında ortaya çıkan Ask ise arama sorgularını gerçek insan editörler vasıtasıyla eşleştiriyordu. 2005 yılında IAC Ask'ı 1.85 milyar dolar karşılığında satın aldı.

Ask : http://www.ask.com/

 
2000’de Ask

 

Bunlar gibi daha çok sayıda arama motoru çıkarıldı. Fakat hiçbiri Yahoo kadar yankı getiremedi. 1994'te iki doktora öğrencisi Jerry Wang ve David Filo tarafından arama yapabilen bir dizin olan Yahoo geliştirildi. Yahoo aslında manuel olarak girilip kategorize edildiği için hiçbir zaman gerçek bir arama motoru olamadı.

Yahoo : http://www.yahoo.com

1994’te Yahoo

 

Ve yıl 1996'yı gösterdiğinde o iki genç adam ortaya çıkıverdi. Larry Page ve Sergey Brin.

İki doktora öğrencisi olan Page ve Brin PageRank isimli bir araştırma üzerinde çalışıyorlardı. PageRank diğer arama motorlarının aksine siteleri gösterilen ilgiye göre sıralayabiliyordu. Page ve Brin bu robotu üzerine bir arama sitesi geliştirdiler ve adınıda Backrub koydular. Sonra adını sitenin mantığına göre düşünüp on üzeri yüz anlamına gelen  Googol adını verdiler. Sonra isim üzerinde tekrar bir değişiklik yapıp adını Google  yaptılar. Proje o kadar başarılı oldu ki google.com olarak web dünyasına açıldı ve 4 Eylül 1998'de şirket resmen kuruldu. İlk genel merkezleri bir arkadaşlarının evinin garajı olmuş. 2001 yıllarında site 1 milyar ziyaretçiye ulaşmış. Sonrasında zaten Google'ın yükselişi hiç duraklamadı ve günümüzün dev teknoloji şirketlerinden biri oldu.

Google : https://www.google.com

 
1998’de Google

 

1997'de açılan Yandex ise bugün 10 milyar sayfadan fazlasını barındıran indeksiyle Rusya'da en büyük arama motoru payına sahip.

Yandex :  https://www.yandex.com
 

1997’de Yandex

 

1998'de açılan bir diğer arama motoru MSN, gücünü Overture, Looksmart ve Inktomi arama motorlarından alıyordu. Arama motoruna 2004'de Altavista tabanlı bir teknoloji kullanılarak yükseltme yapıldı. Haziran 2009'da resmi olarak Bing ile değiştirildi.

Bing : http://www.bing.com/?FORM=Z9FD1

 
1999’da MSN Search

 

1998'de ortaya çıkan bir başka arama motoru AlltheWeb ise düzgün arayüzü ile Google ve Yahoo'dan üstün FTP araması gibi birkaç özelliğe sahipti. 2003'de Overture tarafından 70 milyon dolar karşılığında satın alındı, ardından Yahoo'ya geçti.

 

 

1999’da AltheWeb

 

2000 yılında hizmete giren Çin'in dev arama motoru Bauidu, bir kaç sene içinde 740 milyon web sayfasını taramayı başardı. Baidu 2007'de NASDAQ-100 endeksine girebilen ilk Çin şirketi oldu.

Baidu : http://www.baidu.com/

 

2007’de Baidu

 

2003'de yayına giren Info.com, tıklama başına ödeme mantığıyla çalışıyordu. White Pages ve Yellow Pages ile ortaklık kuran Info.com, hizmet vermeye devam ediyor.

Info.com : http://www.info.com/

 

2005 yılında kurulan SearchMe, kullanıcılara web sayfalarının resimlerinden oluşan arama sonuçlarını sunuyordu. 2009 yılında ayda 1.8 milyon ziyaretçiye ulaşan şirket, kendine finansman sağlayamadı ve aynı sene içinde hemen kapandı.

 

2006'da açılan ChaCha, bir soru cevaplama hizmetiydi. Ana sayfasında sohbet bölümü bulunan site, hizmet vermeye devam ediyor.

ChaCha : http://www.chacha.com/

 2007'de ChaCha


2007'de kurulan Sproose, arama sonuçlarını kullanıcıların verdiği oylara göre sıralıyordu.


 
2009'da Sproose

 

2008'de açılan bir başka arama motoru Picollator, insan yüzlerini tanıyan ve bunlardan bir indeks oluşturan deneysel bir hizmetti.

 
2009'da Picollator

 

2009'da kurulan Cuil, web sitelerini içeriklerine göre organize ediyor ve küçük resimler eşliğinde metinler içeren arama sonuçları sunuyordu. Cuil 2011 yılında kapandı.

 

 

2010'da Cuil