Arama Motoru Nedir?

Arama Motoru

Arama motoru nedir? Arama motoru kullanıcıların bilgi almak veya bir sonuç bulmak için sorgu girmelerini sağlayan ve bu sorgulara göre sonuçları listeleyen bir bilgisayar programıdır. İçerikleri tarayarak ve indeksleyerek alakalı sonuçları kullanıcıya sunar.

Kullanıcılar, bilgisayarlarında veya İnternet’te bilgi ve içerik arayabilirler. Örneğin, bilgisayarınızda bir dosya veya klasör aramak için işletim sisteminizin yerleşik arama özelliğini kullanabilirsiniz. İnternet’te ise Google, Yahoo, Bing gibi web siteleri aracılığıyla sınırsız bilgi araması yapabilirsiniz.

Arama motorları, kodlayan kişilerin belirlediği algoritmaları kullanarak kullanıcıya en alakalı sonuçları getirmeyi hedefler. Bu algoritmalar, anahtar kelime uyumu, sayfa kalitesi, kullanıcı deneyimi ve bağlantılar gibi çeşitli faktörlere dayanır. Sonuç olarak, arama motorları, kullanıcıların istedikleri bilgilere hızlı ve kolay bir şekilde erişebilmelerini sağlayarak İnternet deneyimini geliştirir.

Arama Motoru Çeşitleri

Bir çok kişi için arama motoru sadece Google olabilir. Ancak SEO uzmanları için arama motoru çeşitleri çok daha farklıdır. Sadece Google, Bing veya Yandex gibi internette site bulabileceğiniz arama motorları değildir. Arama motoru çeşitleri, kullanıcıların ve SEO uzmanlarının farklı ihtiyaçlarını ve tercihlerini karşılamak için geniş bir yelpazede sunulmaktadır. Her bir arama motoru, belirli avantajlar ve özellikler sunarak, farklı kullanıcıların arama deneyimini iyileştirmeye yönelik hizmetler sağlar.

Site İçi Arama Motorları

Site içi arama motorları; Web siteleri içinde bulunan ve arama yapıldığında sadece o site içeriklerini listeleyen arama motorlarıdır. Eskiden çok fazla sayfadan oluşan karışık haber veya forum sitelerinde kullanılırken günümüzde neredeyse tüm web sitelerinde site içi arama motoru bulunur. En büyük site içi arama motoru Youtube’dur.

Site içi arama motorları kullanıcılara sağladığı kolaylık açısından ve paralelinde de SEO açısından faydalıdır.

Dizin Siteleri

Dizin siteleri; İnternetin ilk dönemlerinde yaygınlaşan ve sadece kategorilere göre web sitelerini indeksleyip listeleyen sitelere dizin sitesi denilmektedir. Bu dizin siteleri kayıt işlemini genelde site sahiplerinin başvuruları ile gerçekleştirirler. Siz sitenizi kayıt ettikten sonra dizin yöneticisi bilgilerinizi kontrol edip sitenizi onaylar ve dizin sitesinde listelenmeye başlarsınız. Listelenme ise günümüz arama motorlarının aksine site başlığı ve site adresi ile sınırlıdır. Yine de dizin sitelerini küçümsememek gereklidir. Çünkü Google bile uzun yıllar dünyanın en büyük dizini olan DMOZ‘dan faydalanmıştır. Dizin siteleri backlink için eskisi kadar etkili değildir. Fakat yerel SEO açısından önemlidir.

DMOZ dünyanın en büyük arama diziniydi ve bir kaç yıl önce yayın hayatına son verdi.

Cihaz ve Program İçindeki Arama Motorları

Bu konuda en çok kullanılan işletim sistemleri içinde bulunan arama motorlarıdır. Bu arama motorları bilgisayar içindeki dosya, klasör, görselleri bulabilir, gruplayabilir ve özelliklerine göre sıralayabilir. Ayrıca bilgisayarlarda kullanılan iş programlarının çoğunda da arama yapmaya yardımcı arama motorları bulunmaktadır. Örneğin Outlook programında mailleriniz içinde arama yapabileceğiniz bir arama motoru vardır.

Bununla birlikte güncel mobil cihazlarda sesli arama yapabileceğiniz asistan uygulamaları SEO’nun geleceği ve uzun kuyruklu anahtar kelimelerin öneminin artmasının önemli bir sebebidir.

Meta Arama Motorları

Meta arama motorları, birden fazla arama motorunun sonuçlarını bir araya getirerek kullanıcıya sunan arama motorlarıdır. Bu tür arama motorları, genellikle Google, Bing, Yahoo ve diğer popüler arama motorlarının sonuçlarını konsolide ederek daha geniş bir arama sonucu sunar. Örnekler arasında Dogpile, MetaCrawler ve WebCrawler bulunmaktadır.

Özel Arama Motorları

Özel arama motorları, belirli bir sektör, konu veya kitle için özelleştirilmiş arama sonuçları sunan arama motorlarıdır. Örneğin, akademik araştırmalar için Google Scholar veya özgür yazılım ve açık kaynak projeleri için SourceForge gibi platformlar bulunmaktadır. Bu tür arama motorları, kullanıcıların daha özel ve niş bilgi ihtiyaçlarını karşılamaya yöneliktir.

Gizlilik Odaklı Arama Motorları

Gizlilik odaklı arama motorları, kullanıcıların arama geçmişlerini ve kişisel verilerini toplamayarak veya saklayarak daha güvenli ve gizli bir arama deneyimi sunar. DuckDuckGo ve Startpage gibi arama motorları, kullanıcıların gizliliklerini korumaya yönelik hizmetler sunarak popülerlik kazanmıştır.

Arama Motoru Nasıl Çalışır ?

Arama motorları ve çeşitlerini öğrendiğimize göre sıra arama motorlarının nasıl çalıştığına geldi. Tabi ki burada bizi ilgilendiren web sitelerini ve içeriklerini arayıp bulabileceğimiz büyük arama motorlarının ortak çalışma prensipleri olacak. Arama motorları aranılan sorgular ile alakalı web sitesi, video, görsel, haber, makale gibi sonuçları karşımıza çıkaran siteler olsa da bunun dışında çok önemli bir işlevleri daha vardır. “Veri toplama ve düzenleme” İnternet ağındaki milyarlarca web sitesinin içeriğini okuyup gerektiğinde kullanabilmek için kendi veri tabanına kayıt ederler.

SEO Uzmanı arama motorlarını çok iyi anlayıp kendini onlara anlatabilmelidir.

Arama motorları, İnternet üzerindeki bilgi ve içerikleri bulmak, indekslemek ve sıralamak için karmaşık algoritmalar ve süreçler kullanır. Bir arama motorunun nasıl çalıştığını anlamak için temel bileşenleri ve süreçleri incelemekte fayda vardır:

Örümcekler (Crawlers): Arama motorları, web sayfalarını ve içeriklerini tarayan özel programlar olan örümcekler (veya botlar) kullanır. Botlar, İnternet’teki bağlantıları ve sayfaları takip ederek, sürekli olarak yeni ve güncellenmiş içerikleri keşfeder ve toplar.

İndeksleme (Indexing): Örümcekler tarafından toplanan içerikler, arama motorunun veritabanında depolanır ve organize edilir. İndeksleme süreci, içeriklerin anahtar kelimeler ve diğer faktörlere göre sıralanmasını ve daha sonra kullanıcılar tarafından arama yapılabilir hale getirilmesini içerir.

Sorgu işleme (Query Processing): Kullanıcılar, arama motoruna bir anahtar kelime veya ifade girerek arama sorgusu başlatır. Arama motoru, indekslenmiş içerikler üzerinde hızlı bir şekilde arama yaparak, kullanıcının sorgusuyla eşleşen sonuçları bulur.

Sıralama (Ranking): Arama motoru, eşleşen sonuçları belirli bir sıraya göre sıralar ve kullanıcılara sunar. Bu sıralama, algoritma tarafından belirlenen çeşitli faktörlere (örneğin, anahtar kelime uyumu, sayfa kalitesi, bağlantılar ve kullanıcı deneyimi gibi) dayanır. Sıralama süreci, kullanıcılara en alakalı ve değerli içerikleri sunmayı amaçlar.

Kullanıcıya Sonuçların Sunulması: Arama motoru, sıralanan sonuçları kullanıcıya sunar, genellikle bir sonuçlar sayfasında listelenir. Kullanıcılar, bu sonuçları inceleyebilir ve en alakalı ve yararlı sayfalara tıklayarak ilgili içeriklere erişebilir.

Arama Motorlarının Tarama İşlemi

Arama motoru botları tarama işlemi yeni oluşturulmuş veya güncellenmiş içerikleri bulabilmek için kesintisiz bir şekilde çalışır. Botlar içindeki en ünlüsü tabii ki Googlebot ‘tur. Botlara örümcek (Spider) veya tarayıcıda denmektedir. Bot bir siteye geldiğinde site içinde bulunan tüm sayfaları, görselleri, pdf veya videoları tarar. Bu işlemi yapmasını sağlayan kabaca site içinde kullanılan linklerdir. Tarama işlemi sırasında arama motoru botları, bir web sitesinin içeriğini ve yapısını anlamaya çalışır. İşte bu süreçte kullanılan bazı teknikler ve yöntemler:

1. Site Haritası (Sitemap): Site haritası, bir web sitesinin sayfalarının, dosyalarının ve içeriğinin bir listesini sunar. Bu, arama motoru botlarının sitenin içeriğini daha hızlı ve etkili bir şekilde tarayarak, eksiksiz ve güncel bir şekilde indekslemesine yardımcı olur. XML ve HTML site haritaları olmak üzere iki tür site haritası vardır. XML site haritaları arama motorları için optimize edilmişken, HTML site haritaları kullanıcılar için daha kullanıcı dostu bir yapı sunar.
2. Robots.txt: Robots.txt dosyası, bir web sitesinin kök dizininde bulunan ve arama motoru botlarına hangi sayfaların veya dosyaların taranması veya taranmaması gerektiği konusunda talimatlar sağlayan bir metin dosyasıdır. Bu, site sahiplerinin arama motorlarına hangi içeriğin önemli olduğunu ve hangi içeriğin gizli veya önemsiz olduğunu belirtmelerine olanak tanır.
3. Bağlantılar (Links): Arama motoru botları, bir web sitesindeki bağlantıları kullanarak sayfalar arasında gezinir ve tarama yapar. İç bağlantılar (aynı site içindeki sayfalar arasında geçiş sağlayan bağlantılar) ve dış bağlantılar (farklı siteler arasında geçiş sağlayan bağlantılar) botların içeriği daha iyi anlamasına ve indekslemesine yardımcı olur.
4. Sayfa Yapısı ve Meta Etiketler: Botlar, sayfa yapısını ve HTML etiketlerini (örneğin, başlık, meta açıklama ve anahtar kelimeler gibi) kullanarak, sayfanın içeriği ve önemi hakkında bilgi edinir. Bu bilgiler, sayfanın arama motoru sıralamasına ve sonuç sayfasındaki görünümüne etki eder.
5. Sayfa Hızı ve Mobil Uyumluluk: Arama motoru botları, sayfa hızını ve mobil uyumluluğu gibi faktörleri de değerlendirir. Hızlı yüklenen ve mobil cihazlarda iyi çalışan sayfalar, genellikle daha iyi sıralamalara sahip olur.

Arama motorlarının tarama işlemi, kullanıcı deneyimini ve web sitesi performansını optimize etmeye yönelik sürekli gelişmelerle birlikte, arama motoru sıralamalarını ve görünürlüğünü iyileştirmek için önemli bir rol oynar. Botlar web sitelerini belli aralıklarla yeniden ziyaret ederler. Bu aralıklar sitenizin güncellenme süresine bağlı olarak değişir.

Siteniz Google’da Kayıtlı Mı?

Bir web sitesinin Google’a kayıtlı olup olmadığını öğrenmenin en basit yolu Google arama kutusuna “site:alanadiniz.com” şeklinde arama yapmak olacaktır.

Arama Motorlarının Dizine Ekleme İşlemi

Dizine ekleme işlemi, arama motorlarının, tarama süreci sırasında topladıkları web sayfalarını ve içeriğini indeks adı verilen veritabanına eklemesidir. Dizine ekleme, arama motorlarının kullanıcıların arama sorgularına yanıt olarak bu içeriği sunmalarına olanak tanır. İşte bu süreçte kullanılan bazı temel adımlar ve bileşenler:

İçerik Analizi: Arama motorları, taranan içeriği analiz eder ve anlamak için anahtar kelimeler, başlıklar, bağlantılar ve metin gibi önemli unsurları tanımlar. Bu bilgiler, içeriğin arama sonuçlarında nasıl sıralanacağını ve sunulacağını belirlemeye yardımcı olur.

İçeriğin Kategorize Edilmesi: Arama motorları, içeriği anlamaya yardımcı olmak ve kullanıcıların ilgili içeriği daha kolay bulmalarını sağlamak için belirli kategorilere ve konulara göre sınıflandırır.

İndeks Oluşturma: İçerik, arama motorunun indeksine eklenir. İndeks, arama motorlarının içeriği hızlı ve etkili bir şekilde aramalarına ve sıralamalarına olanak tanıyan büyük bir veritabanıdır.

Sıralama İşlemi: İçeriğin dizine eklenmesinden sonra, arama motorları kullanıcıların arama sorgularına yanıt olarak içeriği sıralar. İçeriğin sıralaması, anahtar kelime uyumu, sayfa kalitesi, bağlantılar ve kullanıcı deneyimi gibi faktörlere dayanarak belirlenir.

Dizine ekleme işlemi, arama motorlarının İnternet üzerindeki bilgi ve içeriği hızlı ve etkili bir şekilde organize etmelerini sağlar. Bu süreç, kullanıcılara alakalı ve değerli içeriği sunmayı amaçlar ve arama motorlarının sürekli olarak geliştirdiği ve güncellediği algoritmalarla desteklenir. Web sitesi sahipleri ve SEO uzmanları, düzenli olarak web sitelerini güncelleyerek ve optimize ederek arama motorlarının dizine ekleme işlemini daha hızlı ve etkili bir şekilde gerçekleştirmesine yardımcı olabilirler.

Arama Motorlarının Sıralama İşlemi

Arama motorlarının sıralama işlemi, kullanıcıların arama sorgularına en alakalı ve değerli sonuçları sunmak için web sayfalarını ve içeriğini sıralayan bir süreçtir. Arama motorları, sıralamaları belirlemek için çeşitli faktörleri ve algoritmaları kullanır. İşte bu süreçte dikkate alınan bazı önemli faktörler:

Anahtar Kelime Uyumu: İçeriğin, kullanıcıların arama sorgularında kullandığı anahtar kelimelerle ne kadar alakalı olduğu önemli bir faktördür. Arama motorları, sayfa başlığı, URL, meta açıklamaları ve içerikte kullanılan anahtar kelimeleri analiz ederek bu uyumu değerlendirir.

İçerik Kalitesi: İyi yazılmış, bilgilendirici ve güncel içerik, arama motorları tarafından daha yüksek sıralamalara yerleştirilme eğilimindedir. İçerik kalitesi, metin uzunluğu, dilbilgisi ve yazım hataları, görsel ve multimedya öğeleri ve benzersizlik gibi faktörlerle değerlendirilir.

Kullanıcı Deneyimi: Web sayfalarının kullanıcı dostu olması, arama motorlarının sıralamalarında önemli bir rol oynar. Hızlı yüklenen sayfalar, iyi tasarlanmış yapı ve mobil uyumluluk, kullanıcı deneyimini olumlu yönde etkileyen faktörlerdir.

Sayfa Otoritesi: Bir sayfanın otoritesi, arama motorları tarafından sıralama belirlemekte önemli bir faktördür. Otorite, başka sitelerin sizin sayfanıza verdiği bağlantılar (backlinkler) ve sosyal sinyaller (örneğin, paylaşımlar, beğeniler ve yorumlar) gibi unsurlara dayanarak değerlendirilir.

Bağlantılar (Links): Hem iç bağlantılar (aynı sitedeki sayfalar arasında geçiş sağlayan bağlantılar) hem de dış bağlantılar (farklı siteler arasında geçiş sağlayan bağlantılar) arama motoru sıralamalarında önemli bir rol oynar. Kaliteli ve alakalı bağlantılar, sayfanın otoritesini ve arama motorlarındaki sıralamasını artırabilir.

Arama motorlarının sıralama işlemi, kullanıcıların en iyi sonuçları elde etmelerini sağlamak için sürekli olarak güncellenir ve geliştirilir. Web sitesi sahipleri ve SEO uzmanları, bu faktörleri dikkate alarak web sitelerini ve içeriklerini optimize ederek arama motorlarındaki sıralamalarını iyileştirebilirler.

Bot Nedir? İnternet Botları Nasıl Çalışır?

Bot, su üstüne genelde bir kaç yolcuyu taşımaya yarayan küçük gemilerdir. Birde kışın ayağımıza giydiğimiz ayakkabı çeşidi vardır. Ne alaka diyebilirsiniz ama aslında bu açıklamayı kullanıcı deneyimi örneği olması açısından yazdım.

Google kullanıcılarınıza aradıkları konu hakkında gerçek ve açıklayıcı bilgi verin demiyor mu? Siz buraya belki arama motoru botları hakkında bilgi almaya geldiniz ama belki başka bir kullanıcı “Bot Nedir”‘in kelime anlamını arıyordur? Google bunu bilebilir mi? Tabi ki de bilemez zaten bu sebeple sayfalarınızın içeriklerinde konuyu derinlemesine anlatmanızı istiyor…

Bu kısa örnekten sonra biz asıl konumuz olan “Arama Motoru Botları“na dönelim.

Not: Ülkemizde internetin yaygınlaşmaya başladığı 2000’li yıllarda IRC dediğimiz chat uygulamaları çok popülerdi. Bunlar içinde en çok kullandığımız MIRC programıydı. MIRC içinde yazışarak sohbet edebileceğiniz bir çok kanal bulunurdu. Bu kanalların en ünlüsü Zurna’ydı. Bunu şundan anlattım Çünkü tanıştığım ilk bot aslında bu chat kanallarında kullanılan Chat Bot’lardı. Bu botlar hem kanalları kalabalık göstermek için hem de küfür vs. edenleri otomatik olarak kanaldan atmaya yarardı. Sonrasında tanıştığım Bot ise Quake oyunundaki botlardı.

Arama Motoru Botu

Bot Nedir? Bot, bilgisayar robotu, internet botu, spider, örümcek, Google Bot gibi amacına uygun farklı isimleri olan, tekrarlayan görevleri ve komutları, insanların yetişemeyeceği inanılmaz hızlarda yapabilen programlara verilen isimdir. İnternet botları ise genellikle arama motorları tarafından kullanılan web siteleri hakkında bilgi ve içerikleri toplayan, örümcek veya spider olarak bilinen yazılımlardır.

Örümcek denmesinin sebebi ise internet ağının çok büyük bir örümcek ağına benzemesinden ve botların bu ağı kesintisiz olarak sürekli taramalarından kaynaklanmaktadır. Bu arama motoru botları yani örümcekler bir web sitesine gelir erişebildiği tüm içeriği indeksler ve sonrasında site içerisindeki linkler yardımıyla diğer sitelere geçerler. Bu döngü sonsuz bir döngüdür ve hiç bitmez. Öyle ki tüm dünyanın internet trafiğinin yarısını arama motorları botları oluşturmaktadır. Umarım bot nedir sorusunun cevabını verebilmişimdir.

Arama Motoru Botları Nasıl Çalışır?

Bot, kısa ve otomatik olarak “robot” kelimesinden türetilmiştir ve bilgisayar programlarına veya yazılımlara verilen isimdir. İnternet botları, özellikle belirli işlemleri veya görevleri otomatik olarak gerçekleştirmek için tasarlanmıştır. İnternet botları, genellikle dikkat çekmeden ve insan müdahalesine ihtiyaç duymadan çalışır. İşte internet botlarının nasıl çalıştığına dair bazı temel bilgiler:

1. Belirli Görevleri Otomatikleştirme: İnternet botları, belirli görevleri otomatik olarak gerçekleştirmek için yazılım komutları ve algoritmalar kullanır. Bu görevler, web sayfalarını tarayan arama motoru botlarından, sosyal medya platformlarında otomatik olarak gönderi paylaşan botlara kadar çeşitlilik gösterebilir.
2. İnternet İçinde Hareket Etme: İnternet botları, belirli görevleri yerine getirmek için internet üzerinde hareket eder ve bağlantılar aracılığıyla web siteleri ve sayfalar arasında gezinir.
3. Veri Toplama ve İşleme: İnternet botları, web siteleri ve sayfaları ziyaret ettikçe, çeşitli veri ve bilgi toplar. Bu veriler, daha sonra analiz edilmek, düzenlenmek ve işlenmek üzere kullanılabilir.

İnternet botları, çeşitli şekillerde ve amaçlarla kullanılabilir. İşte bazı örnekler:

• Arama Motoru Botları: Arama motorları, web sayfalarını ve içeriğini düzenli olarak tarayan botlar kullanır. Bu botlar, web sayfalarını indekslemek ve arama sorgularına yanıt olarak sunmak için gerekli bilgileri toplar.
• Web Tarama Botları: Web tarama botları, belirli bilgileri veya verileri toplamak için internet üzerinde dolaşır. Bu tür botlar, örneğin, fiyat karşılaştırma siteleri için ürün fiyatları ve stok bilgileri gibi bilgileri toplayabilir.
• Sosyal Medya Botları: Sosyal medya platformlarında, otomatik olarak gönderi paylaşan, beğenen, yorumlayan veya takip eden botlar bulunabilir. Bu botlar, marka bilinirliğini artırmak veya sosyal medya etkileşimini yönetmek için kullanılabilir.
• Spam Botları: Spam botlar, e-posta adreslerini toplamak, yorum alanlarını istenmeyen mesajlarla doldurmak veya başka şekillerde kötü amaçlarla kullanılabilir. İnternet botları, her ne kadar birçok yararlı işlemi gerçekleştirse de, kötü amaçlı kullanımları da bulunmaktadır.

Farklı amaçlar için farklı botlar olsa bile aslında yaptıkları sadece sayfa içindeki metinleri okumak, anlamaktır. Bunu yaparken izledikleri belli adımlar vardır ve içeriklerinizi onların rahatça anlayabileceği şekilde oluşturursanız sizi çok daha iyi anlamalarına yardımcı olmuş olursunuz. Zaten SEO stratejisinin ilk adımı arama motoru botlarının içeriğinize erişebilmesi, okuyabilmesini sağlayabilmek olmalıdır. Botların erişemediği bir içeriğin kimseye faydası olmaz.

En Ünlü 5 Arama Motoru Botu

1. Googlebot

Googlebot, Google’ın web tarama botudur ve genelde örümcek olarak da bilinir. Googlebot ünlü Google algoritmasını kullanır ve botlar içinde en ünlüsü bu bottur. Googlebot sayfamızda daha detaylı bilgiyi bulabilirsiniz.

2. Baiduspider

Baiduspider, Baidu ayni zamanda Google’dan sonraki en büyük arama motorudur. Kullanıcı sayısı olarak 2. olan Baidu bu şerefini Çin’in nüfusuna ve Çin’deki Google ambargosuna borçludur. Çünkü Çin’in kendi arama motorunun botudur. Baidu web siteleri, ses dosyaları ve resimleri taramaktadır.

3. MSN Bot / Bingbot

MSN Bot Ekim 2010’da emekli oldu ve yerini Bingbot’a bıraktı. Aslına bakarsanız Microsoft tarafından yeniden markalaştılar. Bingbot, Bing arama motoru için çalışır ve web sitelerini indeksler. Bing indeksi Yahoo tarafından da kullanıldığı için Bing tarafından indekslenmek Yahoo arama sonuçlarında da çıkacağınız anlamına gelir. Bing nasıl çalışır hangi SEO kurallarını dikkate almanız gerekir öğrenmek isterseniz Bing SEO sayfamızı inceleyebilirsiniz.

4. Yandex Bot

Yandex Bot,  Yandex arama motorunun botudur. Yandex, Rusya’daki en büyük arama motorudur ve Rusya’da yaklaşık %60’lık bir pazar payına sahiptir. Yandex, Nisan 2012 itibariyle günde 150 milyondan fazla arama ve 25,5 milyondan fazla ziyaretçi ile dünya çapında beşinci en büyük arama motoru olarak yerini almıştır. Ülkemizde de Google’dan sonra en çok kullanılan arama motorları arasındadır. Büyük futbol takımlarımızın formalarında reklamlarını görebilirsiniz.

5. Soso Örümcek

Soso.com , Tencent Holdings Limited şirketine ait olan ve iyi bilinen bir Çinli arama motorudur. 13 Mayıs 2012 tarihi itibariyle Soso, Alexa verilerine göre, dünyada en çok ziyaret edilen 36. ve Çin’de en çok ziyaret edilen 13. web sitesi olarak sıralanmaktaydı. Günlük ortalama 21.064.490 sayfa görüntülenmesi almaktadır. Burada Badiu gibi Soso’nunda en büyük artısı aslında Çin’in dışarıya kapalı internet alt yapısı ve nüfusudur.

SEO sektöründe kullanılan terimlerini açıkladığım SEO Sözlüğü sayfamı incelediniz mi?

Googlebot

Googlebot Nedir? Öncelikle kafa karışıklığını azaltmak adına başlıktaki tüm terimlerin SEO açısından bakıldığında aynı anlama geldiklerini bilmenizde fayda var. Googlebot, Google tarafından kullanılan ve web sayfalarını bağlantılar yoluyla tarayan, bu sitelerdeki yeni ve güncellenmiş içerikleri bulup okuyan, ayrıca hataları analiz edip sonunda bunları Google indexine eklenmesi konusunda öneride bulunan bir yazılımdır. Özet olarak ise Google bot, Google’ın web siteleri hakkında bilgileri toplayan arama motoru botudur.

Google’ın arama sonuçları Google Veritabanı’ndan gelmektedir ve arama sonuçlarında hangi sitenin çıkması gerektiği, kaçıncı sırada çıkması gerektiği gibi konulara karar veren yani Google’ın beyni farklı bir yapay zeka algoritmasıdır. Bu sebeple Googlebot ile Google algoritmasını karıştırmamak gerekir. Googlebot’un görevi kesintisiz şekilde tüm dünyadaki web sitelerini gezmektir.

GoogleBot Nasıl Çalışır?

Googlebot, nereye nasıl gideceğini belirlemek için daha önceki tarama verileri, site haritalarını ve veri tabanlarını kullanır. Siteniz çok sık güncellenen veya Google News kayıtlı bir site değilse sitenizi ziyaretinde bulduğu yeni bağlantıları daha sonra ziyaret edilecek sayfa listesine ekleyerek yoluna devam eder. Eğer daha önceki bağlantılarda değişiklik veya kopukluk bulursa (kırık link) bunu da anında yapmaz ve dizin güncellemesi yapılacaklar listesine ekler.

Örneğin bir sayfanız 404 hatası verse bile bir süre daha arama sonuçlarında çıkmasının sebebi bundandır. Bu gibi daha sonra yapılacak işlemlerin tümünü Google Search Console (Google Arama Konsolu) sayfasından sizde takip edebilirsiniz. Search Console hakkında aşağıda biraz daha bilgi vereceğim.

Google’ın Kullandığı Googlebotlar

Google farklı ürünleri için farklı botlar kullanmaktadır. Örneğin, AdSense ve AdsBot reklam kalitelerini kontrol etmek için kullanılan farklı bir bottur. Aynı şekilde görseller ve videolar içinde botlar mevcuttur. Bizim için en önemli Google Botları aşağıdakilerdir;

GoogleBot Çağırma

Googlebot ’un sitenizi ne sıklıkta ziyaret ettiğini ve orada ne yaptığını öğrenmek için, günlük Log dosyalarınızı inceleyebilir veya Google Arama Konsolunun Tara bölümününden kolayca bu işi gerçekleştirebilirsiniz. Log dosyalarını incelemek zahmetli bir iştir. Üstelik spam yapmak yada en kötüsü sitenizdeki açıkları arayıp hacklemek isteyen kişiler siteler Googlebot şeklinde erişmeye çalışmaktadır. Burada en kesin çözüm IP adresi olmasına rağmen Google botlarının kullandığı IP adreslerini açıklamadığı ve belli aralıklar ile değiştirdiği için Google’ın anlattığı şekilde Googlebot doğrulaması yapmak olabilir.

GoogleBot’u Yönetme ve Sınırlama

Aslında bir çok arama motoru botu Robots.txt dosyasını okur ve dikkate alır. Eğer Googlebot ’un sitenizde kafasına göre oradan oraya dolaşmasını istemiyorsanız Robots.txt dosyası kullanabilirsiniz. Robots.Txt dosyası ile GoogleBot’a hangi klasörleri indexlemesi hangilerini indexlememesi gibi komutları verebilirsiniz. Ancak bu işlemi yaparken dikkatli olmanızda fayda var. Çünkü  yanlış bir şekilde yaparsanız, Googlebot ’un tamamen gelmesini durdurabilirsiniz. Buda sitenizin Google dizininden çıkarılmasına kadar varan sonuçları olabilir. Bu konuyu sizlere farklı bir makalede detaylı bir şekilde anlatacağım.

Arama Konsolu (Search Console)

Arama Konsolu, sitenizin durumunu ve Google gözünde güvenilirliğini kontrol etmek için en önemli araçlardan biridir. Bu aracı kullanarak Googlebot’un sitenizi nasıl gördüğünü görebilir, hatalarınızı düzelterek sitenizin itibarını artırabilirsiniz. Düzeltmeniz gereken tarama hataları varsa Arama Konsolu bunları size bir liste halinde sunar. Düzeltmelerden sonra veya yeni bir sayfa ekledikten sonra Arama Konsolu’ndan, Googlebot’tan sitenizi yeniden taramasını isteyebilirsiniz.

Google Bot İçin Optimize Edin!

Googlebot’un sitenizi daha hızlı taramasını sağlamak, tarayıcının sitenize düzgün şekilde erişmesini engelleyen teknik sorunları kaldırmak teknik bir işlem olsada bunu mutlaka yapmak/yaptırmak zorundasınız. Eğer Google organik aramalarda sitenizin belli bir yere gelmesini hedefliyorsanız öncelikle siteniz ve Google arasındaki bağlantının, anlaşmanın çok iyi olması şarttır. Sitenizi anlayamayan bir Google Bot’tan ne bekleyebilirsiniz ki? Ayrıca unutmayın ki Google sizi değil siz Google’ı anlayıp derdinizi onun dilinde (Googleca) anlatmak zorundasınız.

Googlebot Ziyaret Sıklığı

Google Bot, sitenizi ziyaret eden küçük robottur. Siteniz için teknik olarak sağlam bir altyapı kurduysanız ve kendinizi ona doğru şekilde anlatabildiyseniz sık sık ziyaretinize gelir. Gerçek hayatta en sık görüştüğünüz kişiler en iyi anlaştığınız kişiler değil mi? Bu da aynı mantık! Web sitenize düzenli ve istikrarlı bir şekilde taze içerik eklerseniz onu daha da sık görürsünüz. Bazen, sitenize büyük çaplı değişiklikler yaptığınızda sizde GoogleBot’u çağırabilirsiniz. Aranız iyiyse sizi kırmaz ve en kısa sürede gelip yaptığınız değişiklikleri işleme aldırır.

Arama motoru botlarını daha derinlemesine incelemek ve Googlebot’ları pingleme siteleri ile web sitenize çağırmak isterseniz isterseniz Arama Motoru Nedir? Arama Motoru Nasıl Çalışır? makalemizde daha detaylı bilgiye erişebilirsiniz.

Umarım açıklayıcı ve faydalı bir yazı olmuştur. Soru ve yorumlarınızı yazmayı unutmayın lütfen.