Tehnički SEO je dobro izvedena strategija koja uzima u obzir različite signale rangiranja na stranici i van nje kako bi pomogla vašem sajtu da se rangira više na rezultatima pretrage. Svaka SEO taktika doprinosi ukupnom planu poboljšanja rangiranja vaše stranice tako što osigurava da pretraživački roboti lako mogu pretraživati, rangirati i indeksirati vaš sajt.
Od vremena učitavanja stranice do pravilnih naslova tagova, postoji mnogo signala rangiranja na koje tehnički SEO može uticati. Ali da li ste znali da se jedan od najvažnijih fajlova za SEO vašeg sajta takođe nalazi na vašem serveru?
Fajl robots.txt je kod koji govori pretraživačkim robotima koje stranice na vašem sajtu smeju, a koje ne smeju da pretražuju. Ovo možda ne deluje kao velika stvar, ali ako vaš robots.txt fajl nije pravilno konfigurisan, može imati ozbiljan negativan uticaj na SEO vašeg sajta.
U ovom blog postu ćemo razmatrati sve što treba da znate o robots.txt fajlu, od toga šta je robots.txt fajl u SEO-u do najboljih praksi i pravilnog načina rešavanja čestih problema.
Šta je robots.txt File zašto je važan za SEO?
Fajl robots.txt je fajl smešten na vašem serveru koji obaveštava pretraživačke robote koje stranice mogu, a koje ne mogu pristupiti. Ako pretraživački robot pokuša da pretraži stranicu koja je blokirana u robots.txt fajlu, to će se smatrati “soft 404” greškom.
Iako “soft 404” greška neće oštetiti rangiranje vašeg sajta, ipak se smatra greškom. A previše grešaka na vašem sajtu može dovesti do sporijeg indeksiranja, što na kraju može uticati na rangiranje zbog smanjenog indeksiranja.
Ako vaš sajt ima mnogo blokiranih stranica u robots.txt fajlu, to može dovesti do nepotrebnog trošenja “crawl budget”-a. Crawl budget predstavlja broj stranica koje će Google pretraživati na vašem sajtu tokom svake posete.
Još jedan razlog zašto su robots.txt fajlovi važni u SEO-u je taj što vam daju više kontrole nad načinom na koji Googlebot pretražuje i indeksira vaš sajt. Ako imate sajt sa mnogo stranica, možda želite blokirati određene stranice kako ne bi opteretile pretraživačke robote i narušile vaše rangiranje.
Ako imate blog sa stotinama postova, možda želite dozvoliti Googlu da indeksira samo vaše najnovije članke. Ako imate eCommerce sajt sa mnogo proizvodnih stranica, možda želite dozvoliti Googleu da indeksira samo glavne stranice kategorija.
Pravilno konfigurisanje vašeg robots.txt fajla može vam pomoći da kontrolišete način na koji Googlebot pretražuje i indeksira vaš sajt, što na kraju može poboljšati vaše rangiranje.
Šta Google kaže o najboljim praksama datoteke robots.txt ?
Sada kada smo razmotrili zašto su fajlovi robots.txt važni u SEO-u, razgovarajmo o nekim preporučenim praksama koje preporučuje Google.
Kreiranje fajla sa imenom robots.txt
Prvi korak je kreiranje fajla sa imenom robots.txt. Ovaj fajl treba da se nalazi u korenskom direktorijumu vašeg sajta – najvišem nivou direktorijuma koji sadrži sve druge fajlove i direktorijume na vašem sajtu.
Evo primera ispravnog smeštanja fajla robots.txt: na sajtu apple.com, korenski direktorijum bi bio apple.com/.
Fajl robots.txt možete kreirati pomoću bilo kog tekstualnog editora, ali mnogi CMS-ovi kao što je WordPress automatski će ga kreirati za vas.
Dodavanje pravila u fajl robots.txt
Nakon što ste kreirali fajl robots.txt, sledeći korak je dodavanje pravila. Ova pravila će obaveštavati pretraživačke robote koje stranice smeju, a koje ne smeju pretraživati.
Postoje dva tipa sintakse za robots.txt koje možete dodati: Allow i Disallow.
Allow pravila govore pretraživačkim robotima da smeju pretraživati određenu stranicu.
Disallow pravila govore pretraživačkim robotima da ne smeju pretraživati određenu stranicu.
Na primer, ako želite dozvoliti pretraživačkim robotima da pretražuju vašu početnu stranicu, dodali biste sledeće pravilo:
Allow: /Ako želite zabraniti pretraživačkim robotima da pretražuju određeni poddomen ili podfolder na vašem blogu, koristite:
Disallow: /Postavljanje fajla robots.txt na Vaš sajt
Nakon što ste dodali pravila u fajl robots.txt, sledeći korak je postavljanje na vaš sajt. To možete uraditi pomoću FTP klijenta ili kontrolnog panela vašeg hosting provajdera.
Ako niste sigurni kako postaviti fajl, obratite se svom provajderu hostinga, i trebalo bi da vam pomognu.
Testiranje vašeg fajla robots.txt
Nakon što ste postavili fajl robots.txt na vaš sajt, sledeći korak je testiranje da biste bili sigurni da pravilno funkcioniše. Google pruža besplatni alat nazvan robots.txt Tester u Google Search Console-u koji možete koristiti za testiranje vašeg fajla. Ovaj alat može se koristiti samo za fajlove robots.txt koji se nalaze u korenskom direktorijumu vašeg sajta.
Da biste koristili tester za robots.txt, unesite URL vašeg sajta u alat i zatim ga testirajte. Google će vam zatim prikazati sadržaj vašeg fajla robots.txt kao i bilo koje greške koje je pronašao.
Korišćenje Google-ove otvorene Robots txt biblioteke
Ako ste iskusniji razvijalac, Google takođe ima otvorenu robots biblioteku koju možete koristiti za upravljanje svojim fajlom robots.txt lokalno na svom računaru.
Šta se može dogoditi sa SEO vaše veb stranice ako je datoteka robots.txt pokvarena ili nedostaje?
Ako je vaš fajl robots.txt oštećen ili nedostaje, to može uzrokovati da pretraživački roboti indeksiraju stranice koje ne želite. To može dovesti do rangiranja tih stranica na Google-u, što nije idealno. Takođe, može rezultirati preopterećenjem sajta jer roboti pokušavaju indeksirati sve na vašem sajtu.
Oštećen ili nedostajući fajl robots.txt takođe može uzrokovati da pretraživački roboti propuste važne stranice na vašem sajtu. Ako imate stranicu koju želite indeksirati, ali je blokirana oštećenim ili nedostajućim fajlom robots.txt, možda nikada neće biti indeksirana.
Ukratko, važno je osigurati da vaš fajl robots.txt ispravno funkcioniše i da se nalazi u korenskom direktorijumu vašeg sajta. Ovaj problem možete rešiti tako što ćete kreirati nove direktive ili postaviti fajl u korenski direktorijum ako nedostaje.
Najbolje prakse za datoteke Robots.txt
Sada kada ste upoznati sa osnovama fajlova robots.txt, hajde da prođemo kroz neke najbolje prakse. Ovo su stvari koje treba da uradite kako biste se uverili da vaš fajl deluje efikasno i ispravno.
Koristite novi red za svaku direktivu
Kada dodajete pravila u svoj fajl robots.txt, važno je koristiti novi red za svaku direktivu kako biste izbegli zabunu pretraživačkih robota. To uključuje i Allow i Disallow pravila.
Na primer, ako želite zabraniti pretraživačkim robotima pristup vašem blogu i stranici za kontakt, dodali biste sledeća pravila:
Disallow: /blog/
Disallow: /contact/Koristite zamke (Wildcards) za pojednostavljenje instrukcija
Ako imate mnogo stranica koje želite blokirati, može biti vremenski zahtevno dodavati pravilo za svaku pojedinačnu. Srećom, možete koristiti zamke da pojednostavite svoje instrukcije. Zvezdica (*) je najčešća zanka koja može predstavljati jedan ili više znakova.
Na primer, ako želite blokirati sve fajlove koji završavaju sa .jpg, dodali biste sledeće pravilo:
Disallow: /*.jpgKoristite “$” da specifikujete kraj URL-a
Dolar znak ($) je još jedna zanka koju možete koristiti da specifikujete kraj URL-a. Ovo je korisno ako želite blokirati određenu stranicu, ali ne i stranice koje dolaze posle nje.
Na primer, ako želite blokirati stranicu za kontakt ali ne i stranicu za uspešan kontakt, dodali biste sledeće pravilo:
Disallow: /contact$Koristite svaki User Agent samo jednom!
Srećom, prilikom dodavanja pravila u fajl robots.txt, Googleu nije bitno ako isti User-agent koristite više puta. Ipak, smatra se najboljom praksom koristiti svaki User-agent samo jednom.
Koristite specifičnost da biste izbegli nenamerne greške
Kada su u pitanju fajlovi robots.txt, specifičnost je ključna. Što ste specifičniji sa svojim pravilima, manje je verovatno da ćete napraviti grešku koja bi mogla oštetiti SEO vašeg sajta.
Koristite komentare da biste objasnili Fajl ljudima
Iako se vaši fajlovi robots.txt pretražuju od strane robota, ljudi će i dalje morati da ih razumeju, održavaju i upravljaju njima. Ovo je posebno važno ako više ljudi radi na vašem sajtu.
Možete dodavati komentare u svoj fajl robots.txt da biste objasnili šta određena pravila znače. Komentari moraju biti na svojoj liniji i početi sa #.
Na primer, ako želite blokirati sve fajlove koji završavaju sa .jpg, možete dodati sledeći komentar:
Disallow: /*.jpg # Blokiraj sve fajlove koji završavaju sa .jpgOvo bi pomoglo svakome ko treba da upravlja vašim fajlom robots.txt da razume zbog čega je pravilo tu i šta predstavlja.
Koristite zaseban fajl robots.txt za svaki poddomen
Ako imate veb sajt sa više poddomena, najbolje je kreirati zaseban fajl robots.txt za svaki od njih. Ovo pomaže održavanju organizovanosti i olakšava pretraživačkim robotima razumevanje vaših pravila.
Uobičajene greške u datoteci Robots.txt i kako da ih ispravite
Razumevanje najčešćih grešaka koje ljudi prave sa svojim fajlovima robots.txt može vam pomoći da izbegnete iste. Evo nekih od najčešćih grešaka i kako rešiti ove tehničke SEO probleme.
Nedostajući robots.txt Fajl
Najčešća greška sa fajlovima robots.txt je da ga uopšte nemate. Ako nemate fajl robots.txt, pretraživački roboti će pretpostaviti da im je dozvoljeno pretraživanje celog vašeg sajta.
Da biste ovo ispravili, moraćete da kreirate fajl robots.txt i dodate ga u korenski direktorijum vašeg sajta.
Fajl robots.txt nije u Direktorijumu
Ako nemate fajl robots.txt u korenskom direktorijumu vašeg sajta, pretraživački roboti ga neće moći pronaći. Kao rezultat toga, pretpostaviće da im je dozvoljeno pretraživanje celog vašeg sajta.
Fajl robots.txt treba biti jedan tekstualni fajl koji se ne sme smeštati u poddirektorijume već direktno u korenski direktorijum.
Nema Sitemap URL-a
Vaš fajl robots.txt uvek treba sadržavati link do sitemap-a vašeg sajta. Ovo pomaže pretraživačkim robotima da pronađu i indeksiraju vaše stranice.
Izostavljanje sitemap URL-a iz fajla robots.txt je česta greška koja možda neće oštetiti SEO vašeg sajta, ali dodavanje će ga poboljšati.
Blokiranje CSS i JS
Prema John Mueller-u, trebalo bi izbegavati blokiranje CSS i JS fajlova jer ih Google pretraživački roboti zahtevaju da bi ispravno prikazali stranicu.
Prirodno, ako roboti ne mogu renderovati vaše stranice, neće biti indeksirane.
Upotreba NoIndex u robots.txt
Od 2019. godine, noindex robots meta tag je zastareo i više nije podržan od strane Google-a. Zbog toga biste trebali izbegavati njegovu upotrebu u fajlu robots.txt.
Ako još uvek koristite noindex robots meta tag, trebalo bi da ga uklonite sa svog sajta što je pre moguće.
Nepravilna upotreba zamki (Wildcards)
Nepravilna upotreba zamki (wildcards) samo će rezultirati ograničavanjem pristupa fajlovima i direktorijumima koje niste nameravali.
Kada koristite zamke, budite što precizniji. To će vam pomoći da izbegnete greške koje bi mogle oštetiti SEO vašeg sajta. Takođe, pridržavajte se podržanih zamki, to jest zvezdice i dolara.
Pogrešna ekstenzija fajl tipa
Kao što naziv govori, fajl robots.txt mora biti tekstualni fajl koji se završava sa .txt. Ne može biti HTML fajl, slika ili bilo koji drugi tip fajla. Mora biti kreiran u UTF-8 formatu. Koristan uvodni resurs je Google-ov vodič za robots.txt i Google Robots.txt FAQ.
Fajl robots.txt je moćan alat koji se može koristiti za poboljšanje SEO-a vašeg sajta. Međutim, važno je koristiti ga ispravno.
Kada se pravilno koristi, fajl robots.txt može vam pomoći da kontrolišete koje stranice indeksira pretraživač i poboljšate sposobnost pretraživanja vašeg sajta. Takođe može pomoći u izbegavanju problema sa dupliciranim sadržajem.
S druge strane, ako se koristi nepravilno, fajl robots.txt može više naštetiti nego koristiti. Važno je izbeći uobičajene greške i pratiti najbolje prakse koje će vam pomoći da iskoristite pun potencijal vašeg fajla robots.txt i unapredite SEO vašeg sajta.