robots.txt og skriðun: Hvernig þú stýrir leitarvélum

robots.txt er stýring, ekki töfralausn

robots.txt er einföld skrá, en hún getur haft mikil áhrif á hvernig leitarvélar fara um vefinn þinn. Hún segir frá því hvaða hluta á að skriða og hvaða hluta ekki.

Það þýðir þó ekki að hún leysi öll vandamál. Hún er bara hluti af stærri tæknilegri mynd.

Hvenær nýtist hún best?

robots.txt er gagnleg þegar þú vilt:

• halda óþarfa slóðum frá skriðun
• stjórna aðgengi að óviðkomandi svæðum
• vísa á sitemap
• halda tæknilegri uppsetningu hreinni

Hvað þarf að passa?

Ef þú lokar röngum möppum geturðu gert meiri skaða en gagn. Þess vegna þarf alltaf að vita hvað á að vera sýnilegt og hvað ekki.

Niðurstaða

robots.txt er einfalt en mikilvægt tæki. Þegar hún er notuð rétt hjálpar hún leitarvélum að eyða tíma sínum á réttum stöðum.

Skoðaðu líka sitemap leiðarvísinn og tæknilegt SEO greinar til að sjá heildarmyndina.