robots.txt og skriðun: Hvernig þú stýrir leitarvélum

robots.txt er stýring, ekki töfralausn

robots.txt er einföld skrá, en hún getur haft mikil áhrif á hvernig leitarvélar fara um vefinn þinn. Hún segir frá því hvaða hluta á að skriða og hvaða hluta ekki.

Það þýðir þó ekki að hún leysi öll vandamál. Hún er bara hluti af stærri tæknilegri mynd.

Ef þú ert að byggja skýra leið að mikilvægu efni eins og leitarvélabestun þarf robots.txt að styðja þá leið, ekki loka óvart á efni, skrár eða slóðir sem eiga að vera sýnilegar.

Hvenær nýtist hún best?

robots.txt er gagnleg þegar þú vilt:

• halda óþarfa slóðum frá skriðun
• stjórna aðgengi að óviðkomandi svæðum
• vísa á sitemap
• halda tæknilegri uppsetningu hreinni

Praktísk dæmi geta verið:

• filter- eða parameter-slóðir sem búa til endalaus afbrigði
• innri leitarsíður sem eiga ekki að taka crawl budget
• tæknileg svæði eða staging slóðir sem eiga ekki að vera opnar

Hvernig notarðu hana rétt?

Góð robots.txt á að vera einföld og skýr. Hún á ekki að vera notuð til að fela mikilvægt efni eða laga vandamál sem eiga sér annan uppruna.

Gott verklag

• loka aðeins því sem á ekki að skriða
• leyfa síðum sem þú vilt sjá í leit að vera aðgengilegar
• vísa í sitemap þegar það á við
• athuga breytingar með Source eða crawler áður en þú setur þær í loftið

Ef þú vilt sjá hvernig Google útskýrir þetta sjálft, þá er hér opinber leiðarvísir: robots.txt introduction hjá Google Search Central.

Dæmi um hreina uppsetningu

User-agent: *
Disallow: /leit/
Disallow: /karfa/
Sitemap: https://55.is/sitemap.xml

Þetta er skýrt dæmi. Það lokar ekki á opinberar þjónustusíður eða blogg, en heldur aftur af svæðum sem eiga sjaldan erindi í leit.

Hvað á robots.txt ekki að gera?

Það er jafn mikilvægt að skilja mörkin.

robots.txt á ekki að vera aðalverkfærið þegar þú vilt:

• fjarlægja síðu úr index
• laga duplicate content
• merkja aðalútgáfu af síðu
• senda notendur eða leitarvélar yfir á nýja slóð

Í þeim tilvikum þarftu yfirleitt að skoða:

• noindex
• canonical
• 301 redirect
• innri tengla

Þess vegna vinnur þessi grein vel með canonical tags og síðuendurgerðir og skriðun og indexing.

Algeng mistök

• að loka síðum sem þú vilt í raun að birtist í leit
• að halda að robots.txt fjarlægi síður úr vísitölu
• að nota hana sem lausn á duplicate content
• að gleyma að hún þarf að passa við sitemap og internals

Hvað þarf að passa?

Ef þú lokar röngum möppum geturðu gert meiri skaða en gagn. Þess vegna þarf alltaf að vita hvað á að vera sýnilegt og hvað ekki.

robots.txt og sitemap þurfa líka að vinna saman. Ef sitemap bendir á síðu sem robots.txt lokar á, færðu ósamræmi sem getur ruglað ferlið.

Stutt gátlisti áður en þú birtir breytingu

• ertu að loka á tæknilegt svæði eða á mikilvæga opinbera síðu?
• er sitemap enn að vísa á opnar slóðir?
• þurfa CSS eða JS skrár að vera crawl-anlegar?
• hefur þú prófað breytinguna áður en hún fer live?

Niðurstaða

robots.txt er einfalt en mikilvægt tæki. Þegar hún er notuð rétt hjálpar hún leitarvélum að eyða tíma sínum á réttum stöðum.

Skoðaðu líka sitemap leiðarvísinn, skriðun og indexing og tæknilegt SEO til að sjá heildarmyndina.