Ako zablokovať vyhľadávače (s obrázkami)

Vyhľadávače sú vybavené robotmi, známymi aj ako pavúky alebo boti, ktorí prehľadávajú a indexujú webové stránky. Ak je váš web alebo stránka vo vývoji alebo obsahuje citlivý obsah, možno budete chcieť zablokovať roboty, aby prehľadávali a indexovali váš web. Naučte sa blokovať celé webové stránky, stránky a odkazy pomocou robotov.txt súbory a zablokujte konkrétne stránky a odkazy pomocou <Meta> </meta> html tagy. Čítajte ďalej a zistite, ako zablokovať prístup konkrétnych robotov k vášmu obsahu.

Metóda 1 z 2:Blokovanie vyhľadávačov pomocou robotov.txt Súbory

Rozumieť robotom.txt súbory. A robots.txt je obyčajný alebo ASCII textový súbor, ktorý informuje pavúky vyhľadávačov o tom, k čomu majú na vašej lokalite povolený prístup. Súbory a priečinky uvedené v zozname robotov.Súbor txt nesmie byť prehľadávaný a indexovaný pavúkmi vyhľadávačov. Možno budete potrebovať robots.txt, ak:

  • Chcete zablokovať konkrétny obsah pred pavúkmi vyhľadávačov.
  • Vyvíjate živú lokalitu a nie ste pripravení na to, aby pavúky vyhľadávačov prehľadávali a indexovali lokalitu
  • Chcete obmedziť prístup renomovaným robotom.[1]

Vytvoriť a uložiť a robots.Súbor txt. Ak chcete vytvoriť súbor, spustite textový editor alebo editor kódu. Uložte súbor ako: robots.txt. V názve súboru musia byť všetky malé písmená.[2]

  • Nezabudnite na „s.“
  • Pri ukladaní súboru vyberte príponu „‚.txt“. Ak používate program Word, vyberte možnosť „Plain Text“.

Napíšte úplne zakázaný súbor robots.txt súbor. Je možné zablokovať každého renomovaného pavúka vyhľadávača, aby neprehľadával a neindexoval vašu lokalitu, pomocou príkazu robots „full-disallow“.txt. Do textového súboru napíšte nasledujúce riadky:

    User-agent: *
    Zakázať: /
    
  • Použitie „úplného zákazu“ robotov.txt súbor sa dôrazne neodporúča. Keď si bot, napríklad Bingbot, prečíta tento súbor, nebude vašu stránku indexovať a vyhľadávač vašu stránku nezobrazí.
  • Používatelia-agenti: toto je iný výraz pre pavúky vyhľadávačov alebo robotov
  • *: hviezdička znamená, že kód sa vzťahuje na všetkých používateľských agentov
  • Zakázať: /: lomítko vpred znamená, že celá stránka je zakázaná pre roboty[3]

Napíšte podmienečné povolenie robots.txt súbor. Namiesto blokovania všetkých robotov zvážte blokovanie určitých pavúkov v určitých oblastiach vášho webu.[4]
Medzi bežné príkazy s podmieneným povolením patria:

  • Zablokovať konkrétneho robota: Nahraďte hviezdičky vedľa User-agent s googlebot, googlebot-news, googlebot-image, bingbot, alebo teoma.[5]
  • Zablokovať adresár a jeho obsah:
    User-agent: *
    Zakázať: /sample-directory/
    
  • Zablokovať webovú stránku:
    User-agent: *
    Zakázať: /private_file.html
    
  • Zablokovať obrázok:
    User-agent: googlebot-image
    Disallow (Zakázať): V prípade, že je v adresároch, ktoré sú v zozname, v ktorých sa nachádzajú súbory, je možné ich zakázať: /images_mypicture.jpg
    
  • Zablokujte všetky obrázky:
    User-agent: googlebot-image
    Zakázať: /
    
  • Zablokovať konkrétny formát súboru:
    User-agent: *
    Zakázať: /p*.gif$
    

Povzbuďte roboty, aby indexovali a prehľadávali vašu stránku. Mnoho ľudí chce namiesto blokovania pavúkov vyhľadávačov privítať, pretože chcú, aby sa indexovala celá ich stránka. Ak to chcete dosiahnuť, máte tri možnosti. Najprv môžete odmietnuť vytvorenie robots.txt súbor – keď robot nenájde robots.txt, bude naďalej prehľadávať a indexovať celú vašu lokalitu. Po druhé, môžete vytvoriť prázdny súbor robots.txt súbor – robot nájde roboty.txt, rozpozná, že je prázdny, a bude pokračovať v prehľadávaní a indexovaní vašej stránky. Nakoniec môžete napísať súbor full-allow robots.txt súbor.[6]
Použite kód:

    User-agent: *
    Zakázať:
    
  • Keď si bot, napríklad googlebot, prečíta tento súbor, bude môcť navštíviť celú vašu stránku.
  • Užívateľ-agent: toto je iný termín pre pavúky vyhľadávačov alebo robotov
  • *: hviezdička znamená, že kód sa vzťahuje na všetkých používateľských agentov
  • Zakázať: prázdny príkaz disallow znamená, že všetky súbory a priečinky sú prístupné

Uložte súbor txt do koreňového adresára svojej domény. Po napísaní robotov.txt súbor, uložte zmeny. Nahrajte súbor do koreňového adresára vašej webovej lokality. Ak je napríklad vaša doména www.yourdomain.com, umiestnite robots.txt súbor na adrese www.yourdomain.com/robots.txt.

Metóda 2 z 2:Blokovanie vyhľadávačov pomocou metaznačiek

Rozumieť metaznačkám HTML robots. Metaznačka robots umožňuje programátorom nastaviť parametre pre roboty alebo pavúky vyhľadávačov. Tieto značky sa používajú na zablokovanie indexovania a prehľadávania celého webu alebo len jeho častí. Tieto značky môžete použiť aj na zablokovanie indexovania vášho obsahu konkrétnym pavúkom vyhľadávača. Tieto značky sa zobrazia v hlavičke vášho súboru HTML.[7]

  • Túto metódu bežne používajú programátori, ktorí nemajú prístup do koreňového adresára webovej lokality.

Blokovanie robotov z jednej stránky. Je možné zablokovať všetky roboty pred indexovaním stránky a pred sledovaním odkazov na stránke. Tento tag sa bežne používa, keď sa živá stránka vyvíja. Po dokončení stránky sa dôrazne odporúča odstrániť túto značku. Ak značku neodstránite, vaša stránka nebude indexovaná ani vyhľadateľná prostredníctvom vyhľadávačov.[8]

  • Môžete zablokovať roboty, aby stránku indexovali a aby sledovali všetky odkazy:
    <meta name="robots" content="noindex, nofollow">
    
  • Môžete zablokovať indexovanie stránky všetkými robotmi:
    <meta name="robots" content="noindex">
    
  • Môžete zablokovať všetky roboty, aby sledovali odkazy na stránke:
    <meta name="robots" content="nofollow">
    

Umožniť robotom indexovať stránku, ale nesledovať jej odkazy. Ak umožníte botom indexovať stránku, stránka bude indexovaná; ak pavúkom zabránite sledovať odkazy, cesta odkazov z tejto konkrétnej stránky na iné stránky sa preruší.[9]
Do hlavičky vložte nasledujúci riadok kódu:

    <meta name="robots" content="index, nofollow">
    

Umožnite pavúkom vyhľadávačov sledovať odkazy, ale stránku neindexujte. Ak robotom povolíte sledovať odkazy, cesta odkazov z tejto konkrétnej stránky na iné stránky zostane zachovaná; ak im obmedzíte indexovanie stránky, vaša webová stránka sa v indexe nezobrazí.[10]
Do hlavičky vložte nasledujúci riadok kódu:

    <meta name="robots" content="noindex, follow">
    

Zablokovanie jedného odchádzajúceho odkazu. Ak chcete skryť jeden odkaz na stránke, vložte rel v rámci <a href> </a> značka odkazu. Tento tag môžete použiť na blokovanie odkazov na iných stránkach, ktoré vedú na konkrétnu stránku, ktorú chcete zablokovať.[11]

    <a href="yourdomain.html" rel="nofollow">Vloženie odkazu na zablokovanú stránku</a>
    

Zablokovať konkrétneho pavúka vyhľadávača. Namiesto blokovania všetkých botov na vašej webovej stránke môžete chcieť zabrániť jednému botovi v prehľadávaní a indexovaní stránky. Ak to chcete dosiahnuť, nahraďte „‚robot“ v meta tagu názvom konkrétneho bota.[12]
Medzi príklady patria napr: Googlebot, googlebot-news, googlebot-image, bingbot, a teoma.[13]

    <meta name="bingbot" content="noindex, nofollow">
    
  • Podporte roboty, aby prehľadávali a indexovali vašu stránku. Ak chcete zabezpečiť, že vaša stránka bude indexovaná a jej odkazy budú nasledované, môžete vložiť príkaz follow-allow meta „robot“ do hlavičky.[14]
    Použite nasledujúci kód:

      <meta name="robots" content="index, follow">
      
  • Odkazy