.htaccess jak skutecznie zablokować indeksowanie strony

Hej, 
jak powinien wyglądać plik .htaccess żeby skutecznie zablokować indeksację stron przez najpopularniejsze roboty?

Zablokuj IP(jeśli znany), albo zablokuj user_agenta:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Jakieś_Coś) [NC]
RewriteRule .* - [R=403,L]

[źródło] 
 


Możesz praktycznie to samo zrobić w PHP:

if(strstr(strtolower($_SERVER['HTTP_USER_AGENT']), "googlebot"))
{
    exit;
}

 

Nie możesz po prostu wykluczyć robota z pliku robots.txt?  No chyba że jest nieposłuszny.

Swoją drogą czemu nie chcesz indeksować strony?

Zablokuj IP(jeśli znany), albo zablokuj user_agenta:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Jakieś_Coś) [NC]
RewriteRule .* - [R=403,L]

[źródło] 
 


Możesz praktycznie to samo zrobić w PHP:

if(strstr(strtolower($_SERVER['HTTP_USER_AGENT']), "googlebot"))
{
    exit;
}

 

Nie możesz po prostu wykluczyć robota z pliku robots.txt?  No chyba że jest nieposłuszny.

 

Swoją drogą czemu nie chcesz indeksować strony?

Dzięki

A strony nie chcę indeksować, bo na razie jest tylko testowana itd Nie chcę żadnych śmieci zapamiętanych przez google

A co jest lepsze do zablokowania indeksowania .htaccess czy robots.txt wystarczy?

Myślę że htaccess, możesz poczytać o robots.txt - to jest tylko wskazówka dla botów (zdarza się że jej nie słuchają).