Archiwa tagu: user agent

Jak sprawdzić jak widzi naszą stronę Googlebot? [user agent]

Po instalacji „Spider session remover” dla nowego sklepu osCommerce przydało by się sprawdzić czy wprowadzone zmiany rzeczywiście działają i sesja robotom jest usuwana aby indexowały nasz sklep bez niej;)

Aby to sprawdzić potrzebujemy podszyć się pod Googlebota i odwiedzić naszą stronę.
Na szybko udało mi się znaleźć 2 wyjścia, zmiana w konfigu FireFoxa (zmiana w Opera i Chrome wiąże się z edycją plików .dll) oraz drugi patent, mały własny skrypt wykorzystujący cURL;)

A więc do dzieła;)

Skrypt „user-agent.php” – wyświetli nam to co widzi robot, zmienić tylko adres w „$websiteUrl” na ten który chcemy sprawdzić;)

<?php 
$cookie = 'cookie.txt';
 
$websiteUrl = 'http://www.blog.meloniq.net';
$useragent = 'Googlebot/2.1 (+http://www.google.com/bot.html)';
 
	$ch = curl_init( $websiteUrl );
	curl_setopt( $ch, CURLOPT_COOKIEJAR, $cookie);
	curl_setopt( $ch, CURLOPT_COOKIEFILE, $cookie);
	curl_setopt( $ch, CURLOPT_COOKIE, $cookie);
	curl_setopt( $ch, CURLOPT_USERAGENT, $useragent );
	curl_setopt( $ch, CURLOPT_HEADER, 0);
	curl_setopt( $ch, CURLOPT_REFERER, 'http://www.meloniq.net/' );
	curl_setopt( $ch, CURLOPT_RETURNTRANSFER, 1 );
        curl_setopt( $ch, CURLOPT_FOLLOWLOCATION, 1);
	$wwwebsite = curl_exec($ch);
	curl_close($ch);
 
    echo $wwwebsite;
?>

Druga metoda, zmiana ustawień firefoxa.
1. Na pasku adresu wpisujemy „about:config
2. Klikamy prawym, z menu wybieramy „Dodaj ustawienie typu > Łancuch (string)
3. W nowym oknie wpisujemy „general.useragent.override„, then OK
Googlebot
4. W następnym oknie wpisujemy „Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot
5. Wchodzimy na stronę Whats my User Agent aby się upewnić że działa
6. Dezaktywujemy to ustawienie po skończonej zabawie poprzez kliknięcie prawym myszy na „general.useragent.override” w „about:config” i wybraniu z menu „reset