Analisis: Frecuencia de rastreo de robots.txt

Hace una semana comentaba mi intension de investigar lo expuesto en seo femenino sobre la frecuencia de rastreo de google al archivo robots.txt.

Como obtuve la informacion:
Primero seleccione uno de mis sitios con buena actividad, el cual tiene un pagerank 2, 5.750 páginas indexadas en google, 11.870 en Yahoo y 1.060 en Bing.
Luego hice que apache interpretara el archivo robots.txt como un archivo php, es decir, que lo ejecutara con php sin importar que la extension fuera .txt. Dentro de este archivo php filtre los distintos robots (Yahoo, Bing y Google) y coloque una función para que cada vez que uno de esos robots solicitara el archivo me enviara un mail informandome el User Agent del robot, el archivo solicitado (robots.txt) y la fecha y hora en que solicito el archivo.

Con esta información genere un informe diario de la actividad de los distintos bots en el archivo robots.tx

Los resultados:
En 9 días de investigación, los resultados indican:
1) Que googlebot efectivamente accede practicamente todos los dias al archivo robots.txt, a excepción de algunos dias.(Gráfico 1)
2) Que Yahoo lo hace religiosamente cada día y hasta 10 veces el mismo día. (Gráfico 1)
3) Que Bing núnca paso a ver como estabamos…

Como dato quizas no tan importante, pero que me llamo la atención, podría agregar que GoogleBot ingresa por las mañanas, entre las 7 y las 10 am. Mientras que Yahoo lo hace a lo largo de todo el día, donde el menor horario registrado es 4 am y el mayor es 23 hs. (Gráfico 2)

Para darle un poco más de estética al post, les dejo unos gráficos para que puedan ver con claridad lo que les digo (click para ver en grande):

Rastreo del archivo robots.txt semanal:

Analisis de ingresos al archivo robots.txt
Analisis de ingresos al archivo robots.txt

Analisis del día con mayor actividad por ambos motores de busqueda (09/09):

Analisis de ingreso al archivo robots.txt por horas
Analisis de ingreso al archivo robots.txt por horas

Si con este post te estamos ayudando, no dudes en linkearnos o seguir nuestro RSS

Se buscan ingenieros de Yahoo

No lo digo yo, lo dice Matt Cutts en su blog oficial.
Basicamente lo que Matt dice es: «Si eres un excelente ingeniero de Yahoo, Google esta empleando…!»

Uno de las máximas figuras del equipo de Google invita a los empleados de Yahoo a formar parte de su equipo, como lo hizo la persona que motivo el post original.

Será que Google promueve la fuga de cerebros? o es que los empleados de Yahoo la ven un poco negra con la alianza que hay con Bing?

Yo me juego por la segunda… si Yahoo va a usar Bing como motor de busqueda, evidentemente todos esos ingenieros tendran que buscar nuevos horizontes…

Asi que ya saben empleados de Yahoo: «Tierra a la vista! Google te espera».

Google te ayuda a mejorar tu sitio con Site Clinic

Ayer, si no me equivoco, google anunció en su blog oficial para los webmasters de habla hispana el lanzamiento de Site Clinic, un proyecto con el que pretenden acercarse a los webmasters para darles una mano…

La idea es analizar algunos sitios web y a traves del blog informar algunas de las mejoras que se podrian aplicar a dicho sitio. Para esto han abierto la posibilidad de postular un sitio
. De los 200 primeros sitios que se envien, seleccionaran de 3 a 5 para realizar su analisis…

Yo ya me anote, sin embargo, dudo mucho ser uno de los seleccionados ya que son miles los lectores que deben estar inscriptos… Hay tiempo hasta el 15 de Octubre, vas a intentar ser uno de los privilegiados?

Entrada oficial: http://googlewebmaster-es.blogspot.com/2009/09/ayuda-en-busqueda-analizando-vuestras.html

Otra herramienta seo para nuestra web

Cuando se trata de herramientas seo para analizar nuestra web tenemos una enorme carta para elegir la que más nos guste.

Mi preferida era wiriki, pero actualmente no se encuentra en funcionamiento. Asi que ahora estoy usando mis propias herramientas para descubrir las caracteristicas de cada sitio que deseo analizar.

Sin embargo, para los que buscan dia a dia nuevas herramientas seo, les dejo Web Seo Analytics, una web en la que podran obtener informes seo completos gratuitamente.

Buscar paginas indexadas en google hace segundos

Gracias a Adseok me entero que google a agregado una nueva funcionalidad a su servicio de busqueda por fechas.

Ahora podemos realizar busquedas restringiendo por semanas, dias, horas, minutos y hasta segundos.

Para hacerlo tenemos que ingresar los siguientes parametros en la url de busqueda:

tbs=qdr:[name][value]

donde [name] puede ser cuanquiera de estos valores: s (segundos), n (minutos), h (horas), d (días), w (semana), m (mes), y (año), mientras [value] es un número.

De esta manera, ingresando una una url de busqueda como la siguiente:
http://www.google.es/search?q=gripe+a&tbs=qdr:s45
Obtendremos las páginas indexadas por el robot de busqueda en los ultimos 45 segundos para el termino gripe a.

Esto demuestra que la velocidad de indexación es cada vez más grande, lo que lleva a que el SEO pueda tener en sus manos herramientas cada vez mejores.

Fuente: http://www.adseok.com/herramientas-seo/rsultados-restringidos-a-segundos-en-google/

Actualizacion Pagerank Septiembre 2009

Ya se encuentra el pueblo reclamando la actualizacion del pagerank. Cada dia gritan mas y mas fuerte…

Bloggers de todo el mundo estan a la espera de la insignificante barrita verde…

A decir verdad, todo indicaria que en septiembre se llevaria a cabo la actualizacion del pagerank. Yo, por mi parte, si bien considero que el valor que tiene es practicamente nulo, no dejo de tener en mi interior esas ganas de presumir una barrita verde.

Sin embargo, lo que me preocupa, es que se que no me va a ir bien… Durante cerca de dos años mis sitios estuvieron practicamente abandonados. Y hoy, una vez en el campo de batalla, he vuelto a revivirlos, pero eso fue tan solo hace una semana o un poco mas… tiempo que no creo que sea suficiente para tener un impacto real en los resultados.

Sin embargo, quizas podriamos llevarnos la sorpresa de ser uno de los pocos elegidos por google para darle ese pequeño impulso de favor… jejeje.

Despertador Online

Personalmente una de las cosas que mas me cuesta en la vida es dormirme… la otra es despertarme. No es facil para mi acostarme y dormir, practicamente todas las noches tengo ese problema y su consecuencia: no poder despertarme.

Resulta ser que a mi cerebro no se le ocurre mejor idea que aprovechar al maximo la oportunidad que tiene de que mi cuerpo pueda estar inactivo. Entonces, despertarme es una eternidad… de hecho creo que en mi haber debo contar con al menos una decena de despertadores rotos… no por tirarlos, sino por quedarme dormido apagandolo o simplemente aplastarlo por no sentirlo.

Afortunadamente, un CPU y un monitor son mas dificiles de romper. Para las personas que les cueta mantener el ritmo del despertador estandar, llegan los despertadores online. Una suerte de web en la que indicamos el horario para despertarnos y simplemente en ese horario sonara.

El que utilizo yo es Online Alarm Clock (http://onlineclock.net/) y es el que considero mas molesto, excelente para dormilones como yo.

Por otro lado tenemos a Naked Alarm Clock (http://www.nakedalarmclock.com/), un servicio un poco mas completo en el que podemos hasta seleccionar el sonido que nos despertara…

Por ultimo se encuentra Klokoo (http://www.klokoo.com/), el cual no he probado.

Podria pasarme algunas lineas explicando las diferencias entre estas alarmas online, pero no tendria sentido siendo algo tan sencillo.

Los invito a visitar las urls expuesta y decidir quien los despertara mañana…

Mapa con extensiones de dominio

Buscando algunos Cheat Sheets para facilitarme el trabajo diario me encuentro con una imagen que vale mas que mil dominios.

Se trata de un mapa del mundo con todas las extensiones de dominio separada pais por pais.

En este mapa podemos encontrar dentro de cada pais un pequeño texto que nos indica la extension de dominio que le corresponde. Ademas, a los costados tenemos un listado alfabetico donde se listan las extensiones con el pais correspondiente.

Asi, podremos descubrir con facilidad que los dominios .cd corresponden a la Republica Democratica del Congo, o que los dominios .tv, a Tuvalu, una isla del pacifico que sobrevive solo por los dominios (bueno, el mapa no da esa informacion, eso lo hace wikipedia… jeje.)

La url para ver el mapa en tamaño grande es:
http://www.cheat-sheets.org/saved-copy/countrychart_4080.jpg

Ya estoy viendo la posibilidad de imprimirlo en tamaño gigante para colgarlo en mi cuarto…

ACTUALIZACIÓN (08/09/2010): Joana nos comenta sobre este gráfico en formato PDF el cual sería mucho más estético que el presentado en este artículo y perfectamente apto para ser impreso!

Poemas gratis Online

Bueno, ya muchos de mis lectores deben saber cuales son tres de mis adicciones en el mundo online. Para los que no, les cuento que tengo un problema bastante grave con la compra de dominios, de servicios de hosting y de blogs.

Si veo un dominio que podria valer la pena, lo compro… si veo un blog que podria valer la pena, lo compro… y si veo un servicio de hosting que podria servirme de algo, lo contrato…

Gracias a Dios, el tema del servicio de hosting y los blogs lo tengo bastante controlado. No tan asi el tema de los dominios…

Sin embargo, por mas controlado que este, esta semana me he tomado el atrevimiento de regalarme un pequeño blog de Poemas Gratis.

Todavia me encuentro haciendo la transferencia y buscando el diseño que va a acompañarlo definitivamente. Igualmente, los invito a visitarlo y a, porque no, robarse algun poema para quedar bien con alguien.

Detectar contenido duplicado con Copyscape

Muchas veces cuando escribo en alguno de mis blog lo hago como ayuda memoria. No soy muy amigo de los favoritos o bookmarks online y demas, prefiero la comodidad de saber que algo era lo suficientemente importante como para que lo posteara en mi blog.

Este es uno de esos casos. En esta ocación traigo para la posteridad: http://www.copyscape.com/?results

Copyscape es una herramienta seo muy interesante que nos permitira reconocer si un sitio tiene contenido duplicado, ya sea porque ha copiado o porque lo han copiado.

Para utilizar copyscape debemos ingresar la url del sitio a investigar y luego de darle click en «go» veremos los resultados.

Por ejemplo, este sitio parece tener contenido duplicado de SEO736.com, lo cual no es un error porque en si esa es la url anterior de Ayudando.net.

Muy util para cuando estamos a punto de comprar un blog o simplemente si queremos saber si nos estan robando contenidos.

David Perez