Absolutamente. Puede rastrear Youtube para recopilar datos de texto relacionados con ese video, los comentarios, los me gusta, etc.
Hay un par de cosas que debe buscar al rastrear un sitio y usar sus datos:
– robots.txt: trata esto como un libro de reglas para tu bot. La mayoría de los sitios tienen este archivo que guía sobre qué URL no están permitidas para un bot. Por ejemplo, si está en un sitio de comercio electrónico, encontrará que el enlace “agregar al carrito” no se permitiría a los bots porque esperarían que solo los humanos realicen esa acción. Mientras que el acceso a las páginas de productos estaría permitido para garantizar el máximo descubrimiento de sus productos por los motores de búsqueda.
- ¿Alguien puede explicar qué es el envío por vía rápida para un sitio web en SEO?
- ¿Te gustaría contratar a un desarrollador experto de SEO?
- Cómo aparecer en la primera página de Google, para una palabra clave para la que mi blog ya está recibiendo tráfico
- Cómo configurar un motor de búsqueda para que priorice un conjunto específico de sitios web en todas sus búsquedas
- ¿Puedo usar JSON-LD y Microdata al mismo tiempo para el esquema SEO?
– términos de uso: cada sitio tiene sus propias reglas sobre cómo usar sus datos. En la actualidad, algunos sitios tienen derechos de autor incluso del contenido de origen público, pero la mayoría de ellos son razonables.
Dicho esto, siempre que rastree datos públicos y siga las pautas anteriores, no está rompiendo ninguna regla. No hay una diferencia real entre que puedas ver el contenido de ese sitio en tu navegador o usar un programa para acceder a los mismos datos.
Lo había ilustrado más en mi respuesta aquí: la respuesta de Arpan Jha a Si quisiera crear un sitio que comparara el precio de los lápices, ¿podría legalmente raspar sitios como Staples o Walmart para obtener precios diferentes?