Cómo evitar las comprobaciones de bots al hacer web scraping

Basado en Selenium, pero también se puede aplicar en otros casos

1. Eliminar la bandera navigator.webdriver

2. Eliminar ciertas cadenas de texto de ChromeDriver / GeckoDriver

3. Cambiar la resolución, el User-Agent, etc.

4. Usar el flujo real de URLs. Evitar visitar enlaces invisibles

5. Cambiar la IP usando un proxy

6. Usar valores de retraso aleatorios

7. No usar un navegador headless (se puede comprobar revisando el permiso de notificaciones)

[xguru]

En el caso 1, en Puppeteer hay sitios donde te detectan como bot aunque solo configures true/false,

así que dicen que es mejor eliminar la propiedad por completo, como abajo.

const newProto = navigator.__proto__;

delete newProto.webdriver;

navigator.__proto__ = newProto;

[louis]

Es un buen punto :) Reemplacé el código