Se llama latencia. Ping es el señal que se envía, no el tiempo.

Si conectas el ordenador y el router directamente por cable se te soluciona el problema, a mi me funciona

La solucion es fácil cambia tu adsl por fibra si puedes y utiliza el cable del router a tu ordenador