normalmente con escribir en el explorer o firefox en la barra de direcciones la IP de la puerta de acceso al router abriras una pagina de configuracion del mismo
http://192.168.1.1
por ejemplO. Depende de la Ip q tengas
Una vez dentro depende del modelo de router. Entra, haz algunas screenshots y te voy indicando.