¡Buenas!
¡Felicidades por terminar el mazo de N4 y el Kaishi 1.5k! 
Lo que yo haría es, en el momento en que me sintiera cómodo con el vocabulario de N4, pasar directamente al N3. Así de simple. No me preocuparía por cuántas palabras tengo en Maestro; los repasos se encargarán de eso por ti.
Yo creo que desde que empiezas con el primer mazo (N5), ya deberías estar en contacto con input nativo, al menos en mi opinión. La gramática por sí sola es bastante ineficiente si no la ves aplicada en contenido real. 
Está bien que en los Logros se vea bonito el número de palabras aprendidas, pero estoy completamente convencido de que no sirve de mucho si no las reconoces en el input nativo. Puedes aprenderte 5,000 palabras de un mazo, pero si luego no las puedes identificar en un podcast, un anime o un manga, por ejemplo… no sirve de nada.
En cualquier contenido que elijas, el miedo siempre va a estar presente: “¿Entenderé? ¿No entenderé?”
Y probablemente al principio no entiendas casi nada. Pero no te desanimes: eso forma parte del proceso. Con el tiempo empezarás a reconocer palabras, expresiones gramaticales, acentos, etc., y eso poco a poco te dará más confianza con el material que elijas.
Tu pregunta es muy buena. Creo que a la gran mayoría le pasa lo mismo: sentimos que necesitamos dominar mucha gramática antes de lanzarnos al contenido nativo, porque tememos no entender nada. Pensamos: “Necesito más gramática en el cuerpo para sentirme con confianza”.
Mi yo de ahora piensa muy distinto al de antes. Si pudiera decirme algo, sería exactamente esto.
Quise decir muchas cosas 
, pero espero que se haya entendido y que pueda ayudarte aunque sea un poquito, aunque sea un 1%, a lanzarte de una vez al contenido nativo. 