Está bien utilizarlo, no tienes que apagarlo para que cargue, pero te exhorto no acercar el audífono al oído mientras esté conectado a la red eléctrica.
Las razones de simple sentido común:
Los teléfonos están bien montados, pero los constructores también se equivocan, como el asunto de los Samsung Galaxy Note que explotaban, al punto que fueron vetados o prohibidos para llevarlos en las aerolíneas.
Los iPhone que se quemaban, se reveló que unos de los cargadores no eran originales y no revelaban cuando el teléfono había alcanzado al 100%, perpetuaban sobrecargando la batería hasta arder.
Puede que un teléfono cuando nuevo esté perfecto, pero quien avala que posteriormente del uso no se haya dañado, caídas, golpes logran hacer que un dispositivo fracase y entre en corto.
En caso de que llegase a incendiarse o explotar o tener un cortocircuito, que estés lejos del dispositivo y sobre todo que no posea un provisión "infinita" de electricidad al estar conectado, ya que el organismo humano es un excelente conductor de electricidad y será muy posible que pase del teléfono a las manos o peor aún al oído.