La situación que describes es perfectamente normal y demuestra que el sistema de excepciones está funcionando correctamente.
Es importante recordar que el sistema de excepciones de un antimalware ha sido creado para que el administrador pueda permitir la ejecución de aplicaciones catalogadas como peligrosas asi así lo desea, de modo que la compatibilidad con aplicaciones propias o desarrolladas localmente sea máxima. Los usuarios a veces se refieren a esto como "el antivirus no interfiere" y es algo que los usuarios valoran, por tanto, "las excepciones deben funcionar sin excepción", ya que se presume que si el administrador está creando una excepción, es porque sabe lo que está haciendo.
Ahora que, si has creado una excepción de tipo "Filename" para app.exe, el sistema de excepciones te va a obedecer, y no va a interferir con ninguna aplicación llamada app.exe, sin importar si es un "malware que acabas de renombrar".
Si quieres tener un control más preciso sobre las excepciones, una buena opción sería agregarlas por MD5, de ese modo, aunque renombres un malware como app.exe o aunque le cambies el nombre a app.exe por aplicacion.exe, el sistema sólo va a aplicar la excepción a la aplicación que deseas, sin importar cómo se llame.
Puedes aprender cómo obtener el MD5 de un archivo en esta entrada.
A continuación construyes la excepción en el módulo de detección: