Hola Belén, 

revisa si la tienes en los procesos (menú Opciones / Procesos):

Desde ahí se puede eliminar, y si ya está eliminada y está programada para que la ejecute p.e. el Scheduler, quizás debas reiniciar ese servicio. Pero antes de entrar en esa parte, revisa si puede ser que la alerta esté asociada a otro usuario a parte del tuyo, desde la Consola / Procesos / Trabajos:

Saludos