Penso que seja isto que pretendes...
1-Selecionas a coluna que desejas colocar a formula ( eu escolhi a
A para exemplificar...)
2-Dados
3- Validação de dados
4- Definições - Criterio de validação
personalizado
5-Formula - colocas isto:
=contar.se(A:A;A1)<2
e clicas OK
Sempre que fores a colocar um valor igual a um que já esteja o excel dá uma mensagem de erro.