Tenho que confessar que nunca ma atentei à utilidade da tag button, e sua diferença entre os botões feitos com a tag input, até ler um artigo no Digital-web.
A diferença é que com button, podemos inserir conteúdo dentro do elemento, enquanto que o input aceita apenas um valor, porém, a funcionalidade dos dois elementos é a mesma.
Teríamos:
Teríamos algo assim: 
Conseguiu perceber a diferença? No lugar da palavra Enviar, poderíamos colocar o conteúdo que quisermos, assim como formatar, além do próprio botão, nosso parágrafo, utilizando todo o potêncial do CSS.
Esta técnica potencializa o uso de imagens no lugar do botão, sem termos que remover o valor da propriedade value, perdendo a acessibilidade do botão para usuários impossibilitados de visualizar a imagem.
Para mais detalhes, veja o artigo original que deu origem à este post, inclusive o nome (rs): Push my button.
Observação: Não recomendo o uso de estilos inline, conforme o exemplo citado neste post. Fiz dessa forma apenas para facilitar o entendimento do código.
Atualizado 05/10: melhorei o visual do exemplo do uso de button.
Artigos relacionados:
Uma Resposta to “Aperte o botão”
Gostei da dica!
já tinha visto isso, mas nunca tinha parado p/analisar o potencial do comando!
Muito bom mesmo, abre um novo menu de opções!
Por Leonardo Procópio em Oct 26, 2006