Selecione o arquivo de vídeo, clique nele com o botão diteito do mouse escolha abrir com... Escolha o FX, talvez você tenha que procurar o firefox em uma lista.

@toddy_victor, quando tento fazer desse modo, ele pede pra baixar o arquivo do local..... Já tentei alterar indo em Opções>Aplicações mas não quis funcionar.

Faz o seguinte instala o VLC ele tem um plugin para isso, dai se tem que ir em Ferramentas >> Complementos >> Plugins, e ativar o plugin porque o Firefox desativa ele por padrão. Dai so faze aquele procedimento que te falei antes.

@toddy_victor, valew cara! Fiz o seguinte: na instalação do VLC marquei apenas o pluguin e o Player que é requerido.... Não era exatamente um programa externo que eu procurava mas esse já quebra o galho...