Algunas experiencias hay al respecto incluso corriendo bajo Linux, pero el mayor inconveniente que te encontrarás (aparte de la mayor o menor complejidad de la instalación) es que todos los módulos de terceros existentes para Dotnetnuke no te funcionarán porque estarán construídos con un dataprovider que funcinará bajo SQL Server.
Si únicamente vas a utilizar las características del nucleo y desarrollar tus propios módulos puede ser una vía, pero francamente no veo justificación para usar mysql en lugar de sql express...