La primera advertencia que mencionas seguramente se trate de que el certificado no está dirigido a www.tudominio.com, creo, pero lo que sí te aseguro acerca de la advertencia antes de entrar al sitio protegido, el que más te inquieta, se trata de que el certificado es "casero" y no lo has conseguido a través de una entidad emisora, si has utilizado tu propia entidad certificadora puedes agregar la organización certificadora a Entidades Emisoras de Confianza, así no te mostrará ese mensaje, la manera correcta de hacerlo es descargarte desde la interfaz web de la entidad emisora una cadena de certificados que debes instalar en los pc's clientes, si es para una intranet pues no tendrías mucho problema y hasta lo podrías poner en las GPO, pero para internet, es muy poco probable que los visitantes vayan a seguir las indicaciones aunque les facilitases un download del archivo a instalar... así que si no quieres ver el mensajito tendrás que pasar por caja...
Si quieres probar lo que te cuento entra en tu entidad certificadora con
http://tuservidorconentidadcertificadora/certsrv/
luego haz clic en el vínculo "Descargar un certificado de entidad emisora, cadena de certificados o lista de revocación"
y luego en "instale esta cadena de certificados de entidad emisora".
Si se te queda esperando con un rotulito "Descargando Control ActiveX" utiliza éste otro
"Descargar cadena de certificados de entidad emisora".
Estas instrucciones son válidas si utilizas la entidad emisora que trae Windows Server 2003, si utilizas otra desconozco como hacerlo.
Ya me comentarás como te ha ido...