Hola compañeros...
Despues de darle tantas vueltas a la web y de pensar que no habia salida... encontre la solución al problema de usar el ajaxcontroltoolkit en DNN 5.x... y es bastante simple solo tenemos que agregar 2 referencias al Default.aspx y listo.
1) abrimos Default.aspx y agregamos en la parte superior la siguiente linea.
<%@ Register assembly="AjaxControlToolkit" namespace="AjaxControlToolkit" tagprefix="asp" %>
2) Dentro del control form, justo despues de <dnn:Form id="Form" runat="server" ENCTYPE="multipart/form-data" > agregamos:
<asp:ToolkitScriptManager ID="ToolkitScriptManager1" runat="server"></asp:ToolkitScriptManager>
Y listo podemos usar los controles del AjaxControlToolkit a nuestro gusto en nuestro modulo DNN.
como dato final -> debemos remover del codebehind de la pagina de nuestro modulo el ScriptManager normal por si estabamos usando el Ajax que viene por defecto en el VS2008.
DotNetNuke.Framework.AJAX.RegisterScriptManager();
Saludos.