Во первых прошу прощение, createElement('iframe') вместо frame конечно.
Во вторых такое поведение происходит только в режиме совместимости, ie 6 из multiple ie так же выкидывает новое окно
<html>
<head>
</head>
<body>
<script>
var iframe = document.createElement('iframe');
iframe.name = 'IFrame';
document.body.appendChild(iframe);
iframe.name = 'IFrame';
iframe.setAttribute('name', 'IFrame');
</script>
<form target="IFrame">
<input type="submit">
</form>
</body>
</html>
Ниже приведённый код так же не работает