[Vadikan]

надо вставить new-item »

Да, и у вас уже есть все необходимое. $_.BaseName - имя файла без расширения.

Код:

dir *.mp3 | foreach {
md $_.BaseName
move $_.FullName .\$($_.BaseName)
ni -Path .\$($_.BaseName) -Name "$($_.BaseName).txt" -ItemType File
}