[Foreigner]

надо: »

Уберите оператор -join

Код:

foreach ($file in (Get-Childitem "C:\Folder\*.txt"))
{
    (Get-Content $file).Split().Where{ $_ } | Set-Content $file
}