[AMDBulldozer]

Какой модуль ядра обслуживает эту карту? Их существует несколько. В состав ядра включен rtl8192cu в то время как сам realtek распространяет 8192cu. Есть еще 8188eu.
Вообще говоря, такое сообщение об ошибке обычно означает отсутствие поддержки данного режима драйвером. Либо данный драйвер такой режим в принципе не поддерживает, либо он был собран без поддержки этого режима. Хотя, конечно, я не могу дать гарантии, что у ошибки не может быть какой-то другой причины.

P.S. Предыдущее утверждение неверно. Сейчас попробовал выполнить команду iwconfig wlan0 mode master на своём notebook'е с адаптером WiFi на чипе Atheros и получил то же самое сообщение об ошибке, что и Вы. Однако при запуске hostapd адаптер переходит в этот режим. Значит есть и другие причины ошибки, кроме отсутствия поддержки затребованного режима.