[vadblm]

С минуту тупил, что же вы называете "верхним подчёркиванием". Лишь из контекста допёр, что имелась ввиду "~" - тильда. В *nix это псевдоним для домашней директории текущего пользователя. Таким образом, ~/.my.cnf это то же самое, что /usr/home/forestgump/.my.cnf

По теме, это пользовательский конфигурационный файл, информация в котором касается только вас и должна быть доступна только вам. Хранить конфиденциальную информацию (тот же пароль) в файле глобальных настроек, доступ к которому может быть у кого-то ещё - дурная затея, для этого и предусмотрен пользовательский конфиг.