Когда вы разыменуете ссылку, вы сначала разрываете связь имени переменной и
содержимого переменной. Это не означает, что содержимое переменной будет разрушено. Например:
$a = 1;
$b =& $a;
unset ($a);
не разыменует $b, только $a.
Ещё раз: может быть удобно представлять это как аналогичный вызов Unix unlink.