CentOSからXを消す

yum groupremove "X Window System"

これでいけた。