po pierwsze - przejrzyj logi (/var/log/messages i /var/log/syslog) - na obu systemach.
po drugie - czy możesz się pingnąć na ubuntu? Domyślnie wvirtualbox-ie sieć jest NAT-owana, czyli z wirtualnej maszyny można wyjść "na świat", ale połączenia z zewnątrz będą wycinane przez hosta macierzystego, bo maszyna wirtualna znajduje się w innej podsieci niż cała reszta - host macierzysty pełni dla wirtualki rolę routera. To tak, jakbyś chciał z internetu dostać się na któryś z komputerów w sieci wewnętrznej - router nie przepuści. Aby to zmienić, musisz w ustawieniach maszyny wirtualnej wejść w zakładkę "Sieć" i zmienić typ karty z NAT (domyślnie) na mostkową (bridge).
Oprócz tego, musisz w wirtualnym ubunciaku wpisać statyczny IP podsieci, w której masz kali linuks - chyba można to wyklikać, ale musi się wypowiedzieć jakiś fachowiec od ubuntu.
openssh-server na ubuntu masz zainstalowany i uruchomiony?