Dlaczego zdanie nie jest prawidłowe?

Nie widzę zdania do przetłumaczenia, ale przytoczone przez Ciebie zdania angielskie różnią się znaczeniem:

Don't speak with your Spanish colleague. - Nie rozmawiaj ze swoim hiszpańskim kolegą/koleżanką.
(bo np. rozmowa przeszkadza w nauce/pracy lub np. bo hiszpański kolega ma na nas zły wpływ) - w tym kontekście , kiedy to sam proces rozmawiania wysuwałby się na pierwszy plan można byłoby użyć zamiast "speak with..." czasownika "talk (to/with..."), a kolega rzeczywiście byłby z Hiszpanii.

Don't speak Spanish with your colleague. - Nie rozmawiaj z kolegą/koleżanką po hiszpańsku. (bo np. takie zasady panują w niektórych zakładach pracy w USA lub np.bo wolimy żeby uczestnicy podczas kursu również między sobą rozmawiali tylko po angielsku) - wtedy mamy dość trwałe połączenie "speak a language", a kolega nie musi być Hiszpanem (może być np. Meksykaninem lub Argentyńczykiem)