W sieci jest sporo artykułów na temat składni pliku xorg.conf, a ostatnio nawet powstała strona
http://www.xorg-conf.org/. Z powodu tego i małej ilości czasu nie chciał się rozpisywać na ten temat, powielając czyjąś robotę.
Zainteresuj się kalkulatorem gtf tworzącym wpis z "Modeline". A może masz już w xorg.conf gotowy tryb dla 1024X768@85, tylko trzeba by go zadeklarować w zacytowanym przez Ciebie miejscu. Wpisz też "xrandr" w konsoli, by zobaczyć, jakie tryby możesz włączyć bez restartu X-ów. Prawdopodobnie, jeśli jesteś w 1280x1024, to gdzieś poniżej wyświetli się 1024x768. Wtedy, jeśli będzie to tryb na pozycji 3, dajesz "xrandr -s 3" dla prrzełączenia w ten tryb.
Czyżbyś używał sterownika VESA z powodu braku sterów dla Twojej konkretnej karty graficznej? Nie napisałeś, jaka to karta i ewentualnie monitor.