Mi sembra una risposta in qualche modo scontata, ma ovviamente Pathfinder è il gdr che più si avvicina a D&D 3.x come meccaniche - è praticamente lo stesso gioco
Uscendo dall'universo D&D/Pathfinder...
GURPS *può* essere complicato e *può* essere molto dettagliato. I suoi detrattori cercano spesso di farlo passare come un dedalo di regole ingiocabile, ma non è così. GURPS è un gioco generico (senza una ambientazione predefinita) di impronta abbastanza marcatamente simulazionista; vale a dire che le sue regole spesso mirano a fornirti un framework per simulare la realtà (cioè tengono conto della fisica, del realismo etc). Chiaramente questo implica che le regole siano potenzialmente tante (in GURPS c'è una regola per quasi tutto quello che ti viene in mente), e talora anche molto dettagliate e complesse. Ora, la parte importante da ricordare con GURPS è che non devi usare tutte le regole. GURPS è molto flessibile e molto modulare. Si dà per scontato che uno prenda e usi solo le regole che gli interessano - non devi assolutamente includerle tutte! GURPS è un gioco generico, è un toolbox che ti dà gli strumenti per costruirti il tuo gioco di ruolo. Tornando all'oggetto del tuo topic, il combattimento in GURPS può essere molto dettagliato (e secondo me è molto più interessante che in D&D 3.x, ma de gustibus). Dipende da te. Anche in termini di creazione del personaggio GURPS può essere estremamente complicato. Cioè, non è pensabile di aprire il manuale senza un'idea di quale personaggio giocare, perché ci sono talmente tante opzioni e talmente tanta flessibilità che rischi concretamente la option paralysis. Prima devi pensare a che tipo di personaggio vuoi fare, poi apri il manuale e cerchi di crearlo. Sennò non ci levi le gambe. In GURPS puoi creare letteralmente qualunque personaggio. Letteralmente. Per quanto riguarda la giocabilità, dipende da quanto il DM conosce le regole. Se è un DM inesperto che cerca di infilare nel gioco tutte le regole, arriverai alla conclusione che è una roba ingiocabile. Se invece il DM sa il fatto suo, GURPS può rimanere sorprendentemente fluido anche con un regolamento complesso.
HERO System simile a GURPS, nel senso che è un sistema generico e molto complesso, ma non lo conosco molto quindi non ne parlerò.
Iron Kingdoms RPG è secondo me uno dei giochi non-D&D più simili a D&D come impostazione. È direttamente tratto da un Wargame, e conseguentemente ha regole molto dettagliate e molto tattiche per il combattimento (che è molto letale e dunque piuttosto veloce). È un gioco di tipo Fantasy/Steampunk. La creazione del personaggio non è complicata, è solo il combattimento che è dettagliato.
Shadowrun - un classicone. Cyberpunk ma con un tocco fantasy; in due parole, è un gioco in cui in un mondo futuristico la magia e le creature magiche si sono risvegliate, e convivono con i più classici elementi del genere cyberpunk (cibernetica, tecnologia, megacorporazioni, metropoli soffocanti, crimine organizzato etc). Le regole del combattimento sono abbastanza dettagliate, più o meno a livello di D&D 3.x come complessità (probabilmente un po' di più).
La serie di Warhammer40k Roleplay - (es. Dark Heresy) non li conosco, ma mi dicono che sia abbastanza complicato e il combattimento dovrebbe essere a livello di D&D 3.x come livello di dettaglio. Don't take my word for it tho.
Rolemaster - Le tabelle di rolemaster. Dio le tabelle. In Rolemaster non colpisci semplicemente qualcuno, gli recidi il tendine del bicipite sinistro. Seriamente - a parte le tabelle, il sistema di per sé non è complicatissimo, però "dà l'idea" di esserlo.
Ce ne sono diversi altri, ma il mio tempo per scrivere si sta esaurendo, dunque te li elenco:
Hackmaster
Runequest
Exalted
Mutants and Masterminds
Edit: come ho potuto dimenticarmi di Blade of the Iron Throne??? Molto particolare, ma ha probabilmente uno dei sistemi di combattimento in mischia più realistici e dettagliati.