Ok, stando cosi' le cose ti consiglio qualche gioco - saranno consigli un po' a casaccio, dato che le preferenze che hai espresso sono molto generiche.
Ti e' gia' stato consigliato Dungeon World - e' un gioco di ruolo fantasy che ha avuto un sacco di successo. L'ambientazione e' fantasy alla D&D; il regolamento e' apparentemente semplice, ma va capito - ti consiglio di leggerti bene i testi/link esplicativi che citava @Albert Rosenfield. Il principale difetto di questo gioco e' che se non capisci il regolamento, il gioco non funziona. Il principale pregio e' che il regolamento e' costruito in modo tale da aiutare il GM a improvvisare e far si' che la storia vada avanti in direzioni interessanti con il minimo sforzo.
Il richiamo di Cthulhu (Raven Distribution). Questo e' un classicone. Il regolamento e' tradizionale. I giocatori interpretano persone comuni alle prese con orrori lovecraftiani. E' un gioco di ruolo di stampo investigativo, direttamente ispirato ai racconti di Lovecraft, quindi se sei familiare con questo autore ti puoi immaginare un po' il tono che ha il gioco. E' ambientato di default negli anni '20, ma ci sono regole per ambientare il gioco in epoche diverse. Rispetto a D&D, i personaggi non sono eroi dotati di poteri fantastici, quindi il tono e' molto diverso; il gioco e' molto letale, e i personaggi moriranno spesso.
Un gioco simile come temi, ma che sfrutta un sistema diverso e' Sulle Tracce di Cthulhu. Quest'ultimo parte dalle stesse premesse del Richiamo di Cthulhu, ma sfrutta un sistema piu' moderno chiamato Gumshoe, e creato appositamente per gestire avventure investigative.
Ars Magica (Raven Distribution). La traduzione italiana e' di prossima uscita (probabilmente uscira' a Lucca comics). Qui i giocatori interpretano potenti maghi. Il sistema magico e' il principale pregio del gioco: i personaggi sono in grado di creare i propri incantesimi, ed il sistema di creazione e' molto libero. E' un gioco tradizionale, ma molto diverso da D&D in quanto i personaggi non vanno all'avventura come un team - il gioco si sviluppa nell'arco di decenni (ovviamente tempo in-game, non tempo reale), e i personaggi maghi passano la maggior parte del loro tempo facendo ricerche chiusi in una biblioteca, invece che nei dungeon. L'unica riserva e' il regolamento, che e' un po' piu' complesso rispetto ad altri gdr che ho inserito in questa lista.
Cani nella Vigna (Narrattiva). Gioco *non tradizionale*. Uno dei primi giochi non tradizionali ad avere un discreto successo al di fuori degli ambienti indie; ha vinto un sacco di premi. L'ambientazione e' davvero particolare : si tratta di un "far west che non è mai esistito", in cui i giocatori interpretano "Cani da guardia di Dio", una sorta di elite di prescelti che ha il compito di viaggiare di città in città con lo scopo di far rispettare la Fede e risolvere i problemi che incontrano. Il gioco ha due cose particolari: 1) il fatto che il gioco non dice mai in cosa consista la Fede; i Cani (e quindi i giocatori) hanno autorità assoluta per quanto riguarda la fede, e di fatto non devono rispondere delle proprie azioni. Questo e' intenzionale: uno degli obiettivi del gioco e' vedere come i giocatori giudicano moralmente i problemi che incontrano. 2) Il sistema di gioco, che e' ispirato al poker ed e' molto divertente.
Undying (Narrattiva). Simile a Vampiri come temi, ma il regolamento e' *non tradizionale* ed e' simile a quello di Dungeon World. In particolare, Undying si focalizza sui giochi di potere dei vampiri, visti in questo gioco di ruolo come predatori. A differenza di DW, Undying funziona senza dadi.
Fate (Dreamlord Press). Fate e' un sistema generico (senza una ambientazione predefinita). Si tratta di un gioco non tradizionale, pensato per creare storie in cui "i personaggi sono persone proattive e capaci che conducono vite drammatiche". E' stato tradotto in Italiano dalla Dreamlord press, ma il regolamento si trova disponibile anche online. Il regolamento e' molto diverso da quello di D&D, con cui sei familiare, ed e' diventato molto popolare negli ultimi anni.
Ps: ti segnalo anche questo post sul mio blog, alla fine c'e' un elenco di gdr post-apocalittici (che mi sembra sia un po' il tuo genere)