Concordo in pieno con @Bille Boo, la cosa principale è il cambio di prospettiva e di cosa aspettarsi. Però credo che per questo sia necessario anche un adeguamento delle meccaniche. Se vuoi il tipo di horror alla Chtulu, con i personaggi che letteralmente impazziscono, servono sicuramente delle regole per la follia, dei punti sanità di qualche tipo. Il danno che può fare alla mente lo scoprire in modo chiaro e privo di dubbi che i mostri sono reali, o che esiste Dio, sono molto difficili da giocare senza un regolamento. Ti consiglio a tempo perso la serie Lucifer: è molto leggera ma vi sono vari esempi qui e là di questo tipo di danno mentale, secondo me resi bene.
Però credo sia importante sottolineare che l'horror in cui il danno è fondamentalmente psicologico è un tipo di horror molto particolare: tipicamente il pericolo nell'horror è la distruzione del corpo più che della mente. Anche horror disturbanti, in cui il personaggio subisce varie forme di angherie e torture psicologiche, alla fine si basano su una minaccia di pericolo reale, fisico (essere uccisi) o sociale (essere abbandonati, licenziati, stigmatizzati,...).
Mentre quindi le regole per la follia mi sembrano facoltative e limitate ad un tipo di horror particolare (ma sì, se vuoi le atmosfere di Lovercraft probabilmente questo è il tuo caso), credo che la parte fondamentale se vuoi adattare D&D alla bisogna sia di riformare l'aspettativa di potenza dei personaggi. Non è solo una questione di fare affrontare ai personaggi incontri con mostri con GS più alto, che i personaggi non possano affrontare in quel momento, ma anche l'oggettiva impossibilità di affrontare quell'orrore da parte di esseri umani. Se vi sono chierici del bene in grado di distruggere una necropoli con un incantesimo, il mondo non è un luogo spaventoso. Se esiste la possibilità di resuscitare, non c'è lo stesso senso di paura. Serve uno stile E6, in cui i personaggi crescano un po' ma non solo non potranno mai affrontare un drago, ma nessuno nel mondo può affrontare un drago.
È una questione di aspettativa, legata alla struttura del gioco. Se nel gioco il mio personaggio crescerà di potenza fino a diventare un Dio, e incontro un mostro più forte, il sistema guida il mio pensiero verso: non posso superare questo ostacolo oggi, ma lo supererò domani. Se nel gioco il mio personaggio crescerà fino a diventare un buon combattente e incontro un mostro più forte di un manipolo dei migliori combattenti esistenti, la mia percezione e aspettativa cambia, da "lo supererò domani" a "non si può sconfiggere!"
Appunto finale. Vi sono stili diversi di horror, e come ho detto ogni stile richiede modifiche al regolamento di qualche tipo. Se deve rimanere qualcosa di D&D però, serve comunque che vi sia una qualche forma di combattimento che i giocatori possano vincere, almeno saltuariamente, visto che il regolamento di D&D e le classi sono per il 90% basate su questa struttura e aspettativa. Questo limita gli stili di horror giocabili con 5E moltissimo.