Il quadro ci mostra la Madonna vestita in abiti da popolana col Gesù Bambino in braccio e due pellegrini davanti a lei, riconoscibili dalle mani giunte in atteggiamento di preghiera e dai bastoni, nonché dalle vesti sdrucite e dai piedi nudi e gonfi messi in primissimo piano. Fu proprio a causa di questo particolare che, non appena il quadro fu messo sull'altare, come dice il Baglione, "ne fu fatto dai preti e da'popolani estremo schiamazzo".

In realtà, il tema dei piedi nudi e gonfi è uno dei "dogmi" fondamentali di quella corrente pauperistica alla quale Caravaggio aderiva con entusiasmo: essi sono il simbolo dell'ubbidienza e della devozione, quindi vanno esaltati e non occultati. I due pellegrini, dopo un viaggio pieno di stenti e dopo il canonico "giro" attorno alla Sacra Casa, vengono ricompensati con l'apparizione di Maria e di Gesù - qui raffigurato non propriamente neonato, ma quasi ragazzino - che li benedice: i piedi gonfi e sporchi sono dunque necessari, e non volgarmente e gratuitamente esibiti come si volle far credere.

Altro motivo di scandalo fu l'apparente "scalcinatezza" della casa e il modo in cui Caravaggio aveva stravolto il racconto biblico. Secondo un'antica leggenda, infatti, la casa di Maria fu portata a Loreto in volo dagli angeli, ma nel quadro l'unico accenno al volo è la postura di Maria, raffigurata in punta di piedi; la casa è, invece, cadente, con l'intonaco scrostato lasciante i mattoni a vista: e qui, il Caravaggio vuol ribadire l'adesione alla povertà assoluta della Sacra Famiglia.
Modella per la Madonna fu una nota prostituta nonché amante del pittore, Lena, che poserà anche per la Madonna dei Palafrenieri.