У адрозненне ад Джэніфер Лопес або Сары Хайланд, Элізабэт не стала дзяліцца радаснай навіной з прыхільнікамі ў сацыяльных сетках, таму ніякіх пастановачных кадраў або відэазапісаў заходнія СМІ даць не змаглі. Характэрна, што для зоркі фільма «Мсціўцы: Эра Альтрона» гэта другая па ліку змовіны. Некалькі гадоў таму яна заручылася з акцёрам Бойд Холбрук, якога гледачы ведаюць па серыяле «Нарко», аднак ў 2014 годзе зорная пара расталася.
Апошні раз Олсен трапіла ў аб'ектывы фотакамер 25 ліпеня ў час шопінгу ў Лос-Анджэлесе. На безыменным пальцы яе левай рукі віднелася кольца з буйным каштоўным каменем, але ці з'яўляецца ўпрыгожванне падарункам ад жаніха, пакуль дакладна невядома. Магчыма, як і яе калега па «Мсціўцы» Скарлет Ёхансан, актрыса прадэманструе помолвочное кольца пазней.
З Робі Арнеттом Элізабэт пазнаёмілася ў 2016 годзе. У сакавіку 2017 года папарацы захавалі іх на прагулцы ў Нью-Ёрку, пасля чаго праз некалькі месяцаў яны пацвердзілі адносіны на чырвонай дарожцы препати прэміі «Эмі».