كانت عائلة تولستوي من العائلات المعروفة من بين النبلاء الروس القدامى، الذين يعود نسب أجدادهم إلى رجل نبيل أسطوري يُدعى إندريس والذي وصفه بيوتر تولستوي بأنه جاء «من نيميك، من أراضي قيصر» إلى تشيرنيغوف في عام 1353 مع ولديه ليتفينوس (أو ليتفونيس) وزيمونتين (أو زيغمونت) إلى جانب جيش مؤلف من 3000 شخص.
على الرغم من أن كلمة «نيميك» كانت تُستخدم منذ زمن طويل لوصف الألمان فقط، استُخدِمَت في ذلك الوقت في وصف الشخص الأجنبي الذي لا يتحدث الروسية. اهتدى اندريس إلى الديانة الأرثوذكسية الشرقية، وغيّر اسمه ليصبح ليونتي، وعلى إثر ذلك، سُميّ أبنائه كونستانتين وفيودور.
كان أندري خاريتونوفيتش حفيد كونستانتين يُلقّب باسم تولستي، ولقّبه فاسيلي الثاني ملك موسكو بهذا اللقب بعد انتقاله من تشرنيغوف إلى موسكو.
بسبب تعدّد الأسماء الوثنية وحقيقة أن تشرنيغوف في ذلك الوقت كانت تحت حكم ديميتريوس آي ستارشي، أجمع بعض الباحثين إلى أن أصولهم من الليتوانيين الذين قدموا من دوقية ليتوانيا الكبرى.
في الوقت ذاته، لم يُعثر على أي ذكر لإندريس ضمن الوثائق الموجودة من القرن الرابع عشر إلى القرن السادس عشر، في حين فُقِدَت وثائق تشرنيغوف التي استخدمها بيوتر تولستوي كمرجع لأبحاثه.
عاش أيضًا أول أفراد عائلة تولستوي خلال القرن السابع عشر، وبالتالي يعتبر بيوتر تولستوي نفسه مؤسس المنزل النبيل، هناك حيث حصل بطرس الأكبر على لقب الكونت.
