Milyen is volt József? A misztikus magyarázat szerint amikor az Örökkévaló angyali segédlettel megalkotta az embert, Metatron angyaltársai fölé helyezte őt, ezzel felébresztve a többiek irigységét. A féltékenység már itt kezdődött. Minden kommentár szerint csodaszép volt, vonásai Jákobhoz hasonlítottak, akinek jó külseje egyenesen Ádámhoz mérhető. Alakját túlvilági fény ragyogta körül, istenfélőnek tartották, prófétai adottságokkal és jó gazdasági érzékkel megáldva.
A Midrás szerint megkapta Izrael törzseinek erejét: Rubentől az elsőszülöttséget, Júdától a királyságot, Jiszakhártól a bölcsességet, Lévitől a spirituális tudást.
József tizenhét éves volt, testvéreivel együtt legeltette a nyájat, mint az ősapák mindannyian, továbbá Mózes, Saul, Dávid, mindnyájukat ezzel tette próbára az Örökkévaló. Mózes is megkereste és ölben vitte vissza az eltévedt szomjas bárányt, így derült ki rátermettsége, hűsége, szorgalma és jó lelke, hogy kivezesse népét a szolgaságból.
A tizenhét éves fiú, aki idejekorán megkapta apjától az elsőszülöttségre utaló ruhát, a csíkos köntöst, még nem tudta feldolgozni a rá szakadó szerencsét, a több tudást, nagyobb tehetséget, a többiektől elkülönülő látásmódot, a spirituális adottságokat, ezért sok bajt okozott magának. Álmait, amelyek megjövendölték elkövetkező nagyságát, nem tartotta titokban, a kévéje előtt leboruló kévék, a csillaga előtt hajlongó csillagok, még a nap és a hold azaz – testvérei és szülei is neki hódolnak majd, irigységet, gyűlöletet keltettek a többiekben, még a rajongva szerető Jákob is megrótta emiatt.
Rossz hírét keltette testvéreinek, Rási szerint háromszor vétkezett ellenük, először is egy Noétól származó alapvető törvény megszegésével, az élő állat részének fogyasztásával vádolta őket, alaptalanul, mert az Írás szerint még a csíkos köntös beszennyezéséhez is levágták az állatot. Más magyarázat szerint a nyáj egyes része betegséget kapott, talán élősködőket, amelyet úgy gyógyítottak, hogy a birka füléből vagy farkából levágtak darabokat. József nem tudta ezt, és a látványból másra következtetett. Másik vád, hogy a testvérek kánaáni lányok után jártak, ez sem volt megalapozott, a különböző nyájak néha összeértek, máshol is olvashatjuk, hogy együtt itatták az állatokat. A harmadik fájdalom, amit okozott, az ágyas Bilha fiait egyszerűen szolgáknak nevezte. Ezért kapta a büntetéseket, eladták a testvérei, a második rágalom miatt történt Potifárné esete, továbbá ő ténylegesen szolga lett Egyiptom földjén.
Jákob elküldte Józsefet Sikhembe, nézze meg hogy vannak a testvérei és hogy van a nyáj. Amikor a többiek meglátták messziről, elhatározták, most megölik az álmodozót. Ruben azonban meg akarta menteni, ezért javasolta, vessék egy üres gödörbe. A gödör azonban nem volt üres, víz ugyan nem volt benne, kígyók és skorpiók annál inkább. Azonban csoda történt, ahogy a tüzes kemence nem emésztette meg Ábrahámot, ahogy az oroszlánok nem tépték szét Dánielt, úgy a mérges állatok nem bántották Jákobot. A Zóhár megjegyzi, jobb az embernek a kígyóval-skorpióval teli veremben, mint a gyűlölők kezében, mert az előbbiből kimentheti az isteni csoda.
Amíg József a gödörben vesztegelt, testvérei nyugodtan falatoztak. Meglátták, kereskedő karaván bukkant fel a távolban, Júda tanácsára eladták fivérüket húsz ezüstpénzért az ismaelitáknak, hogy azok továbbvigyék Egyiptomba. Ott megvásárolták, és a fontos tisztséget betöltő testőrparancsnok Potifár házába került. Hamarosan felvirágoztatta gazdája házát, mert a misztikusok szerint nem távozott mellőle a Sechina, az Isteni jelenlét. Potifár meg is tette háza legfőbb gondnokának, noha még húsz esztendős sem volt. József sugárzó szépsége azonban nem maradt hatás nélkül, a ház asszonya beleszeretett. Egy jól ismert történet szerint meghívta barátnőit, és a gyümölcs szeleteléséhez éles késeket adott fel. Amikor József feltálalta a gyümölcsöket, az összes jelenvélő hölgy keze vérzett. – Látjátok, mennyit szenvedek – mondta barátnőinek, akik ugyancsak nem tudták levenni szemüket a csinos fiúról.
Potifárné azonban nem elégedett meg ennyivel. Egyik nap, amikor nem volt otthon senki, felkínálta szerelmét, és a visszautasítás miatti bosszúból bevádolta Józsefet, hogy visszaélt helyzetével. Potifár szerencsére nem ölte meg a szép héber szolgát, hanem börtönbe záratta, olyan börtönbe, ahol kiváltságos foglyok is voltak. József itt is hamarosan kiemelkedett, a lehető legmagasabb pozícióba került. A fáraó két fontos emberét is bezárták, a főpohárnokot, aki a hagyomány szerint figyelmetlen volt, nem vette észre, hogy légy került ura poharába, a másik pedig a fősütőmester volt. Egyik reggel mindketten álmot láttak, a pohárnok virágzó tőkéről szüretelt bort kínált urának, a sütőmester viszont a fején vitte kosarát a kenyerekkel, amelyből madarak lakmároztak. József számára nem okozott gondot az álom megfejtése, a virágzó tőke a hivatalba visszahelyezést, a madarak a halált jelentették. Az élet igazolta szavait, ám hiába kérte a pohárnokot, emlékezzen meg róla, az könnyen megfeledkezett élete szörnyű korszakáról, így József csaknem kilenc évet töltött a börtönbe
Jákob amikor megkapta a hamis bizonyítékot, a véres köntöst fiaitól, mély gyászba esett kedvenc gyermeke elvesztése miatt. A hagyomány szerint Józsefet tizenhét évesen adták el, tizenhét évet élt távol apjától, és újabb tizenhét évet töltöttek együtt Egyiptom földjén.