V Sovětském svazu vždy existovala státní tajná služba, od samého vzniku sovětského státu. V prosinci 1917 byla založena Čeka, jejíž název je akronymem Všeruského zvláštního komisariátu pro boj s kontrarevolucí a sabotáží. Během roku 1918 se Čeka pod velením nekompromisního polského bolševika Felixe Dzeržinského stala nejobávanější institucí v celém průběhu ruské občanské války. Čeka popravovala muže, ženy i děti, a to při jakémkoli náznaku podezření. Většina odhadů uvádí, že v důsledku činnosti Čeky, která byla rovněž nazývána „andělem pomsty revoluce“, bylo zavražděno asi 300 tisíc lidí; avšak je docela možné, že toto číslo přesahuje jeden milion. Příslušníci Čeky byli rekrutováni převážně z národnostních menšin, které trpěly dřívější konzervativní carskou rusifikací, a proto byli při plnění rozkazů mnohem důslednější. Pod správu Čeky také spadalo velké množství pracovních táborů, ve kterých lidé umírali po tisících.
V roce 1922 byla Čeka reorganizována a začleněna pod správu GPU (Státní politická správa), která brzy vešla ve známost jako OGPU (Sjednocená státní politická správa). Zakladatel Čeky Felix Dzeržinskij zemřel v roce 1926, předpokládá se, že přirozenou smrtí. Jeho socha byla v Moskvě, na místě zvaném Lubjanka, k vidění až do roku 1991. S pokračující stalinizací sovětského státu získávala tajná policie bezprecedentní kontrolu nad celou společností.
V roce 1929 se Stalin rozhodl zlikvidovat kulaky jako třídu a zničit jednou provždy ukrajinské národní cítění. Začala kolektivizace a uměle vyvolaný hladomor. Agenti OGPU deportovali miliony lidí a statisíce jich popravili za sebemenší náznak odporu. V roce 1933 Stalin vyvolal hladomor, kterému podlehly miliony lidí. Uvádí se, že v letech 1929–1933 zemřelo v důsledku kolektivizace na 14,5 milionu sovětských občanů. V roce 1934 byla OGPU reorganizována na NKVD (Narodnyj komissariat vnutrennich děl – Lidový komisariát pro vnitřní záležitosti). Stalin poskytl NKVD neomezenou kontrolu a organizace se zodpovídala pouze jemu samotnému. Jako první stanul v čele NKVD Genrich Jagoda, člověk zlý a plný zášti. V prosinci 1934 pak začal teror, který do té doby sovětská společnost neznala.
Záminkou k rozpoutání tohoto teroru, který trval až do konce roku 1939, bylo zavraždění Sergeje Kirova – pravděpodobně na přímý Stalinův pokyn –, který byl Stalinovým důvěrníkem a předsedou leningradského výboru strany. V posledních měsících roku 1934 bylo popraveno asi tisíc lidí, kteří se údajně podíleli na spiknutí proti Kirovovi a tisíce dalších NKVD deportovala do sibiřských táborů GULAG, které rovněž spravovala. V roce 1936 pak teror dosáhl svého nejhrozivějšího vrcholu.
Přední straničtí činovníci Zinovjev a Kameněv byli popraveni mezi prvními. NKVD se potom zaměřila na řadu dalších vedoucích členů strany. Sám Jagoda byl v boji o moc, o vedení tajné policie odstraněn a nahrazen Nikolajem Ježovem, který byl nazýván „krvavým trpaslíkem“ a jeho éra označována za „Ježoviádu“ nebo dobu Ježova. Jagoda byl popraven a Ježov dostal od Stalina v roce 1937 neomezenou vládu. Teror dosáhl svého vrcholu. NKVD zatkla a popravila miliony lidí a celý velitelský sbor armády se stal obětí její čistky. V roce 1938 byl Ježov vystřídán Stalinovým blízkým přítelem Lavrentijem Berijou. Ten podobně jako před ním Ježov provedl v NKVD rozsáhlé čistky a Ježova nechal popravit. Pak nastala nacisticko-sovětská kolaborace a NKVD společně s gestapem operovaly v okupovaných polských zónách. NKVD dala popravit více jak 4 000 polských důstojníků v Katynském lese poblíž města Smolensk. A když začala válka s Německem, jednotky NKVD okamžitě zastřelily každého vojáka, který odmítl bojovat nebo se chtěl dát na útěk. Některé pěší jednotky NKVD byly nasazeny během Velké vlastenecké války, zvláště u Moskvy, Leningradu a Stalingradu. Tyto jednotky měly na svědomí vyvraždění celých vesnic, které byly podezírány z kolaborace s Němci, a mnoho příslušníků národnostních menšin bylo odvlečeno do sibiřských gulagů. Po skončení války rozpoutala NKVD teror na okupovaných německých zónách. Tři a půl milionu Němců bylo odvlečeno do gulagů; o většině z nich již nikdo nikdy neslyšel. V roce 1946 byla NKVD opět reorganizována a od té doby byla až do roku 1991 označována známější zkratkou KGB (Výbor státní bezpečnosti). Přesto její povinnosti a metody zůstaly z valné části zachovány až do smrti Beriji a Stalina v roce 1953. Teprve předseda politbyra Nikita Chruščev ji zbavil některých jejích privilegií a přestal uplatňovat hromadný teror jako politický nástroj.