Verosimilmente arrivato dalla Cina con i primi occupanti umani, il cane giapponese, come appare dai ritrovamenti archeologici è, fra il 6000 ed il 300 prima di Cristo, già sensibilmente differente dai cani europei della stessa epoca. Per la sua taglia è piccolo ed identificabile dalla forma particolare del cranio, come cane di tipo "Spitz". Le immigrazioni durante il periodo YAYOI (tre secoli prima di Cristo) hanno contribuito ad introdurre altre particolarità: i cani arrivati durante questa era hanno fissato un tipo preciso dalle orecchie appuntite e dalla coda arrotolata. I cani di questa epoca sono utilizzati per la caccia: il daino, l'orso, la piccola selvaggina e gli uccelli sono le prede. La caccia e la selvaggina variano secondo le regioni, la taglia dei cani ugualmente, tuttavia le particolarità restano le medesime. Malgrado una iconografia curiosamente scarsa per il Giappone, il cane accompagna l'uomo nel corso della sua storia: le ore più cupe cominciano con la fine dell'isolamento nipponico, le importazioni delle razze straniere, nel XIX secolo, si fanno frequenti ed il cane locale rischia pericolosamente di scomparire.
La reazione dovrà attendere l'inizio del nostro secolo. Parallelamente ad un movimento nazionalista di conservazione dell'identità giapponese, alcuni cinofili intraprendono un censimento minuzioso dei cani nativi (JI-NU). La classificazione geografica delle differenti razze di cani Giapponesi risale a questa epoca: il cane di Akita, lo Shikoku, l'Hokkaido, ecc... Lo Shiba invece non è nominalmente collegato ad una regione; secondo le interpretazioni, Shiba può significare piccola taglia o cane della boscaglia. Lo Shiba contemporaneo trova le sue origini dalla riunificazione di diverse antiche razze, che erano sensibilmente differenti, a seconda delle regioni, nella taglia, nel colore e nella morfologia. Queste razze indigene di piccola taglia sono state raggruppate sotto il nome di Shiba dal Dott. Saito. La creazione nel 1932 di "NIHON KEN HOZONKAI" chiamato anche "NIPPO" (Associazione per la conservazione del cane giapponese) produce il riconoscimento dello SHIBA da parte del governo Giapponese come "Monumento Nazionale" nel 1936.
Grazie a questo riconoscimento si pensa che la razza sia ormai fuori pericolo, ma la Seconda Guerra Mondiale con il suo strascico di orrori arriva ancora una volta a farla quasi estinguere. E' a partire dal 1948, con la ripresa delle attività NIPPO, che gli allevatori giapponesi raccolgono le superstiti linee di sangue per ristrutturare e salvare la razza. Data di pubblicazione dello standard originale valido: 16 Giugno 1992. Utilizzazione: cane da caccia per uccelli e piccoli animali, cane da compagnia.
Finalmente nel 1934 viene unificato lo standard di razza. Nel 1937 lo Shiba è designato come monumento nazionale, dopo di che la razza continua ad essere allevata e migliorata per diventare la superba razza conosciuta oggi. Lo Shiba Inu (il cui nome proviene da una forma dialettale della provincia di NAGURO che significa "piccolo cane" é al tempo stesso il più piccolo e il più antico tra gli Spitz Giapponesi, tanto che la sua origine é collocabile tra il 6000 e il 300 a.C.
La razza, così come oggi noi la conosciamo, é il frutto di una selezione di tutti quelli che erano i piccoli cani Giapponesi provenienti dalle regioni montuose del paese: soggetti forti, temprati a climi difficili, ai rigidi inverni e ciò nonostante amanti della vita all'aria aperta, presenti in molte prefetture come FUKUSHIMA, NIIGATA, GUMMA, YAMANASHI, NAGANO e GIFU. Gli Shiba, tradizionalmente usati come cani d'affezione, sono però sempre stati apprezzati come ausiliari della caccia, soprattutto in quella ai piccoli cervidi, ma talvolta venivano impiegati (come il più prestante cugino Akita) addirittura per fronteggiare l'orso! Nel loro passato ci sono il SAN'IN, il MINO, e il SHINSHU. Il SAN'IN é a sua volta il discendente di razze ancora più antiche, la SEKISHU e la IMBA, provenienti dalle province di SHIMAN e TOTTORI.
Da quella di GIFU provenivano invece i MINO, mentre dalla provincia di NAGANO, e discendenti del MIKAWA, provenivano gli SHINKU.
Si trattava di cani con differenze anche sensibili: i primi erano per esempio più grandi degli Shiba attuali, i secondi erano sensibilmente più piccoli ed erano caratterizzati dalla SASKI-O (coda pendente ). Il colore preferibile dello Shiba é il rosso, anche se i SAN'IN erano macchiati, con o senza calze bianche. Lo stop è  caratteristica dello SAN'IN, le orecchie e gli occhi del MINO. I colori principali dello Shiba sono: Rosso (Aka-Inu), il Sesamo (Aka-goma), il Nero-Rosso, che prevede macchie Bianche sui piedi, sul torace, sulla coda, il Nero e il Nero-Sesamo, ottenuto dalla mescolanza di Rosso, Bianco e Nero (Kuro-goma). Il meno amato e il meno apprezzato a livello espositivo ma comunque ammesso é il Bianco. Complessivamente questi cani devono avere le sembianze di una volpe.
Dal passato hanno ereditato una tara genetica: la mancanza di denti (lo standard prevede fino a 4 denti mancanti).

Attualmente lo Shiba continua ad essere uno dei cani favoriti nel suo paese; è presente in città come in campagna ed è considerato comunemente come cane da compagnia. 
Il tradizionalismo, l'ultranazionalismo di certi allevatori sono altrettanti ostacoli da superare per importare uno Shiba di buona selezione. Tuttavia il paziente lavoro di relazioni e conoscenze permette agli allevatori più determinati di ottenere soggetti di qualità. 
Negli Stati Uniti, in Gran Bretagna ed in Australia è una delle razze di successo e la crescente popolarità moltiplica i felici proprietari di questo seduttore nato.
Non è ancora così sul continente europeo; poco a poco lo Shiba punta timidamente il suo muso sotto i nostri cieli. La Scandinavia, il Belgio, l'Olanda e la Germania dispongono di un capitale in evoluzione, ma in quei Paesi è indispensabile diversificare le linee d'origine. Gli allevatori seri lavorano a questo scopo importando e scambiando fra di loro delle nuove linee di sangue. Al seguito l'Italia, la Spagna e la Francia stanno entrando a pieno titolo in questo gruppo di appassionati. E' salutare per la razza che le cose non si sviluppino ad una velocità eccessiva ma bisogna riconoscere che questo cane possiede delle molteplici qualità ed uno charme indubbio.