(3-Царств 12:20)
"Когда услышали все Израильтяне, что Иеровоам возвратился, то послали и призвали его в собрание, и воцарили его над всеми Израильтянами. За домом Давидовым не осталось никого, кроме колена Иудина [и Вениаминова]."
Таким образом когда произошло разделение на Израильское и Иудейское царство, то колено Иудино и Вениаминово приходили на поклонение в Иерусалим. Израильтяне же приносили жертвы на своей земле (не в Иерусалиме) чего Бог не велел делать. Кроме всего израильтяне отошли от Бога и стали поклоняться идолам.
(3-царств 12:28)
"И посоветовавшись царь сделал двух золотых тельцов и сказал [народу]: не нужно вам ходить в Иерусалим; вот боги твои, Израиль, которые вывели тебя из земли Египетской."
Поэтому с тех пор верующих, которые продолжали поклоняться Яхвэ и приносили жертвы в Иерусалимском храме, стали называть "иудеями". То бишь хранителями веры отцов.
Вспомните какой первый вопрос задала Самарянка Иисусу:
(от Иоанна 4:20)
"Отцы наши поклонялись на этой горе, а вы говорите, что место, где должно поклоняться, находится в Иерусалиме."
Поэтому выражение (Рим 2:28) "....Ибо не тот Иудей, кто [таков] по наружности..." означает
"не тот верующий, кто лицемерит и хочет, чтобы другие думали, что он верующий"
Поскольку в то время последователи Иисуса Христа ещё не называли себя христианами (это произошло позже в Антиохии [Деяние 11:26]), а понятие "верующий" - было слишком растяжимое, потому что в те времена атеистов не было и все во что-то верили, то звание "Иудей" - относилось только к верующим в Бога Яхвэ. Ну а Иисус - Сын Яхвэ, принесший Новый Завет с Богом. Поэтому ученики Иисуса Христа также называли себя Иудеями.