Почему не иначе?

НЕМОЙ.

А вот тут такой метод анализа не подойдет: "не-" здесь не приставка, а часть корня. Думают, что слово это жило уже в славянском языке. Оно состоит в родстве с некоторыми словами других индоевропейских языков, например с латинским "мемерс" - "косноязычный". Вероятно, все они возникли из звукоподражаний, подобных греческому "барбарос" - "варвар" (см. это слово).