어릴 때, 부유했던 집에서 파티를 하면 전화번호부를 통째로 외워서 읽어주는 묘기를 하였다. 머리도 비상한 데다가 금수저이기까지 하다 또, 파티에서 오는 사람들에게 이름, 주소, 전화 번호를 물어보고 집에 갈 때 문 앞에서 한 명씩 인사하면서 저 정보를 다 읊어줬다고.

7개의 외국어를 모국어같이 자유자재로 사용할 수 있었으며 발음도 원어민과 흡사하였다. 어릴 때 영어를 배웠지만 미국에 오면서 좀 더 수준을 높이기 위해 브리태니커 백과사전을 통째로 외우기도 했다.

동료가 어릴 때 영어를 배우기 위해서 읽은 《두 도시 이야기》를 암송해보라고 하니까 멈추라고 할 때까지 30분 가량 외웠다.

ICBM(대륙간 탄도 미사일) 개발의 초창기, 개발자들은 완전히 맨땅에서 시작했기에 탄도 미사일이라는 것이 어떤 물건이 될지 개발 과정이 맞는지조차 혼란스러워했다. 이 와중에 누군가 '노이만에게 물어보자고 제안했고 개발자들은 몇 개월간 연구한 수천 페이지의 문서를 들고 그에게 찾아갔다. 노이만은 그들의 부탁을 흔쾌히 들어주겠다고 하였다. 개발자들이 "그럼 얼마 후에 방문하면 될까요?"하고 물어보자 "아, 거기 잠깐만 앉아 보세요."하고 말하며 2시간 동안 자료를 뒤적거리다가 종이와 펜을 들고 설명을 시작했다. 그리고 그의 설명은 완벽했다고 한다.

아브라함 페이스는 폰 노이만보다 위대한 인물은 만나 봤지만 그보다 더 똑똑한 사람은 만난 적이 없다고 말했으며 이는 그의 동료들도 동의했다. 참고로 아브라함 페이스는 천재들의 시대에서 유명한 천재란 천재는 다 만나 본 사람이다.

폰 노이만의 운동 신경은 좋지 않았다.