上地雄輔をはじめとする「ヘキサゴンファミリー」からは「父ちゃん」などと呼ばれ、テレビでは「オレについてこい！」タイプで豪放磊落のイメージの強い島田紳助。だが、自ら過去のインタビューで「僕は人並み以上に気が小さいし、些細なことで悩み、凹んでしまう」と語ったことがあるように、実は相当に神経質で繊細。
「自分の番組が1本でも減ったり、週刊誌の『好きな芸能人ランキング』の順位が少しでも落ちると、『オレはもうダメだ』『引退する』などと本気でいい始める。ストレスから、家の中で『何かがいる』といい出して、ホースで水をまき始め、家中を水浸しにしたこともあった」（テレビ関係者）
番組作りに関しても極めて神経質で、徹底的に構成や台本を読み込み、赤を入れて本番に臨むという。それゆえ、知らないタレントと組むのを極端に嫌がった。
「“所（ジョージ）さんみたいに、本番直前に局に入ってチャラッと本番やって、とっとと帰れたらええよなァ。俺は綿密に構成を考えて、準備をしてからでないと、怖いわ”とよくいっていた」（別のテレビ関係者）
自分を強く大きく見せようとする虚勢と、その裏側の小心――それが暴力団関係者との交際につながっているようにも思える。
※週刊ポスト2011年9月9日号
