「to the point」は「要点をおさえて」という意味の慣用表現です。「要点を外れて」は「off(beyond) the point」となります。
His explanation is always to the point.
彼の説明はいつも要領を得ている。
Her reply was to the point.
彼女の答えは適切だった。
Make your story short and to the point.
話は手短に要領よく言いなさい。
He talks briefly and to the point.
彼の話は簡潔で肝心なところをついている。
That observation is right to the point.
その考察はずばり的を得ている。
What he said was to the point.
彼の言ったことは要領を得ていた。