オープンリレーとは、オープンにリレー(中継)することです。メールサーバは本来、自社からまたは自社宛のメールのみを転送するためにあります。他社から他社へのメールを転送する必要はありません。それを可能にしてしまっているのがオープンリレーで、SPAMメールの踏み台になってしまいます。
過去問(H29春SC午後Ⅱ問2)には「外部メールサーバの転送機能の設定を表3に示す。この設定によって、オープンリレーが防止されている。」とあります。
a
まず、正解ですが、空欄cは内部メールサーバが入ります。
それぞれの項番を簡単に解説します。
■項番1
外部からA社に届くメールを表しています。よって、【 c:内部メールサーバ 】に転送します。

■項番2
社内から外部にメールを送る設定を意味しています。たとえば、宛先メールアドレスのドメインがb-sha.co.jpであれば、このドメインのメールサーバにメールを転送します。
まず、MXレコードを問い合わせ、メールサーバのFQDNを調べます。仮にmx.b-sha.co.jpという結果が返って来たら、次はこのFQDNのAレコードを問い合わせ、転送先のメールサーバのIPアドレスを調査します。

■項番3
この設定によって、第三者による不正なメールを中継を防ぎます。これは、外部ドメインから外部ドメイン宛のメールです。

-----------
H25春SC午後Ⅱ問2では違う表現をしているので、参考まで。

オープンリレー対策では,SMTPの転送元又は送信元と,エンベロープの受信者ドメイン名の組合せで,転送と送信の許可又は拒否を判定する。
a

エンベローブの解説は以下です。
http://nw.seeeko.com/archives/50248527.html