「カスタムメール」機能にて、送信日時を設定し、送信先を「コースマップから絞り込み」にした場合、送信先に判定されるタイミングは「メール作成時」と「メール送信時」どちらに決定されるのか。

「メール送信時」となります。

メール送信時のタイミングでコースマップ対象となっているユーザーに対し、メールを送信します。

例として、
「コースマップから絞り込み」でコースマップ未受講者のみにメールを送信したい場合、「メール作成時の未受講者」に送られるのか、あるいは「メール送信時の未受講者」に送られるのか。

こちらは、「メール送信時の未受講者」になります。