回答:
答えは #<60,-60,-20>#
説明:
2つのベクトルの外積 #veca# そして #vecb# 行列式で与えられる
#|(((hati、hatj、hatk)、(5,6、-3)、(5,2,9))|#
#= hati * |((6、-3)、(2,9))| -hatj * |((5、-3)、(5,9))| + hatk * |((5,6)、 (5,2))|#
#= hati(60)-hatj(60)+ hatk(-20)#
#=<60,-60,-20>#
内積することによる検証
#<60,-60,-20>.<5,6,-3>=300-360+60=0#
#<60,-60,-20>.<5,2,9>=300-120-180=0#