my brother had to go the library yesterday в вопросительной форме​

Ответ:

Did my(your) brother have to go to the library yesterday?

Объяснение: Когда мы задаём вопрос с have to, то мы начнём свой вопрос с do/does. А это прошедшее время и поэтому начинается с did