Берзиньш родился 26 сентября 1959 года в Екабпилсском районе. В 1983 году окончил Механико-машиностроительный факультет Рижского политехнического института.
Берзиньш был депутатом 5-го Сейма от Латвийского крестьянского союза. Участвовал в создании Народной партии, был депутатом 7-го Сейма, затем министром финансов, а в 8-м Сейме занимал пост председателя Бюджетно-финансовой комиссии.
2 декабря 2004 года Берзиньш был назначен министром здравоохранения, а в октябре 2006 года избран в 9-й Сейм.
17 января 2007 года Берзиньш объявил о своей отставке с поста министра здравоохранения и уходе из политики по состоянию здоровья.
Берзиньш был владельцем крестьянского хозяйства "Delles".