陣屋在江戶時代是政府官員的辦公室，也稱之為郡役所，日本現存的郡役所之中，高山陣屋是最古老的一座。這裡本是高山城主金森的別院，外面看來有點像古典寺廟，內部規劃卻更像歐洲的皇室城堡，因為除了是城主起居飲食工作的地方之外，更有存放農民上繳的貢米糧倉，還有審問用刑的刑室，可說是一個小城的縮影。
高山陣屋，原為高山城主金森氏的宅邸之一。金森氏左遷後，高山成為德川幕府的直轄地區，代官（地方官）、郡代（官名）等在此設置了辦公機構，以管理飛彈地區的行政。
這個辦公場所被稱為「高山陣屋」，官員們在此下達命令、通知以及辦理納貢事宜等。自明治時期起，這裡相繼被用為縣政廳、郡政廳、政府分支機構等。在日本，代官所（地方政府）的建築物保留至今的，唯此一處。 當地政府花費20億日元修繕了3次，才將這座江戶時代的政府要處原汁原味的展現在大家的面前，供人回顧往昔。