고려가 건국 초기부터 시행해 온 친송 북진 정책과 거란에 대한 강경책이 그들로 하여금 고려를 침략할 수 있는 빌미를 제공하게 되었다. 이후 거란은 정안국(발해가 멸망한 뒤 발해의 유민들이 부흥 운동의 일환으로 압록강 일대를 중심으로 세운 나라)을 정복한 후 1차 침입을 단행하였다.(993) 그러나 서희의 외교담판으로 고려가 고구려의 후계자임을 거란에게 밝히고 강동 6주(흥화진<의주>, 용주<용천>, 통주<선주>, 철주<철산>, 귀주<귀성>, 곽주<곽산>)를 획득하였다. 

고려는 세 차례에 걸친 거란의 침입을 막아 낸 뒤 국경 방어에 더욱 힘을 쏟았다. 당시 국방상 가장 필요했던 시설의 하나가 성곽이었다. 특히 개성에는 원래 궁성(내성)밖에 없어서 방어가 매우 허술한 편이었다. 이에 현종은 즉위 초에 개성에 나성을 축조하려 하였으나, 거란의 침입으로 실현하지 못하였다. 그 후 거란의 3차 침입(1019)을 격퇴한 후 거란의 대규모 침입이 없게 되자, 강감찬의 건의를 받아들여 나성 축조 공사에 착수하여, 1029년(현종 20)에 성을 완성하였다. 개경의 나성은 흙으로 쌓은 성으로 주위 29,700보이고, 높이는 27척이었다.

한편, 고려 초부터 북쪽의 거란과 여진에 대비하여 북방의 각 요충지에 성채(성과 요새)를 쌓고 방어했으나, 거란의 거듭된 침략을 국경에서 효과적으로 막지 못하였다. 이에 현종 때에는 기존의 성채를 수리하는 한편 새로운 성채를 쌓으면서 장성을 축조하고자 하였다. 이 장성의 축조는 덕종 때부터 본격적으로 시작되었다.

1033년(덕종 2)부터 평장사 유소의 주관으로 공사가 시작되어 현종 때에 쌓은 성채를 연결하였다. 이 장성은 압록강 어귀로부터 시작하여 위원, 흥화, 정주, 영해, 영덕, 영삭, 정융, 영원, 평로, 삭주를 지나고, 평안도의 맹주, 운주, 청새, 안수 등을 지나 함경도 영흥 지역인 요덕, 정변, 화주 등과 연결되어 동해로 이어졌다. 장성은 다시 장주, 정주, 원흥진으로 이어져 12년 만이 1044년(정종 10)에 완성되었다. 그 후 1055년(문종 9)에 선덕진을 구축하여 북변 장성의 한계를 도련포까지 연장하였다.

고려의 동북방에는 한때 말갈이라 불리던 여진족이 오랫동안 부족 단위로 흩어져 반독립적인 생활을 하고 있었다. 고려는 이들을 경제적으로 도와주면서 회유정책을 펴서 포섭하고 있었다. 분산되었던 여진은 11세기 후반에 이르러 통일 세력을 형성하기 시작하였다. 고려 숙종 때 북만주 완옌부의 추장 영가가 여진족을 통일하면서 북간도 지방으로 세력을 뻗쳐 왔고, 뒤를 이은 우야소는 다시 남하하여 고려에 복속하여 있던 동여진을 아우르게 되자, 정주를 경계로 고려군과 충돌하였다.

이에 고려에서는 임간을 시켜 여진을 정벌하려 했으나, 오히려 크게 패하였고, 뒤를 이은 윤관의 북벌군도 여진의 기병에 패하여 철수하였다. 기병 중심의 여진군을 보병 중심의 고려군이 막아 내기는 어려웠다. 이를 계기로 고려는 윤관의 주도로 별무반을 창설하였다.

[왕이 결정을 내리지 못하고 주저하다가 평장사 최홍사를 시켜 태묘에서 점을 치게 하여 감의 기제괘가 나오자 드디어 출병하기로 결정하고서 윤관을 원수로, 지추밀원사 오연총을 부원수로 임명했다.

윤관은 “제가 진작 선왕의 밀지를 받았고 이제 또 엄중한 어명을 받들었으니 삼군을 통솔하여 적의 성을 쳐부수고 우리의 강토를 넓혀서 반드시 나라의 치욕을 씻고야 말겠습니다.” 하고 아뢰었다. 그러나 오연총이 과연 이길 수 있을까 미심쩍은 나머지 자기 생각을 가만히 말하자 윤관은 개연히 “공과 내가 아니면 누가 만 번이나 죽을 땅으로 나가서 나라의 부끄러움을 씻겠소? 방침이 이미 결정된 마당에 무엇을 미심쩍어 하는 거요?” 라고 말하니 오연총이 입을 다물었다. 왕은 서경(西京)으로 행차하여 위봉루에서 부월을 주고 그를 보내었다.]

  -≪고려사≫ 열전, 윤관편 중에서

여진과 전투를 벌여 패배하고 돌아온 윤관은 숙종에게 새로운 군대의 편성을 요청하였다. 이렇게 편성된 군대인 별무반은 기병 부대인 신기군, 보병 부대인 신보군, 승병 부대인 항마군, 경궁부대 등의 특수군까지 구성된 군대였다. 신기군은 문무산관(일정한 사무가 없는 벼슬)과 서리(말단의 행정 실무에 종사)로부터 상인, 노복(사내종)에 이르기까지 말을 가진 자로 편성하였고, 말을 가지지 않은 자와 20세 이상의 남자로서 과거 응시자가 아닌 사람은 신보군에 편성하였다.

여진 토벌은 예종 때에 이르러 단행되었다. 예종 2년 12월에 윤관을 원수로, 오연총을 부원수로 하는 17만의 출정군은 천리 장성을 넘어 여진족의 거점인 함흥평야와 그 이북 지방을 대대적으로 토벌하였다.

고려는 남쪽으로부터 백성을 이주시켜 이곳을 개척하여 살게 하고 9성을 수축하였다. 새로 성을 구축한 곳은 함주에 이주민 1,948가구, 영주에 성곽 950칸과 이주민 1,238가구, 웅주에 성곽 992칸과 이주민 1,436가구, 북주에 성곽 774칸과 이주민 680가구, 길주에 성곽 670칸, 이주민 680가구, 공험진에 이주민 532가구로서, 이 6성 외에 이듬해에는 숭녕, 통태, 진양의 3성을 더 쌓아 이른바 동북 9성의 설치가 완료되었다. 특히 함흥평야의 함주에 대도독부를 두어 이곳이 가장 요충이 되었다.

하지만 서북쪽 거란에 대한 경계의 필요성, 또, 그 땅에 살고 있던 여진족의 끈질긴 무력시위와 끝없는 반환 요청으로 고려 조정은 고민에 빠지게 됐다. 동북 9성 구축 이후 자신들의 생활 근거지를 잃어버렸다고 생각한 여진이 끊임없이 땅의 반환을 요청했기 때문이다. 여진은 윤관이 쌓은9개의 성에 계속해서 무력시위를 전개하고 고려 조정에는 계속적으로 사신을 보내 땅을 돌려달라고 청하였다. 여진의 입장에서는 오랫동안 터를 잡고 살아 온 자신들의 땅을 송두리째 고려에 빼앗긴 것처럼 느껴졌기 때문이다. 결국 고려는 윤관의 반대에도 고려는 9성을 1년 7개월 만에 다시 여진족에게 되돌려 주었다. 이후 여진은 금을 건국(1115)한 후 고려에게 군신 관계를 요구하였다. 이에 이자겸 일파는 정권 유지를 위해 금의 사대 요구를 수용하였고 고려의 북진 정책은 좌절되었다. 주변국들과의 긴장관계가 늘어나는 것은 좋지 않다고 판단했기 때문이다. 고려가 동북 9성 반환을 결정하자 고려에 들어와 있던 여진 사신은 눈물을 흘리며 기뻐했고, 여진의 부대는 동북 9성 지역의 고려 백성들이 이주할 때 백성들이 안전하게 지날 수 있도록 보호하고 짐도 날라주었다고 하니 여진이 얼마나 이 땅을 간절히 원했는지 알 수 있다.  

이후 고려의 북방 개척의 대한 지향점은 ‘확장’보다는 ‘보수’로 기울었다. 가지고 있는 것을 지키는 것에 더 집중하겠다는 건데. 고구려의 기상을 이어 받아 북방 민족 정벌에 앞섰던 모습을 이제 볼 수 없다니 조금 아쉽기는 하다. 과연 고려는 계속해서 최고의 전성기를 누릴 수 있을까?