[41일] 크롤링 (3) - 크롤링 결과 파일에 저장

우리는 앞서 파일 입출력을 하는 방법을 배웠다. 이번에는 크롤링한 결과를 파일에 출력하여 저장을 해보자

 

package crawling0923;

import java.io.FileWriter;
import java.io.PrintWriter;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class Test04_choongang {

	public static void main(String[] args) {
		// 중앙정보처리학원 웹페이지의 공지사항 제목만 크롤링해서 choongang.txt 파일에 저장하기
		
		try {
			//추가된 부분
			String fileName = "I:/java202207/choongang.txt";
			FileWriter fw = new FileWriter(fileName, true);  //(내용)추가 모드
			PrintWriter out = new PrintWriter(fw, true);
			//
			String URL = "https://www.choongang.co.kr/html/sub07_01_n.php";
			
			for(int p=1; p<=11; p++) {
				String params = "?page=" + p + "&mod=&idx=";				
				Document doc = Jsoup.connect(URL+params).get();			
				Elements elements = doc.select(".default_title");
				for (Element element : elements) {
					System.out.println(element.text());
					//추가
					out.println(element.text()); //choongang.txt 출력하기
					//
				}//for end				
			}//for end
			
			//추가
			out.close();
			fw.close();
			
			System.out.println("------choongang.txt 공지사항 제목 저장 완성!!");
			//

		} catch (Exception e) {
			System.out.println("크롤링 실패 : " + e);
		}//end

	}//main() end
}//class end