Java로 Hadoop(hdfs) read/write

Hadoop의 분산환경에서 동작할 때 쓰이는 IO는 일반적인 Java와는 다르다.

바로 들어간다면

1. Read

try{ Path pt=new Path("hdfs://npvm11.np.wc1.yellowpages.com:9000/user/john/abc.txt"); FileSystem fs = FileSystem.get(new Configuration()); BufferedReader br=new BufferedReader(new InputStreamReader(fs.open(pt))); String line; line=br.readLine(); while (line != null){ System.out.println(line); line=br.readLine(); } }catch(Exception e){ }  

 Path는 hdfs에서 제공하는 경로 Class이다.

 fs.open(pt)는 hdfs 내 file을 얻는 함수이다.

> https://hadoop.apache.org/docs/r2.2.0/api/org/apache/hadoop/fs/FileSystem.html#o

pen(org.apache.hadoop.fs.Path)

fs를 hadoop에서 얻어온 다음 InputStreamReader를 사용하여 readLine( )으로 읽어올 수 있다.  

2. Write

  FileSystem fileSystem = FileSystem.get(URI.create(otherArgs[1]),conf); FSDataOutputStream fsDataOutputStream = fileSystem.create(new Path(otherArgs[1]+"//Result.txt")); PrintWriter writer = new PrintWriter(fsDataOutputStream); writer.write("\n Average Delay:"+averageDelay); writer.close(); fsDataOutputStream.close();

3. 이어쓰기는 아래와 같은 방식으로 할 수 있다.

try { List<String> t_s = new ArrayList<String>(); Path pt=new Path("tmp/param");//Location of file in HDFS FileSystem fs = FileSystem.get(new Configuration()); BufferedReader _in=new BufferedReader(new InputStreamReader(fs.open(pt))); String output = _in.readLine(); _in.close(); pt=new Path(output+"/node");//Location of file in HDFS try{ _in=new BufferedReader(new InputStreamReader(fs.open(pt))); output = _in.readLine(); t_s.add(output); while (output != null){ output = _in.readLine();t_s.add(output); } _in.close(); }catch (IOException e) { System.out.println(e); } FSDataOutputStream fsOutStream = fs.create(pt); PrintWriter writer = new PrintWriter(fsOutStream); for(int i=0; i< t_s.size(); i++) if(t_s.get(i) != null) writer.write(t_s.get(i)+"\n"); writer.write("#\n"); writer.write(inLink+"\n"); for(int i=0; i< outlinkList.size(); i++) writer.write(outlinkList.get(i).getToUrl()+"\n"); writer.close(); fsOutStream.close(); } catch (IOException e) { System.out.println(e); }

>readLine( )은 String을 얻어온다. 파일에 다시 쓸 경우 "\n"을 넣어준다.