2017.09.05 09:39
아사동 사이트 파일수 관련된 문제에 대한 단순한 해법이 될 수도 있는 방안
조회 수 186 추천 수 0 댓글 11
지난번 아사동 서버와 관련한 댓글에 댓글을 달고나서 계속 찝찝한 것이 있던 차에, 더우기 이공님이 아사동 서버관리에서 손을 빼시는 척까지 하면서 간곡하게 부탁하시는데, 나 몰라라 할 수만은 없어서 좀 더 생각을 해보았습니다.
지난번에 마음에 걸렸던 사실이 있었는데, 이는 아사동 갤러리에 포스팅된 수가 생각했던 것 보다 많지 않았기 때문입니다.
아사동 회원님들이 주로 사진을 올리는 자유갤러리에 약 11,500개, 추천갤러리에 약 650개, 그리고 다른 갤러리는 제가 들여다 볼수가 없어서 잘 모르겠지만 다 합쳐서 1,000 정도 되지 않을까 생각합니다.
그리고, 자유게시판및 기타 게시판에도 파일 첨부되어 있기는 하지만 수는 많지 않을 것이라 생각되었기 때문입니다.
이러한 가정을 가지고 파일이 포함된 포스팅 수를 추측해보면 대충 14,000여개 정도 되지 않을까 생각됩니다.
여기서, 한 포스팅에 여러개의 사진을 올리시는 경우를 감안하여 1 포스팅에 5개의 사진이 첨부되어 있다고 가정하면, 현재 아사동 서버에 저장된 파일 수는 약 70,000개 정도가 되겠고요, 각 이미지 파일마다 thumbnail이 하나씩 만들어 지는 것을 감안하더라도 전체 파일수는 약 140,000개 정도가 될 것이라 생각했기 때문입니다.
그런데, 아사동 서버에 벌써 약 250,000개의 파일이 쌓였다는 것은 지난번 블루펭귄님이 말씀하신데로 어딘가에 낭비가 되어지는 부분이 있는가하는 생각이 들었습니다.
여기서, 잠시 YouTube에 관한 재미(?)있는 이야기를 하나 드리고 계속하겠습니다.
예전에 구글에 업로드 되는 하루 데이타양이 궁금하여 인터넷에서 찾아본적이 있습니다. 당시 구글에 관한 자료는 찾지 못하고 구글의 자매회사인 YouTube에 관한 이야기를 찾을 수 있었습니다.
당시 YouTube에 올라오는 데이타양이 하루에 약 24TB라고 하더군요. 그런데, 재미있는 사실은 YouTube 데이터서버에 저장되는 양은 업로드되는 양의 약 4,5배가 정도가 된다는군요. 그러니까, 하루에 약 100TB 이상의 데이타가 YouTube에 저장된다는 것이지요.
이러한 이유는 동영상이 하나 올라왔을 때 이것이 단순히 하나의 파일로 저장되는 것이 아니라, 프로파일링이라는 단계를 거치며, 여러가지 다른 포맷으로 만들어진 복수의 동영상 파일이 저장되기 때문이라고 합니다.
이렇게 여러개의 파일을 미리 준비하여 놓음으로서 동영상 서비스를 저해상도 또는 고해상도로 네트웍 속도에 따라 다이나믹하게 제공할 수 있게 되는 것입니다. 접속수가 많지 않을 경우에는 영상을 인코딩하면서 서비스를 제공할 수 있겠지만 동시에 YouTube에 접속하는 수가 엄청난 관계로 소위 리얼타임 영상처리는 불가능하다고 하더군요.
아사동 사이트도, YouTube처럼 모든 경우에 대하여 프로파일링을 해놓는 것은 아니지만, 필요한 수의 이미지 파일을 만들어 놓고 서비스를 하는 것으로 보여집니다.
어쨌든, 아사동 파일갯수에 뭔가 이상함이 느껴져서 제가 예전에 아사동에서 사용하는 XpressEngine으로 만들었던 사이트 자료들을 쭈욱 훑어 보았습니다. 그리고, 마침내 파일갯수가 터무니 없이 많아지는 이유에 대하여 알아내게 되었습니다.
결론적으로 말씀드리면, 사이트 디렉토리중에 files/thumbnails이라는 곳에 엄청난 양의 thumbnail들이 저장되어 있더군요!!!
무슨말인고 하니, 회원님들이 갤러리에 사진을 올리면 아사동 초기화면에서는 위젯이라는 것을 통해 thumbnail이라고 하는 조그만 이미지로 보여지는데요, 이 thumbnail이 업로드된 사진당 하나의 thumbnail이 아니라 서너개 많게는 십여개씩 만들어져 있더군요. 지난 주말동안 요 thumbnails들을 지웠다 썼다를 반복하며 밤새 테스트를 해 보았더니, 이 곳에 있는 사진들을 다 지우면 누군가 사이트에 접속하는 순간 초기화면에 필요한 만큼만 다시 생성이 되더군요.
따라서, 그동안 아사동 사이트도 thumbnail 파일들이 정리가 안되어 있음을 감안하면, 현재 엄청난 파일들이 있을 것이라 생각되고, 이 것들을 정리하면 향후 상당한 기간동안은 inode수 때문에 걱정할 일은 없을 것이라 생각됩니다.
아사동 사이트에서 사용하는 위젯은 제가 쓰던 위젯하고는 조금 다르기는 합니다만 thumbnail을 만들어주는 과정은 비슷할 것이라 생각이듭니다.
전문가분들께서는 thumbnails 디렉토리를 한번 살펴보시기 바랍니다. 사진당 폴더가 만들어져 있고 그 폴더안에 관련된 thumbnail 파일들이 잔뜩 저장되어 있을 것입니다.
