2017.09.05 09:39
아사동 사이트 파일수 관련된 문제에 대한 단순한 해법이 될 수도 있는 방안
조회 수 186 추천 수 0 댓글 11
지난번 아사동 서버와 관련한 댓글에 댓글을 달고나서 계속 찝찝한 것이 있던 차에, 더우기 이공님이 아사동 서버관리에서 손을 빼시는 척까지 하면서 간곡하게 부탁하시는데, 나 몰라라 할 수만은 없어서 좀 더 생각을 해보았습니다.
지난번에 마음에 걸렸던 사실이 있었는데, 이는 아사동 갤러리에 포스팅된 수가 생각했던 것 보다 많지 않았기 때문입니다.
아사동 회원님들이 주로 사진을 올리는 자유갤러리에 약 11,500개, 추천갤러리에 약 650개, 그리고 다른 갤러리는 제가 들여다 볼수가 없어서 잘 모르겠지만 다 합쳐서 1,000 정도 되지 않을까 생각합니다.
그리고, 자유게시판및 기타 게시판에도 파일 첨부되어 있기는 하지만 수는 많지 않을 것이라 생각되었기 때문입니다.
이러한 가정을 가지고 파일이 포함된 포스팅 수를 추측해보면 대충 14,000여개 정도 되지 않을까 생각됩니다.
여기서, 한 포스팅에 여러개의 사진을 올리시는 경우를 감안하여 1 포스팅에 5개의 사진이 첨부되어 있다고 가정하면, 현재 아사동 서버에 저장된 파일 수는 약 70,000개 정도가 되겠고요, 각 이미지 파일마다 thumbnail이 하나씩 만들어 지는 것을 감안하더라도 전체 파일수는 약 140,000개 정도가 될 것이라 생각했기 때문입니다.
그런데, 아사동 서버에 벌써 약 250,000개의 파일이 쌓였다는 것은 지난번 블루펭귄님이 말씀하신데로 어딘가에 낭비가 되어지는 부분이 있는가하는 생각이 들었습니다.
여기서, 잠시 YouTube에 관한 재미(?)있는 이야기를 하나 드리고 계속하겠습니다.
예전에 구글에 업로드 되는 하루 데이타양이 궁금하여 인터넷에서 찾아본적이 있습니다. 당시 구글에 관한 자료는 찾지 못하고 구글의 자매회사인 YouTube에 관한 이야기를 찾을 수 있었습니다.
당시 YouTube에 올라오는 데이타양이 하루에 약 24TB라고 하더군요. 그런데, 재미있는 사실은 YouTube 데이터서버에 저장되는 양은 업로드되는 양의 약 4,5배가 정도가 된다는군요. 그러니까, 하루에 약 100TB 이상의 데이타가 YouTube에 저장된다는 것이지요.
이러한 이유는 동영상이 하나 올라왔을 때 이것이 단순히 하나의 파일로 저장되는 것이 아니라, 프로파일링이라는 단계를 거치며, 여러가지 다른 포맷으로 만들어진 복수의 동영상 파일이 저장되기 때문이라고 합니다.
이렇게 여러개의 파일을 미리 준비하여 놓음으로서 동영상 서비스를 저해상도 또는 고해상도로 네트웍 속도에 따라 다이나믹하게 제공할 수 있게 되는 것입니다. 접속수가 많지 않을 경우에는 영상을 인코딩하면서 서비스를 제공할 수 있겠지만 동시에 YouTube에 접속하는 수가 엄청난 관계로 소위 리얼타임 영상처리는 불가능하다고 하더군요.
아사동 사이트도, YouTube처럼 모든 경우에 대하여 프로파일링을 해놓는 것은 아니지만, 필요한 수의 이미지 파일을 만들어 놓고 서비스를 하는 것으로 보여집니다.
어쨌든, 아사동 파일갯수에 뭔가 이상함이 느껴져서 제가 예전에 아사동에서 사용하는 XpressEngine으로 만들었던 사이트 자료들을 쭈욱 훑어 보았습니다. 그리고, 마침내 파일갯수가 터무니 없이 많아지는 이유에 대하여 알아내게 되었습니다.
결론적으로 말씀드리면, 사이트 디렉토리중에 files/thumbnails이라는 곳에 엄청난 양의 thumbnail들이 저장되어 있더군요!!!
무슨말인고 하니, 회원님들이 갤러리에 사진을 올리면 아사동 초기화면에서는 위젯이라는 것을 통해 thumbnail이라고 하는 조그만 이미지로 보여지는데요, 이 thumbnail이 업로드된 사진당 하나의 thumbnail이 아니라 서너개 많게는 십여개씩 만들어져 있더군요. 지난 주말동안 요 thumbnails들을 지웠다 썼다를 반복하며 밤새 테스트를 해 보았더니, 이 곳에 있는 사진들을 다 지우면 누군가 사이트에 접속하는 순간 초기화면에 필요한 만큼만 다시 생성이 되더군요.
따라서, 그동안 아사동 사이트도 thumbnail 파일들이 정리가 안되어 있음을 감안하면, 현재 엄청난 파일들이 있을 것이라 생각되고, 이 것들을 정리하면 향후 상당한 기간동안은 inode수 때문에 걱정할 일은 없을 것이라 생각됩니다.
아사동 사이트에서 사용하는 위젯은 제가 쓰던 위젯하고는 조금 다르기는 합니다만 thumbnail을 만들어주는 과정은 비슷할 것이라 생각이듭니다.
전문가분들께서는 thumbnails 디렉토리를 한번 살펴보시기 바랍니다. 사진당 폴더가 만들어져 있고 그 폴더안에 관련된 thumbnail 파일들이 잔뜩 저장되어 있을 것입니다.
스케치
-
-
?
제가 며칠간 테스트 해 본 결과로는, 다시 만들어줄 때 시간이 좀 걸리기는 하는데, 아사동에 업로드된 모든 파일을 다시 만들어 주는 것은 아니고 아사동 대문에 걸려 있는 위젯에 대해서만 다시 만들어 주더군요.
아사동 위젯이 제가 사용하는 것과 다르기는 하지만, 만약 아사동에서 사용된 위젯이 업로드된 사진에 대하여 모두 썸네일을 만들어 주게 만들어 놨다면 대문의 위젯을 잘못 선택하신 것 같네요... 그렇다면 다른 위젯을 바꾸는것도 나쁘지는 않겠군요. ^^ -
아사동의 경우 위젯이 만들어내는 썸네일은 얼마 안되구요. 갤러리 목록화면에서 만들어내는 썸내일이 가장 큽니다.
모바일용 스킨도 있고 일반 목록도 있고해서 여러가지 사이즈를 만들고 있습니다. -
?
당연히 자유갤러리 위젯과 관련되 thumbnail수가 가장 많겠지요...
하지만 일단 다 지워 버리시면 일정 페이지가 다시 불려지기 전까지 파일수는 적게 유지할 수 있을겁니다.
물론 제가 말씀드리는 것이 장기적인 해법이 아닌 것은 잘 압니다만 주어진 상황에서 장기적인 계획을 세우기 전까지는 차분하게 생각할 수 있는 시간은 충분히 벌 수 있으리라고 생각합니다.
그리고, 이러한 문제점을 알고 있었다면 비록 저와 같이 비전무가인 무지한 회원일지라도 문제점을 같이 공유했었으면 좋지 않았을까 하는 심한 아쉬움이 있습니다. 제 개인적으로 생각일지 모르겠습니다만, 아마 대부분의 아사동의 회원님들께서도 아사동 사이트가 좀 더 좋게 발전했으면 하는 바람을 가지고 계실것 같습니다. 단, 그분들도, 아사동 시스템의 업그레이드를 하더라도, 현상황을 정확히 인식하고 이에 기반하여 더 좋은 방안을 찾기를 바랄 것이라 생각합니다. -
예 말씀하신대로 하면 한동안은 파일수가 많이 줄어들것입니다. 그리고 서버는 모든 썸네일을 다시 다 만들어 낼꺼구요. 그동안 회원님들은 서버 과부하로 불편을 겪겠지요.
아사동 사이트는 이공, 지춘 keepbusy 이렇게 세사람이 운영자을 이어오면서 가장 최적화된 서비스를 찾아냈고 그것을 공유해서 우여곡절도 격으며 지금까지 가장 효율적으로 운영해 왔다고 믿고 있습니다.
현재 담당자는 keepbusy님이시고 혼자 하시기에 힘드신 것들이 있으시면 이공님과 저를 소환하시고 있으며 저희는 전적으로 지원을 해드리고 있습니다.
앞으로도 아사동을 사랑하셔서 기술지원을 해주시는 분이 또 나오셨으면 좋겠습니다.
그리고 아사동에 맞는 가장 경제적이고 적합한 서버로 찾았으니 고민이나 테스트는 더 하지 않으셔도 될 것 같습니다.추가) 혹시 제가 말씀드린 '목록'을 다르게 이해하실수도 있어서 다시 설명을 드리면, 위젯에 보이는 리스트가 아니라 갤러리 메뉴로 들어갔을때의 목록을 말씀드리는 것입니다.
-
?
부하가 다소 걸리기는 하겠지만.. 과부하라...
그리고, 갤러리 리스트도 테스트 해보았습니다.
어쨌든 아사동을 위해 가장 좋은 솔루션을 세분이서 찾으셨다니 다행입니다. 그리고, 주제넘게 나서지 말라고 하시는 분위기이니 더 이상 아무말도 하지 않겠습니다.
그럼 안녕히 계십시요... -
?
더이상 신경을 안 쓰려고 하다가...
한가지 궁금한 것이 있어서요...
근데 왜 다른 회원분들의 위견은 묻지도 않고 상황설명도 하지 않은 채 전문가 세분이서만 이처럼 중대한 결정을 내리려고 하는지 참 궁금하네요? -
XE에서 멀티플 썸네일 생성에 대해서 고치는 방법은 없나요? -
말씀하신 폴더에 아사동 싸이트는 150,000 정도의 떰네일 화일이 있고
예전에 test하느라고 폴더 네임을 바꾸어 보니까 바로 자동 재생성을 시작하는 것을 확인한적이 있습니다.
결론은 지우면 안된다 입니다.. -
?
제가 테스트 해본 바에 의하면 다시 만들어 줄 때 업로드된 파일에 대하여 모두 만들어주는 것이 아니라 위젯에 보여주기 위한 것만 다시 만들기 때문에 과거의 많은 불필요한 파일들은 모두 지워지게 됩니다!!!
ㅋㅋㅋ... 뭐 믿기 싫으시다면 할 수 없지만, 제가 이 테스트를 지난 주말내내 해봤으니까 한번 확인해 보십시요. 테스트 해보시기 전에 썸네일 파일 백업 받고 해보시면 문제 됐을 때 다시 예전 파일로 갖다 놓으시면 될테니까요. ^^!
뭐, 저야 뭐 전문가도 아니고 테스트 해본 결과를 공유하고자 했던건데 전문가분들의 의견이 아니라고 하는데는 뭐라 할 말은 없고요. 일단 지운 후에 다시 150,000개의 thumbnail 파일이 생성되기까지는 아주 오랜 시간이 걸릴 것 같은데도 결론은 지우면 안된다고 내리셨다면 더욱 드릴 말씀이 없네요... -
?
그나저나... 생각해 보니까 엄청 괘씸하네...
아니 문제의 발생 원인을 이미 알고 있으면서도 모른 척하고 있었던 것 아니야...
우쒸 알고 있는 사실을 공유만 했어도 쉽게 방법을 찾을 수 있었을 것을 지난 주말 밤새워가며 테스트하게 만들고...
사실 이러한 것들이 싫어서 활동을 접긴 했는데... 아직 아사동 운영은 여전한가 봅니다...
말씀하신 폴더나 파일은 지우면 안되는 것들입니다.
지워도 다시 자동으로 생성되기 때문이고 이때 호스팅서버가 CPU부하에 걸려 서비스를 차단해 버립니다.
예전에 제가 운영자로 사이트 관리를 하다가 말씀하신 폴더를 지웠는데 썸네일을 다시 다 생성하는데 하루이상 걸렸던 것으로 기억합니다.
동시에 생성하게되는 썸네일이 워낙 많아서인가 봅니다.
그동안 홈페이지가 엄청 느려지고 계속 다운되고 그랬죠.
아마 지금은 더 오래 걸릴지도 모르겠네요.