001/*
002 * Copyright (c) 2009 The openGion Project.
003 *
004 * Licensed under the Apache License, Version 2.0 (the "License");
005 * you may not use this file except in compliance with the License.
006 * You may obtain a copy of the License at
007 *
008 *     http://www.apache.org/licenses/LICENSE-2.0
009 *
010 * Unless required by applicable law or agreed to in writing, software
011 * distributed under the License is distributed on an "AS IS" BASIS,
012 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,
013 * either express or implied. See the License for the specific language
014 * governing permissions and limitations under the License.
015 */
016package org.opengion.hayabusa.servlet;
017
018import org.opengion.fukurou.system.OgRuntimeException ;         // 6.4.2.0 (2016/01/29)
019import org.opengion.hayabusa.common.HybsSystem;
020import org.opengion.hayabusa.servlet.multipart.MultipartParser;
021import org.opengion.hayabusa.servlet.multipart.Part;
022import org.opengion.hayabusa.servlet.multipart.FilePart;
023import org.opengion.hayabusa.servlet.multipart.ParamPart;
024import org.opengion.fukurou.util.ZipArchive;                            // 6.0.0.0 (2014/04/11) zip 対応
025
026import org.opengion.fukurou.model.FileOperation;                        // 8.0.0.0 (2021/09/30)
027import org.opengion.hayabusa.io.HybsFileOperationFactory;       // 8.0.0.0 (2021/09/30)
028
029import java.io.File;
030import java.io.IOException;
031// import java.io.FileNotFoundException;                                        // 6.9.0.1 (2018/02/05)
032import java.util.Map;
033import java.util.concurrent.ConcurrentSkipListMap;                      // 6.4.3.1 (2016/02/12) refactoring
034
035import java.util.List;
036import java.util.ArrayList;
037import java.util.Set;
038import java.util.Random ;
039import java.util.concurrent.atomic.AtomicInteger;                       // 5.5.2.6 (2012/05/25) findbugs対応
040import jakarta.servlet.http.HttpServletRequest;
041
042/**
043 * ファイルをサーバーにアップロードする場合に使用されるマルチパート処理サーブレットです。
044 *
045 * 通常のファイルアップロード時の、form で使用する、enctype="multipart/form-data"
046 * を指定した場合の、他のリクエスト情報も、取り出すことが可能です。
047 *
048 * ファイルをアップロード後に、指定のファイル名に変更する機能があります。
049 * file 登録ダイアログで指定した name に、"_NEW" という名称を付けたリクエスト値を
050 * ファイルのアップロードと同時に送信することで、この名前にファイルを付け替えます。
051 * また、アップロード後のファイル名は、name 指定の名称で、取り出せます。
052 * クライアントから登録したオリジナルのファイル名は、name に、"_ORG" という名称
053 * で取り出すことが可能です。
054 *
055 * maxPostSize : 最大転送サイズ(Byte)を指定します。 0,またはマイナスで無制限です。
056 * useBackup   : ファイルアップロード時に、すでに同名のファイルが存在した場合に、
057 *               バックアップ処理(renameTo)するかどうか[true/false]を指定します(初期値:false)
058 *
059 * ファイルアップロード時に、アップロード先に、同名のファイルが存在した場合は、既存機能は、そのまま
060 * 置き換えていましたが、簡易バージョンアップ機能として、useBackup="true" を指定すると、既存のファイルを
061 * リネームして、バックアップファイルを作成します。
062 * バックアップファイルは、アップロードフォルダを基準として、_backup/ファイル名.拡張子_処理時刻のlong値.拡張子 になります。
063 * オリジナルのファイル名(拡張子付)を残したまま、"_処理時刻のlong値" を追加し、さらに、オリジナルの拡張子を追加します。
064 * バックアップファイルの形式は指定できません。
065 *
066 * 5.7.1.2 (2013/12/20) zip 対応
067 * filename 属性に、".zip" の拡張子のファイル名を指定した場合は、アップロードされた一連のファイルを
068 * ZIP圧縮します。これは、アップロード後の処理になります。
069 * ZIP圧縮のオリジナルファイルは、そのまま残ります。
070 * なお、ZIPファイルは、useBackup属性を true に設定しても、無関係に、上書きされます。
071 *
072 * 8.0.1.0 (2021/10/29) storageType → storage 、bucketName → bucket に変更
073 *   storage  (初期値:システムリソースのCLOUD_TARGET)
074 *   bucket   (初期値:システムリソースのCLOUD_BUCKET)
075 *
076 * @og.rev 5.10.9.0 (2019/03/01) oota クラウドストレージ対応を追加。(Fileクラスを拡張)
077 * @og.group その他機能
078 *
079 * @version  4.0
080 * @author       Kazuhiko Hasegawa
081 * @since    JDK5.0,
082 */
083public final class MultipartRequest {
084        private static AtomicInteger dumyNewFileCnt = new AtomicInteger(1);             // 5.5.2.6 (2012/05/25) findbugs対応
085
086        // 5.6.5.3 (2013/06/28) アップロード時のダミーファイル名をもう少しだけランダムにする。
087        // 6.3.9.0 (2015/11/06) Variables should start with a lowercase character(PMD)
088        private static final String RANDOM_KEY = new Random().nextInt( Integer.MAX_VALUE ) + "_" ;
089
090        /** 6.4.3.1 (2016/02/12) PMD refactoring. TreeMap → ConcurrentSkipListMap に置き換え。  */
091        private final Map<String,List<String>> paramMap = new ConcurrentSkipListMap<>();        // 6.4.3.1 (2016/02/12) ソートします。
092
093        // 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択(multiple)対応
094        private final List<UploadedFile> files                          = new ArrayList<>();                    // 5.7.1.1 (2013/12/13) HTML5対応
095
096        /**
097         * MultipartRequest オブジェクトを構築します。
098         *
099         * 引数として、ファイルアップロード時の保存フォルダ、最大サイズ、エンコード、
100         * 新しいファイル名などを指定できます。新しいファイル名は、アップロードされる
101         * ファイルが一つだけの場合に使用できます。複数のファイルを同時に変更したい
102         * 場合は、アップロードルールにのっとり、リクエストパラメータで指定してください。
103         *
104         * HTML5 では、ファイルアップロード時に、multiple 属性(inputタグのtype="file")を
105         * 付ける事で、ファイルを複数選択できます。
106         * その場合は、inputのname属性は、一つなので、_NEW による名前の書き換えはできません。
107         *
108         * @og.rev 3.8.1.3A (2006/01/30) 新ファイル名にオリジナルファイル名の拡張子をセットします
109         * @og.rev 4.0.0.0 (2007/11/28) メソッドの戻り値をチェックします。
110         * @og.rev 5.5.2.6 (2012/05/25) findbugs対応。staticフィールドへの書き込みに、AtomicInteger を利用します。
111         * @og.rev 5.6.5.3 (2013/06/28) useBackup引数追加
112         * @og.rev 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択(multiple)対応
113         * @og.rev 5.7.1.2 (2013/12/20) zip 対応
114         * @og.rev 5.7.4.3 (2014/03/28) zip 対応復活。inputFilename のリクエスト変数処理追加
115         * @og.rev 6.0.2.4 (2014/10/17) useBackup 修正。_PFX(接頭辞) , _SFX(接尾辞) 機能を追加。ファイル名にフォルダ指定可
116         * @og.rev 6.4.3.1 (2016/02/12) PMD refactoring. HashMap → ConcurrentHashMap に置き換え。
117         * @og.rev 5.9.25.0 (2017/10/06) クラウドストレージ利用処理追加
118         * @og.rev 6.9.0.1 (2018/02/05) ファイルをセーブするディレクトリは、必要な場合のみ、作成します。
119         * @og.rev 5.10.9.0 (2019/03/01) クラウドストレージ対応を追加。
120         * @og.rev 8.0.0.2 (2021/10/15) ローカルファイルとクラウドファイル間の移動
121         *
122         * @param       request HttpServletRequestオブジェクト
123         * @param       saveDirectory   ファイルアップロードがあった場合の保存フォルダ名
124         * @param       maxPostSize             ファイルアップロード時の最大ファイルサイズ(Byte)0,またはマイナスで無制限
125         * @param       encoding                ファイルのエンコード
126         * @param       inputFilename   アップロードされたファイルの新しい名前
127         * @param       useBackup               ファイルアップロード時に、バックアップ処理するかどうか[true/false/rename]を指定
128         * @param       fileURL                 クラウドストレージ用のURL
129         * @param       storage                 クラウドプラグイン名(ローカルファイルを強制する場合は、LOCAL を指定する)
130         * @param       bucket                  バケット名(ローカルファイルを強制する場合は、LOCAL を指定する)
131         * @throws IOException 入出力エラーが発生したとき
132         * @throws IllegalArgumentException セーブディレクトリ に関係するエラー
133         */
134        public MultipartRequest(final HttpServletRequest request,
135                                                        final String    saveDirectory,
136                                                        final int               maxPostSize,
137                                                        final String    encoding,
138                                                        final String    inputFilename,
139                                                        final String    useBackup,                                                              // 6.0.2.4 (2014/10/17) true/false/rename
140//                                                      final String    fileURL) throws IOException,IllegalArgumentException {          // (2017/10/06) 追加
141                                                        final String    fileURL,
142                                                        final String    storage,
143                                                        final String    bucket ) throws IOException,IllegalArgumentException {  // 5.10.9.0 (2019/03/01) ADD
144
145                if( request == null ) {
146                        throw new IllegalArgumentException("request cannot be null");
147                }
148
149//              // 6.9.0.1 (2018/02/05) ファイルをセーブするディレクトリは、必要な場合のみ、作成します。
150//              if( saveDirectory == null ) {
151//                      throw new IllegalArgumentException("saveDirectory cannot be null");
152//              }
153//              // 5.5.2.6 (2012/05/25) 0,またはマイナスで無制限
154//              // Save the dir
155//              final File dir = new File(saveDirectory);
156//
157//              // Check saveDirectory is truly a directory
158//              if( !dir.isDirectory() ) {
159//                      throw new IllegalArgumentException("Not a directory: " + saveDirectory);
160//              }
161//
162//              // Check saveDirectory is writable
163//              if( !dir.canWrite() ) {
164//                      throw new IllegalArgumentException("Not writable: " + saveDirectory);
165//              }
166
167                // Parse the incoming multipart, storing files in the dir provided,
168                // and populate the meta objects which describe what we found
169                final MultipartParser parser = new MultipartParser(request, maxPostSize);
170                if( encoding != null ) {
171                        parser.setEncoding(encoding);
172                }
173
174//              // 2017/10/06 ADD システムリソースにクラウドストレージ利用が登録されている場合は、クラウドストレージを利用する
175//              final String storage = HybsSystem.sys( "CLOUD_TARGET");
176//              final boolean useStorage = storage != null && storage.length() > 0 ;
177
178//              File dir  = null;
179                // Save the dir
180                // 5.10.9.0 (2019/03/01) クラウドストレージ対応 oota tmp
181                // File dir = new File(saveDirectory);
182                // 8.0.0.2 (2021/10/15) ローカルファイルとクラウドファイル間の移動
183//              final FileOperation dir = HybsFileOperationFactory.create(storageType, bucketName, saveDirectory);
184                final FileOperation dir = HybsFileOperationFactory.createDir(storage, bucket, saveDirectory);
185                // 5.10.9.0 (2019/03/01) if条件を追加。チェックはローカルストレージの場合のみ行います。 oota tmp
186//              if(dir.isLocal()) {
187//              if( !dir.isCloud() ) {
188//                      // セーブディレクトリ 作成
189//                      if( ! dir.exists() && ! dir.mkdirs() ) {
190//                              throw new IllegalArgumentException( "Not make directory: " + saveDirectory );
191//                      }
192//
193//                      // Check saveDirectory is truly a directory
194//                      if(!dir.isDirectory()) {
195//                              throw new IllegalArgumentException("Not a directory: " + saveDirectory);
196//                      }
197//
198//                      // Check saveDirectory is writable
199//                      if(!dir.canWrite()) {
200//                              throw new IllegalArgumentException("Not writable: " + saveDirectory);
201//                      }
202//              }
203
204                // 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択(multiple)対応
205                Part part;
206                while( (part = parser.readNextPart()) != null ) {
207                        final String name = part.getName();
208                        if( part.isParam() && part instanceof ParamPart ) {
209                                final ParamPart paramPart = (ParamPart)part;
210                                final String value = paramPart.getStringValue();
211                                // 6.4.3.1 (2016/02/12) ConcurrentMap 系は、key,val ともに not null 制限です。
212                                List<String> existingValues = paramMap.get(name);
213                                if( existingValues == null ) {
214                                        existingValues = new ArrayList<>();
215                                        paramMap.put(name, existingValues);
216                                }
217                                existingValues.add(value);
218                        }
219                        else if( part.isFile() && part instanceof FilePart ) {
220                                final FilePart filePart = (FilePart)part;
221                                final String orgName = filePart.getFilename();          // 5.7.1.1 (2013/12/13) 判りやすいように変数名変更
222                                if( orgName != null ) {
223                                        // 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択(multiple)対応
224                                        // 同一 name で、複数ファイルを扱う必要があります。
225                                        // 3.8.1.2 (2005/12/19) 仮ファイルでセーブする。
226                                        // 5.6.5.3 (2013/06/28) アップロード時のダミーファイル名をもう少しだけランダムにする。
227                                        final String uniqKey = RANDOM_KEY + dumyNewFileCnt.getAndIncrement() ;
228                                        filePart.setFilename( uniqKey );
229                                        // 標準のファイル書き込み 2017/10/06 DELETE クラウドストレージ利用判定を追加
230
231                                        // ファイル書き込み
232                                        // 5.10.9.0 (2019/03/01) クラウドストレージ対応。oota tmp
233//                                      filePart.writeTo(dir);
234                                        filePart.writeTo(dir, storage, bucket);
235
236//                                      if( useStorage ){
237//                                              // クラウドストレージにアップロード
238//                                              filePart.writeToCloud( storage, fileURL, request.getSession(true) );
239//                                      }else{
240//      //                                      if( dir == null ) { dir = makeDirs( saveDirectory ); }          // 6.9.0.1 (2018/02/05)
241//                                              // 標準のファイル書き込み
242//                                              filePart.writeTo(dir);
243//                                      }
244
245                                        // 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択(multiple)対応
246                                        files.add( new UploadedFile(
247                                                                                        uniqKey,                // 5.7.1.1 (2013/12/13) 順番変更
248                                                                                        dir.toString(),
249                                                                                        name,                   // 5.7.1.1 (2013/12/13) 項目追加
250                                                                                        orgName,
251                                                                                        filePart.getContentType()));
252                                }
253                        }
254                        else {
255                                final String errMsg = "Partオブジェクトが、ParamPartでもFilePartでもありません。"
256                                                        + " class=[" + part.getClass() + "]";
257                                throw new OgRuntimeException( errMsg );
258                        }
259                }
260
261                // 5.7.4.3 (2014/03/28) inputFilename は、リクエスト変数が使えるようにします。
262                final String filename = getReqParamFileName( inputFilename ) ;
263
264                // 3.5.6.5 (2004/08/09) 登録後にファイルをリネームします。
265                // 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択(multiple)対応
266                final int size = files.size();
267
268                // 5.7.1.2 (2013/12/20) zip 対応
269                // 5.9.25.0 (2017/10/06) FileをString型に変更
270                final String[] tgtFiles = new String[size];
271                final boolean isZip = filename != null && filename.endsWith( ".zip" ) ;
272
273                for( int i=0; i<size; i++ ) {
274                        final UploadedFile upFile = files.get(i);
275                        final String name = upFile.getName();           // 5.7.1.1 (2013/12/13)
276
277                        String newName = isZip ? null : filename ;
278                        String prefix = null ;                          // 6.0.2.4 (2014/10/17) _PFX(接頭辞) , _SFX(接尾辞) 機能を追加
279                        String sufix  = null ;                          // 6.0.2.4 (2014/10/17) _PFX(接頭辞) , _SFX(接尾辞) 機能を追加
280                        if( newName == null && name != null ) {
281                                final int adrs = name.lastIndexOf( HybsSystem.JOINT_STRING );   // カラム__行番号 の __ の位置
282                                // 6.0.2.4 (2014/10/17) _PFX(接頭辞) , _SFX(接尾辞) 機能を追加
283                                if( adrs < 0 ) {
284                                        newName = getParameter( name + "_NEW" );
285                                        prefix  = getParameter( name + "_PFX" );
286                                        sufix   = getParameter( name + "_SFX" );
287                                }
288                                else {
289                                        final String name1 = name.substring( 0,adrs );
290                                        final String name2 = name.substring( adrs );
291                                        newName = getParameter( name1 + "_NEW" + name2 );
292                                        prefix  = getParameter( name1 + "_PFX" + name2 );
293                                        sufix   = getParameter( name1 + "_SFX" + name2 );
294                                }
295                        }
296
297                        // 5.7.1.1 (2013/12/13) UploadedFile 内で処理するように変更
298                        // 5.9.25.0 (2017/10/06) MODIFY fileURLとsessionを追加
299                        // 5.10.9.0 (2019/03/01) クラウドストレージ対応。sessionは不要になったため除去。 ootat tmp
300//                      tgtFiles[i] = upFile.renameTo( newName,prefix,sufix,useBackup,fileURL,request.getSession(true) );
301                        tgtFiles[i] = upFile.renameTo( newName,prefix,sufix,useBackup,fileURL, storage, bucket);
302                }
303                // 5.7.1.2 (2013/12/20) zip 対応
304                // 6.0.0.0 (2014/04/11) 一旦保留にしていましたが、復活します。
305//              if( isZip && !useStorage ) {
306                if( isZip && !dir.isCloud() ) {
307                        final File zipFile = new File( saveDirectory,filename );
308                        // 5.9.25.0 (2017/10/06) tgtFiles が、String型に変更されたため
309                        final File[] files = new File[tgtFiles.length];
310                        for( int i=0; i<tgtFiles.length; i++ ) {
311                                files[i] = new File( tgtFiles[i] );
312                        }
313                        ZipArchive.compress( files,zipFile );
314                }
315        }
316
317        /**
318         * リクエストパラメータの名前配列を取得します。
319         *
320         * @return      リクエストパラメータの名前配列
321         * @og.rtnNotNull
322         */
323        public String[] getParameterNames() {
324                final Set<String> keyset = paramMap.keySet();
325                return keyset.toArray( new String[keyset.size()] );
326        }
327
328        /**
329         * ファイルアップロードされたファイル群のファイル配列を取得します。
330         *
331         * @og.rev 5.7.1.1 (2013/12/13) HTML5 ファイルアップロードの複数選択(multiple)対応
332         *
333         * @return      アップロードされたファイル群
334         * @og.rtnNotNull
335         */
336        public UploadedFile[] getUploadedFile() {
337                return files.toArray( new UploadedFile[files.size()] );
338        }
339
340        /**
341         * 指定の名前のリクエストパラメータの値を取得します。
342         *
343         * 複数存在する場合は、一番最後の値を返します。
344         *
345         * @param       name    リクエストパラメータ名
346         *
347         * @return      パラメータの値
348         */
349        public String getParameter( final String name ) {
350                final List<String> values = paramMap.get(name);
351
352                // 6.4.1.1 (2016/01/16) PMD refactoring. A method should have only one exit point, and that should be the last statement in the method
353                return values == null || values.isEmpty() ? null : values.get( values.size() - 1 );
354        }
355
356        /**
357         * 指定の名前のリクエストパラメータの値を配列型式で取得します。
358         *
359         * @og.rev 5.3.2.0 (2011/02/01) 新規作成
360         * @og.rev 6.3.9.1 (2015/11/27) null ではなく長さが0の配列を返すことを検討する(findbugs)。
361         *
362         * @param       name    リクエストパラメータ名
363         *
364         * @return      パラメータの値配列(存在しない場合は、長さ0の配列を返します)
365         * @og.rtnNotNull
366         */
367        public String[] getParameters( final String name ) {
368                final List<String> values = paramMap.get(name);
369                return values == null || values.isEmpty()
370                                        ? new String[0]
371                                        : values.toArray( new String[values.size()] );
372        }
373
374        /**
375         * 指定の名前のリクエストパラメータの値を配列(int)型式で取得します。
376         *
377         * @og.rev 5.3.2.0 (2011/02/01) 新規作成
378         * @og.rev 5.3.6.0 (2011/06/01) 配列値が""の場合にNumberFormatExceptionが発生するバグを修正
379         * @og.rev 6.3.9.1 (2015/11/27) null ではなく長さが0の配列を返すことを検討する(findbugs)。
380         *
381         * @param       name    リクエストパラメータ名
382         *
383         * @return      パラメータの値配列(存在しない場合は、長さ0の配列を返します)
384         * @og.rtnNotNull
385         */
386        public int[] getIntParameters( final String name ) {
387                final List<String> values = paramMap.get(name);
388
389                return values == null || values.isEmpty()
390                                        ? new int[0]
391                                        : values.stream()
392                                                        .filter( str -> str != null && !str.isEmpty() )         // 条件
393                                                        .mapToInt( Integer::parseInt )                                          // 変換 String → int
394                                                        .toArray();                                                                                     // int[] 配列
395        }
396
397        /**
398         * 指定の名前の ファイル名のリクエスト変数処理を行います。
399         *
400         * filename 属性のみ、{&#064;XXXX} のリクエスト変数が使えるようにします。
401         *
402         * @og.rev 5.7.4.3 (2014/03/28) 新規追加
403         *
404         * @param       fname   ファイル名
405         * @return      リクエスト変数を処理したファイル名
406         */
407        private String getReqParamFileName( final String fname ) {
408
409                String rtn = fname ;
410                if( fname != null ) {
411                        final StringBuilder filename = new StringBuilder( fname ) ;
412                        int st = filename.indexOf( "{@" );
413                        while( st >= 0 ) {
414                                final int ed = filename.indexOf( "}",st );
415                                if( ed < 0 ) {
416                                        final String errMsg = "{@XXXX} の対応関係が取れていません。"
417                                                                + " filename=[" + fname + "]";
418                                        throw new OgRuntimeException( errMsg );
419                                }
420                                final String key = filename.substring( st+2,ed );               // "}" は切り出し対象外にする。
421                                final String val = getParameter( key );
422                                filename.replace( st,ed+1,val );                                // "}" を含めて置換したいので、ed+1
423                                // 次の "{@" を探す。開始は置換文字数が不明なので、st から始める。
424                                st = filename.indexOf( "{@",st );
425                        }
426                        rtn = filename.toString();
427                }
428                return rtn ;
429        }
430
431//      /**
432//       * 指定のディレクトリが無ければ作成します。
433//       *
434//       * @og.rev 6.9.0.1 (2018/02/05) ファイルをセーブするディレクトリは、必要な場合のみ、作成します。
435//       * @og.rev 8.0.0.0 (2021/09/30) クラウド対応のため、
436//       *
437//       * @param       saveDir ディレクトリ名
438//       * @return      セーブ可能なディレクトリ
439//       * @throws      IllegalArgumentException        セーブディレクトリ に関係するエラー(無理から)
440//       */
441//      private File makeDirs( final String saveDir ) throws IllegalArgumentException {
442//              // セーブディレクトリの名前チェック
443//              if( saveDir == null ) {
444//                      throw new IllegalArgumentException( "saveDir cannot be null" );
445//              }
446//
447//              // セーブディレクトリのオブジェクト
448//              final File dir = new File( saveDir );
449//
450//              // セーブディレクトリ 作成
451//              if( ! dir.exists() && ! dir.mkdirs() ) {
452//                      throw new IllegalArgumentException( "Not make directory: " + saveDir );
453//              }
454//
455//              // ディレクトリでなければ、エラー
456//              if( !dir.isDirectory() ) {
457//                      throw new IllegalArgumentException( "Not a directory: " + saveDir );
458//              }
459//
460//              // 書込みできなければ、エラー
461//              if( !dir.canWrite() ) {
462//                      throw new IllegalArgumentException( "Not writable: " + saveDir );
463//              }
464//
465//              return dir;
466//      }
467}