テキスト行の重複削除・並び替え
貼り付けたテキストを1行ずつ処理し、重複行の削除・空行の除去・前後の空白のトリム・並び替え(文字コード順/辞書順/数値順)をブラウザ内で即時に行います。
使い方
- 上の欄に、1行1項目になっているテキスト (URL のリスト、タグの一覧、CSV の1列など) を貼り付けます。
- 「前後の空白を削除する」「空行を除去する」「重複行を削除する」をチェックボックスで切り替え、必要な並び替え方法をプルダウンから選びます。
- 下の結果欄に処理後のテキストが即時に表示されます。結果欄はそのまま選択してコピーできます。入力・処理ともにブラウザ内のみで完結し、外部には送信されません。
計算の根拠
重複削除は、各行の文字列を先頭から順に調べ、Set で「すでに出現した文字列」を記録しながら、同じ文字列が再度現れた行だけを取り除く処理です。比較は文字列の完全一致 (大文字・小文字や全角・半角も区別) で行います。
並び替えのうち「文字コード順」は、各行を Unicode のコードポイント (絵文字などのサロゲートペアも1文字として数える単位) の配列に変換し、先頭から数値として比較する方式です。「辞書順」は ECMAScript 国際化 API 仕様 (ECMA-402) が定める Intl.Collator を使い、Unicode コンソーシアムの UTS #10: Unicode Collation Algorithm に基づく「言語ごとの自然な並び順」(日本語ロケールでは、かな・カナ・漢字の読みに近い順序を含む) で比較します。単純なコード順では「あ」「ア」「ア」のような表記の違いが期待通りに並ばないことがありますが、辞書順ではこれらが近い位置に並びます。「数値として比較」は Intl.Collator の numeric: true オプションを使い、“item2” の次に “item10” が来るように、行頭の数字部分を文字列ではなく数値として比較します (単純な文字コード順では “item10” が “item2” より先に来てしまいます)。空行の除去・前後の空白のトリムは、JavaScript の String.prototype.trim() が除去対象とする Unicode の空白文字 (スペース・タブなど) の定義に従います。
よくある用途
| 場面 | 使い方の例 |
|---|---|
| CSV や設定ファイルの重複行チェック | 重複削除をオンにして、取り除かれた行数 (元の行数との差) を確認する |
| URL やタグの一覧整理 | 空行除去 + 辞書順ソートで見やすく並べ替える |
| ファイル名の連番順ソート | 「数値として比較」を選び、“file2.txt” の次に “file10.txt” が来るようにする |
| 複数人から集めたリストの統合 | 貼り付けて結合し、重複削除 + 辞書順で1つのリストにまとめる |
処理内容を変えると結果欄がその場で更新されるため、設定を変えながら見た目で確認できます。