Showing posts with label editor. Show all posts
Showing posts with label editor. Show all posts

Wednesday, 6 August 2014

Kanji duplicate reduction script


漢字 · かんじ

Aule Kanji Pages · Kanji Recog Pages

At 975 characters left in the file (fewer than 40 rows of 25), it is time to consider removing those kanji that are neither frequent in use nor rated 'general use'. But that requires a software script ... or an app ! 

弥哀徳尊庶霊沼鳥飛歴魚沼満跳故恭遊后蔬菜培実質允恭
傍櫻華段階妥推弥呉橋斉斉済帰畔弥呉橋根欄橋蘇我馬嶋
珍評判録坦掘済崇否争崇蘇我飛鳥蘇我済推創浮鳥舞軸線
溶鳥隠背岳雄御身得示能測澤隆伊賀掘遺跡城之越遺跡遺
跡指保護遺跡属箇涌落涌状護岬屈添改武悲舎残荒橘掘受
継録浜荒幹瀬頃追憶努展先駆示飛鳥城跡掘得知昭掘査城
条坊坪最幅細屈底玉掘催汀線複雑湾底玉縁奈濃緑紫層属
盆縁層質冷院朱雀院淳院残富湧貯巧往姿郊離別荘頃嵯峨
覚嵯峨離遺貴遺曽跡貴寝普遍寝寝遣院塩釜松浮条院丹橋
線奈受継莫催情緒換活絵絵漢詩仮院毛越極拝架橋渡御曼
越詳橘俊綱残割遣秘得張貫乞求求克遣展先駆示情緒遣筋
身父院藤頼藤頼専武打頼鎌倉受継永福頼尊毛越無院精舎
荘激死弟藤泰衡将鎮魂鎌倉育委員階阿弥陀薬伽藍遺認眼
掘査継続約掘果伽藍徐鎌倉卿資領荘得第巨富富御臨釣松
訪藤瑠璃澄比類激増鏡眺望巧将軍足満荘譲受拡荘第層楼
閣舎閣閣望楼閣俯瞰視橋閣往能竜瀑鏡湖丸極難足劣満洞
御迎幸仰満死鹿閣際破壊放職鳳章承鎌倉僧隆盛宋墨詩院
院院狭凝院院余刈段橋架堰横橋浮照夢窓疎輩夢窓疎愛芳
傑測知里似夢窓疎遊苦録残他芸匹最峰夢窓疎芳龍瑞鎌倉
帰僧蘭渓隆徳院龍養院座視智院堺衆湯飲器客湯寄屋湯客
玄別専細座向機能趣待庵府訓郡官休庵将軍城屋際遊廻遊
盛屋遊遊照兼栗香松趣熊熊屋随壊状圭郎職務余暇録資収
退職究励収資余単究伊勢栗催展身故郷桑松信九華究漢詣
漢詩晩詩激争展身横芸阿弥藤紹衷渋栄庸菱親睦網別慶雲
縣朋無鄰庵琵琶湖疏芝碧雲荘坂浜慶雲甥城亘郎各受継扇
湖荘郎座掲匠視展掲眺望視線類趣強飾郎津蘆荘継昭頃寅
郎推雑継急速雑全強類求運搬容易照項雑保鉄狭浮活改善
運動視覚評機能視視打活改善盟綱領項協協究宇精執筆保
也奇屋紹究全測昭院院批判打兼雪準慮指摘兼偕茨城別照
毛越磐郡院磐郡駒根乗谷倉福福芳苔府龍府恵指梨甲妙退
蔵院府龍曹府徳院府鹿閣府徳龍院府慈照銀閣府圓徳院府
府乗院奈奈養院庫粉竹知知院粉福芳徳龍院玉養浩福福福
福敦賀青滋賀軒蘭滋賀浜玄滋賀彦根滋賀津桂離府院離府
醍醐宝院府願院府条城丸御府府院府徳府詩府府松府幡根
城丸紅渓養翠音院鳥鳥徳城徳城御閣徳徳松玄栗条城城丸
紅渓音院渉慶雲滋賀浜無鄰庵府府府碧雲荘府慶阪府阪荘
府依奈奈裏妙庫登録念最登録件温荘潮遊個最無鄰菴慶温
荘昭福府松尾松府城府根阪府堺堺根足根根専誌念照欧鼓
橋篭奔放制職招制幕府薩摩動伊郎雇革真真視覚販売際第

The duplicate kanji are VERY visible now. 

is one example in the row

紅渓音院渉慶雲滋賀浜無鄰庵府府府碧雲荘府慶阪府阪荘

In the almost 40 rows above it, occurs 33 times. Run through the lines again. Do you start to see them ? Try separating the lines with a blank line. Try shortening the lines.

You could first remove all '\n' linefeeds, and then use a regexp such as

FIND  expression :   (..........)
REPLACE expr:     \1\n

which in Notepad++ will give almost 100 rows of 10 characters for the file above. It says "for every 10 characters, return that selection followed by a linefeed."

The one ( 1 ) in the case above refers to the first expression in parentheses.  If we'd had a second, it would have been \2.

What features make complex kanji appear to be the same ? Are some easily confused if not next to each other ?

Funny, but when I read 鳥鳥 side-by-side I just KNOW that is not horse ! But seen alone, I can be unsure ... horse or bird ? Crow ?




Tuesday, 5 August 2014

example KanjiRecog kanji page reduction


漢字 · かんじ

Aule Kanji Pages · Kanji Recog Pages

Here in this example I have removed
えがげしすそたちてでとなにのはひびみりるれをクデネビベ
ポミムリロン三与世中主久乱井京人他仙代以仲会伝位体作侍
価係俳個健偶像優元兄入共典内出初前功労勇動勲化匠区協原
去及受口号名呼和品員問喜回国在地城士外多大天女妥子字学
安家容小川巨巳市師年府弁影彼後従得徹心志念想成所撮敏教
数敷文新方族旗日明映昭書月期末本村東栄棒業権次歳歴死民
没沢治注津活海満溝演瀬父版献獄現生用田男町画界的監目県
督矢知研示社祭秋科称究立章籍米経結絶羅者職育能脚自船芸
著藤術表製記設許評詞誉誌谷貞賞赤身軍連進達郎郡部都配金
長門間関降陽際雄雑響項須題風館騎黒丙也仇佛侑傳凱卜喬嗜
嘉四國圭堯實寶屍崑嶺幡弘彦惠戚晋曰曾枷桂條椿楠榎樋櫃欣
汰浩淀淳潰澤獅玲瑞璧甥眞砦秦筑粂粵繋續聰肇舘芥茅茉荏莉
菅萩萬薩藝蛛蜘蝦蟇裳訊訣軋轟轢辿醉頁頓駿鰤黎龍

from the text of our Page 2, which leaves us with :

親い分ま幼少時引越語正森園附属幼稚園園こ頃好親見行翌正
同園尋常校正か石西江戸水道丁移尋常校第五校転卒第校戸山
高等校験失敗華校同舟舎洋通う幼少実伊豆湯ヶ島落合楼愛校
時恩精か強い薫陶けま終友植草之助校同級っ時ア読ふ観倫理
観形け卒美校・美験失敗か道諦めず端校通っ洋勉強丹下緒だ
資料も二展静物選同造形美ア美美美同盟参加洋岡唐貴白土平
実絵当時サ美絵彫刻酔同第ア美展覧建築場於け集帝義反対農
習農組合へ働組合政色強徴兵検査け有力兵時負傷免除頃か時
だけ非合法政参加街頭絡下潜見切つけ聞広告見宝合併助募集
応募倍難突破千吉推推山下助務め十恋や馬ど担当寺磨寺論話
伊丹万も賛頃雪静情報局募集情報局策募集森信義薦推薦敵横
断百里予定実助時猪第戦姿終戦挟ん義啓蒙青春悔焼跡素晴曜
批判ど使派佳発宝看板ま山審査委務め宝お撃来落選だぼ山直
訴採銀果既執筆ど使常宝争議混山宝退翌静か決闘宝ス野良犬
発不信描描難解高反ツア感覚続スキ白痴発傑声高上院特別上
規模費型時劇七発ア銀高爆恐怖描も録戦時舞台翻案巣ゴキ同
戯曲江戸時舞台ん底娯楽時劇隠悪高第招巣上隠悪発意向うよ
隠悪幅予定オ予算超過煮や宝側負担せも収益分宝側有利契約
時劇傑派傑続け発声確定せ枠嫌完全義底せ約要幅予算超過宝
悪宝専属契約解除暴走機車準備ピ決決定意側納制針巡メ側側
深刻対挫希望望側白提提こ企執筆案合トラ参加紀側アメ公式
発側分担当プ側公式発およ報道総か法メカ法ま合か事分サ行
上臨む通例側事意味理解ず拒否ふか来反感持つ太摩擦発突場
崩壊理由ル幅遅延遅延無視側よ事実上解任向康理由板う発木
下介林正樹翌山周五季節街フラ邸宅抵当資確保商失敗殺未遂
事件起こ産衰退時重ラソ邦招ラルア側接触招膳少フ渡ウソ官
僚制思うタイ困難極め完ま異極め静分モスワア語ソ側待分応
復印象政顕彰プサ武発ヌフラス合公開ワナ提供夢取掛平公開
上資参加よ物第アカ席ノ衣ザイワワ務平アル役最高何答少送
ま紹介鎌倉養院墓八狂詩曲まだだよ続予定雨執筆旅転倒骨折
療養平午時分脳卒よま同友論追形叙同翌平週刊タア今紀最も
力アジア選ば平遺稿雨泉史平創完義もば厳セット完メラ写道
具道具込む技ご然見ハ周到重ね当当時ハサル重視ハ行役待機
せ意図沿候何も待続け使馬レタルせず何頭丸ご買取調直使ケ
場二階分妨為住お願時だけ二階分取終了も戻ど逸話複カメラ
同時カ手法頻繁取め役ス緊張感高迫力七お手法めま望遠レ使
独特行も超望遠レ絞極限絞強照電力不足仕事も強照当続けせ
役カツラ燃フ基企抵同執筆分描も分言葉語線譲同執筆理由僕
変面上語同執筆英菊島隆橋忍板手雅植草之助音楽曲任せ曲分
欲イメジ確強厳曲常酔ど使音楽担当早坂私も無親友七テ曲も
早坂黄音楽曲も録音楽最早坂愛弟だ佐勝ま音楽担当武もどん
担当衝突別晩池辺担当ほタフ貫宝も含め組固定タフ朝斎孝上
正美松山崇木録音野支ど使ま計起頻繁使基役惚む事無事も手
放時無無無無もべタタ幸福支君特別才持んだ語だ巣ライマじ
鷲武時兵裏切全浴せハズ最遂物射け命けタトも激怒巣ピソド
参照もば続け同時もフ広存最使め様取沙処姿武ま姿素晴曜ど
ん底どん除べも欠せど使も録ま級脇役躍特ワマ扱癌侵役課役
熱七じ菊千対勘兵衛じ姿番美除青春悔ま宝退めへ露隠悪復帰
最窮遭公助け敵じ悪奴ほど眠端役じ七トラぐ番手役ど勝太板
事件勝武要役森雅之河香山崎努寺尾山五鈴ど挙脇役釜足千実
高堂清水将夫土屋加武好清水渡辺篤千石規左全野英ど常史疑
余骨太巧鋭感覚助務めも野芳太レル超賛お手んラ分娯楽性性
重視対否定見解へ計直接模倣枚挙暇無ルタウズ登場ャラタ隠
悪着述べ希望ト隠悪酷似グ未遭遇お砂嵐プ場面巣レイダ失ア
聖公姿顔見せ冒頭ドラトパトラプライトライアオマハチ戦闘
模言フラフドコラゴ婚式場面悪奴ほど眠手法模言七荒野七タ
ど翻案イタア荒野セルオレオ盗発展ケマテコセ座通続鑑ま実
フル手ト構尽技例意ば姿手法ア望遠レズ技法同様ま雨や水然
描写巧感嘆せ美トテ深感雨質感め墨汁混ぜ水放水車せ当時技
タブ破太向メラ向せ森走移グめメラ周円描走視覚効果め様工
夫凝ドオブザグ塔ピタャソ合戦七雨弓引勘兵衛トまま引ラ雨
馬や使ど引ト渡尊敬メほど七役格ア投分点語北野武物ま北野
フ公言対談宮崎対枚挙暇例冒頭巣類似どま時水泳剣道打込晩
ア務頭ほど助時馬高峰秀時恋愛山破談役不実終見分執筆ラト
嵐広セ必要ゆコト面折合ず実熊啓全編構ま珍最恋愛ドマ説ま
戦争平ルト考証セボダ手掛手ボ当凡酷封印ヤ嫌おど使どザ否
定私グルメ珍肉料理対談北野武旺盛食欲感嘆述べ北野食事バ
ラ語交友通じ言葉理解肉野菜どバラ良取牛肉豚肉鶏肉どまざ
ま種類肉食べ言趣旨苦笑肉料理好行務め熊雅寒ど脂料理好山
手どルツ思ま述べ妻娘腕掛手料理振舞食費余高税務署疑冗談
来事トラブル続機嫌悪好物料理機嫌直ほどま酒煙草特好物当
時ま珍トホ愛飲来対談折飲行誘どフ断合図む無断理由聞酒量
減ドトプ掛是非行残述懐酒飲千実打上逃へ行ま宝ば幹事如仕
切せ七時ケ終了時広メフ車座食事実態独飲めば飲むほ話ず時
ぐま話延続緒ご飯食べ番楽ね話ね僕ゃ言宴場創児玉清若手時
底じめ抜厳指導児玉殴思局殴ずま番終児玉腰砕佐乗車同理由
説佐深猪良説ず済山洋宅訪物語鑑話含め宅鑑お話聞聞蓮重尾
付語晩ば繰返見事実林プ松竹転話同プ勤来客上お願頭紳ぶ木
悠巣木聞面白乗気話ば聞宝木気ゴ意番組欠決松六劇場修宅訪
座込弟迫局ず追返時験松俺必ず有有決語言葉通逝半松松当時
邸通軒先劇場宇宙起上時分技落込時慰め語坊背負母親役雨時
濡可哀気遣時同ホ側緒食事申対付添娘嫌言窓飛逃思思質面白
ねね観意味ね何勝手思切思思ね提百最賛ば罵倒最級罵葉収拾
高倉晩良ね僕常別気力抜力落怖対高倉鉄修理ね役直居酒屋兆
準備め直談判説断難高倉然通良悔午導時浅草松竹系組委挫折
伊豆愛妻婚引退取締役妻林寛離婚孫孫夫松岡充孫萌歌手ザ夫
加晴之加介息離婚裕之雅縁孫加隆之山木介毎ル素晴曜武ブ特
別朝牧野省第ル福岡創特別高松宮殿ド劇第ドル特別銀熊隠悪
伊語武批語武ワ周特別彰英武批武全批諸友好批語英総合全創
周過プ最高上院特別七銀英総合隠悪銀熊批盟事務局同盟働組
合盟批語武ザ語全批批ゼ批批英語全公開制給上時ほ姿宝河夕
起花蘭形之分白ダ番美宝江清荘司峰分白ダ姿宝夕起河野武形
之河清荘司宮精森雅之分白ダ虎尾踏む宝河杉義仁周芳岩半分
白ダ青春悔宝板節杉春河河野武好百合分白ダ素晴曜宝植草之
助沼崎北千枝渡辺篤分白ダ使宝植草之助山礼木暮実千我美北
千枝千石規英太笠置飯蝶木美分白ダ静決闘千吉美紀千石規北
千枝分白ダ野良犬宝菊島隆木山礼淡路恵河吉飯蝶伊豆千石規
好千実分白ダ醜聞松竹菊島隆山淑木洋北林千実守岡左全分白
ダ橋忍森雅之千実上吉加分白白痴松竹板節森雅之我美千実岸
山千千石規左全分分白ダ宝橋忍英守千実切春伸信浦辺釜足左
全宮精渡辺篤伊之助阿九州俊幸丹阿弥南美江白白七宝橋忍英
木稲葉義加千実宮精釜足島恵土屋左全高堂野英島崎雪山形ダ
録宝橋忍英青山郷晴実野英石規清水将夫根岸美好左全佐豊ダ
巣宝英橋忍菊島隆山五鈴保実太刀洋浪花佐木孝丸高堂稲葉義
ダ底宝英山五鈴香実上吉釜足野英渡辺篤左全清虹根根岸美ダ
隠悪宝菊島隆英橋忍実釜足上美佐好木悠土屋春上吉悪奴ほ眠
宝英板菊島隆橋忍森雅之香橋西晃加武釜足笠智衆宮精茶花伸
賀夏宮プ宝菊島隆司葉加茶花河清五鈴野英釜足夏宝菊島隆英
林樹加団令釜足清水将夫伊之助江平邦衛保宝英菊島隆板香橋
石加武崎努実佐豊伊之助伸崎潤古屋宝手雅英菊島隆加崎努団
令香桑野ゆ頭聞佳聞孝土屋笠智衆絹洋杉春見岸根岸美宝英橋
忍頭佳孝波伸伴比呂奈良岡朋加夫渡辺篤釜足比佐邦衛松昇瓶
正江高島児園佳根岸美塩武宝手雅崎努隆根甚滝秀油昌由樹桃
お倍美室阿英手雅寺尾隆根甚美枝宮崎美野斎比佐油昌由樹崎
潤加武植等南夢寺尾倍美美枝比佐伊崎充則笠智衆頭佳孝根岸
季衣姿晴香狂詩曲幸吉岡秀隆智島美鈴美恵伊崎充則比佐根岸
季衣電通松香比佐油昌由樹寺尾林亜星板英岡信上公開改正法
施行法規定公開根拠保護終誤解諾激発売対継承宝角存続発売
相手取発売差止め庫廃棄求め訴裁起裁告勝訴判決松竹裁告勝
訴判決発売控訴告最高裁告勝訴判決存続確定物法旧法時物参
照恋開任綴室開宝任馬開宝任翼歌開夫俵開丸根賛太晴太助開
佐伯清宝恋物語第話恋開豊銀果開吉肖開鉄開吉暁脱走開吉宝
殺陣段平開雅給色愛憎開吉宝獣宿開根辰夫荒又右衛決闘鍵屋
辻開森戦無頼開稲垣境戦消隊開物語開堀通露戦争勝利秘史敵
横断百里開森戦群盗開杉江潤色荒野七殺陣段平開穂春暴行荒
野鉄深清宝野良犬森崎暴走機車案飛夢真嗣劇場未夢雨泉史宝
平熊啓放送旋敬案放送森芳光宝隠悪真嗣宝服良曲笠置唄七早
坂曲淑唄構制時劇機塗装ザ全種航空通常塗装退役油岩波店岩
波同時岩波庫復刊全集全巻岩波店復刊最終巻刊語聞手福武店
福武庫集徳店絵集等刊行夢岩波店集英武講談宮崎対談何七め
述春編夢才春ダ修全集遺絵創潮系全巻別巻講談浜野保樹編別
巻刊行絵角庫解説横尾忠則七創春巻組基編五音順蘭聞潮編語
朝春春庫食卓庫林信時春春庫佐忠朝庫佐忠解岩波同時岩波庫
塩幸登編解説組憶創造録花全巻集草謎春春庫屋素晴潮潮庫築
政全全涯築政七朝朝庫朝論全刊行先参照崎努ほ五語横顔西集
西音房増補西早坂摩房西封印潮野照気待春春庫増補度気待草
橋忍複眼私春春庫尚摩房古幸劇堀通毎聞庫夢別冊追悼特集河
房増補夢誕総特集編夢同通信語河房遺旬報編集編集巻旬報西
旬求め旬報旬才苦悩創造旬報旬報旬報編旬報増刊顔旬報証冊
組限定復刻系巻旬報旬報集半再録植草之助青春春春庫宮訳旬
報養庫増補第島光景潮少時暮尾形朗少性春春編異説春庫彰英
写真集刊企王集英佐賀伊万里福島建計仮施伊万里街商施振興
財団寄付募建築予定度伊万建購含め億万総額約億建資寄付集
め同財団佐賀提度決算報告残判純資産無伊議議於同財団理事
息資半仮施運営使果陳謝同財団側額資集め造実商店街既意向
建事実断決め伊側閉ダ力直筆写真計点資料校法理事堀通築正
涯築正涯草柳蔵実条件春築正涯制場総役該当単語紀史最戦例
複存場合統括行史最戦同報道認識意図事実異情報果草春般事
件精神打撃殺未遂付語側近野照興行失敗板む様否定証築正涯
涯島光景潮産聞夢才春屋素晴潮庫香当怖迫力高倉時事閲覧絵
絵廉販売差止め確定読売聞右解半集解佐油堀通橋忍複眼草野
照気待推薦毎聞曜読今週棚冊付振興財団概振興財団建計財団
寄付億不載度決算毎毎聞寄付使果財発理事陳謝発読売聞断財
団側佐賀伊答朝聞閉運営財寄付使果朝聞引句集覧同様発第忠
夢希望物農衣装貸冠校振興財団英語誕特別対談正浜野保樹授
英語英語話編話編話編毎話編銀熊拠管理高松宮殿福岡宝物物
案閲覧編集履最近来事最近更せ練習戸端せ報告寄付合せ更状
況特別印刷固定情報引語語編集最終更時定未定継承利可追加
条件適場合詳細利規約参照免責事集解

You might want to take this text and remove ALL of the katakana and a few more kanji.
CTRL-H will do this in Notepad++ for Windows if you place the characters within square brackets and select Regular Expression at the bottom of that Text REPLACE dialog. I also have an MIT Curl script ( MIT Curl, not cURL ) but a script in Rebol or Red would be as useful.