SuikaWiki 4

[1] SuikaWiki4 は、 SuikaWiki の4つ目のメジャー・バージョンでした。

シェリング

/i/$id;terms → ちゃんと実装したので消した

文書の tfidf データ & 転置索引データを更新する

要・ID ロック (文書 XML キャッシュデータ作成のため)

要・ID ロック (文書 tfidf データ更新のため)

要・転置索引ロック

ちょっと遅い

/g/$nid

/g/id$id

要・ID ロック (グラフノード対応情報取得のため)

要・グラフロック (グラフノード追加のため)

/n/$names;search → 本実装完了

$names を含む文書を表示する

目標

各 Wiki page (ID ベース) に関連 Wiki page (ID ベース) のリンクを出す
各 Wiki page (名前ベース) に含む Wiki page (名前ベース) のリンクを出す

表示 (ID ベース)

Wiki page ID からノード ID を引く
ノード ID から隣接ノード ID を引く
隣接ノード ID から Wiki page ID を引く

表示 (名前ベース) → 実装済み

Wiki page 名から転置索引を開く
転置索引から Wiki page ID を得る

新規追加

Wiki page ID に対応するノード ID を決定する (要・グラフロック)
- 空きノードがあれば、その ID にする
- 空きノードがなければ、グラフにノードを追加し、そのうちの1つの ID にする
Wiki page 内容から文書 tfidf データを作成する (要・ID ロック) → 実装済み
tfidf 転置索引を更新する (要・転置索引ロック) → 実装済み

(最後の2ステップは少し遅い)

文書更新

Wiki page 内容から文書 tfidf データを更新する (要・ID ロック) → 実装済み
tfidf 転置索引を更新する (要・転置索引ロック) → 実装済み

(少し遅い)

シェリング更新

ある Wiki page ID について
Wiki page ID に対応するノード ID を決定する
- ノード ID がなければ停止する
ノードの満足値を決定する
- 2ノード間の満足・不満足判定を行い、満足率を求める
満足値が閾値を下回らない場合、停止する
ノード移動を行う (要・グラフロック、要・ID ロック)
- 隣接ノード幅優先探索、最大 20 ノードくらい?、見つからなければ停止する
- ID・ノード関連付け情報を更新する

満足判定学習

ある 2 Wiki page IDs について、
tfidf データを読み込み、学習を行い、
語重みベクトルを更新する (要・語重みロック)

tfidf データベース → 本実装済み

$db->id_tfidf isa SWE::DB::IDText

CVS: なし

キーは文書 ID、値は SWE::Data::FeatureVector を直列化した文字列。

転置索引データベース → 本実装済み

$db->name_inverted_index isa SWE::DB::HashedIndex