はてだBlog(仮称)

私的なブログど真ん中のつもりでしたが、気づけばWebサイト系のアプリケーション開発周りで感じたこと寄りの自分メモなどをつれづれ述べています。2020年6月現在、Elasticsearch、pandas、CMSなどに関する話題が多めです。...ですが、だんだんとより私的なプログラムのスニペット置き場になりつつあります。ブログで述べている内容は所属組織で販売している製品などに関するものではなく、また所属する組織の見解を代表するものではありません。

2018-12-01から1ヶ月間の記事一覧

2018年のマイブックマークリストの棚卸し

2018年にマイWebブラウザでブックマークしたページ(かつブックマークした際に有効そうだと思って、時間がたっても依然として有効だとおもいつつ、一方で、まだしっかり読み込めていないもの*1のおさらいです。 分野は雑食ですが、やや実用テック系多め。 ま…

Elasticsearchを少々気の利いたgrepとして使ってみる冬休みの実験

はじめに 具体的にどうという話ではないのですが、一部の界隈では、貧弱な環境でgrepコマンドのみで様々なテキスト調査、下手をすれば人間をAIに見立てたNLPを実施しなければならんということが無いでしょうか。 貧弱な環境の解決にはなりませんが、もし近く…

Term Vectors、Multi termvectorsでドキュメント中の単語出現回数を確認(Elasticsearch)

Elasticsearchには、本分である検索もさることながらドキュメント(テキスト)に関する調査も可能です。 調査も...というか、Elasticsearchのような検索エンジンはテキストマイニングの情報技術の結集かと思いますので、テキストマイニングで出てくるような話…

kuromojiプラグインのkuromoji_part_of_speechのspeechの一覧

私はどちらかといえば、Elasticsearchのkuromojiプラグインのkuromoji_part_of_speech についてはデフォルトのままで(つまり、stoptagsの設定は特に行わない)で良いのではないかと考えている派です。 が、当然ですが、案件ややりたいことによる訳で、なに…

びじフレ

MBA的な世界で出てくる様々なビジネスフレームワークですが、どうもすっきりしません。 私が成功した経営者や経営者でなくともMBAを修めた立場でであれば良いのですが、残念ながらそうではないので小声で言うと、多分本来の経営においてはさほど役に立たなそ…

続:ナレッジインデックスの有効性のゆるい確認、 続:検索練習用のサンプルデータのインポート(ElasticsearchのSignificant text )

はじめに この記事は、 itdepends.hateblo.jp のおおよその続編。 また、 itdepends.hateblo.jp itdepends.hateblo.jp の親戚記事です。 一言で言うと、「ナレッジインデックス(仮称)」というものを考えて、こいつの有効性を(実証は難しいものの)いくつ…

別立てのナレッジインデックス(検索UX向上のためのオレオレ考察 (Elasticsearch))

はじめに 弱者のエンジニアリング、細腕エンジニアとして、検索サイトのUX向上に向けて、せっかくある記事ページをナレッジインデックスとして検索に活かそうという論を主張します。 (Elasticsearchカテゴリとしたのは、Elasticsearchの機能にインスパイアさ…

会計・経理、財務諸表の勉強メモ(原価を内容別に分類するという考え方)

最近学んだこと(原価を内容別に分類するという考え方がある) なにやら今更なんだけど、会計や経理の話はどうもしっくりこないところがしばしばある。 例えば↓のような記事。 globis.jp 結局どっちやねんという話。 知識不足・勉強不足の自分の主観なので、…

矛盾を表すコトバ

この人、何言ってやがるという時に感じる違和感の大半は、その人の発言とその人の行動のある種の矛盾からくるものが多いような気がする。 他人のとるにたらないミスを責める人は、むしろ大きな、周りにも迷惑のかかるミスをする。 別に相手の矛盾をついて、…

Analyze設定のマイフェイバリット(Elasticsearch)

◯◯たるもの、嗜みの一つとして、Elasticsearchの日本語関連のAnalyze設定のフェイバリットのひとつ、ふたつはお持ちかと思います。 検索要件次第のところもありますが、そこがはっきりしない場合など、自分の脳内基本設定の軸があることで、それとの比較でト…

Google Analyticsのサイト内検索(そもそものGoogle Analyticsの機能全体俯瞰メモ)

このブログでは検索サイトをテーマにしたりその延長線上でElasticsearchのオレオレ記事を書いていることが多いのですが、ここではのちのちElasticsearch関連で書きたい自説の前段として、Google Analyticsについてメモをまとめたのでそれを貼り付けてみます…

トラブルシュート時などの現状ざっくり把握のためのAPI一覧まとめ (Elasticsearch)

検索アプリエンジニアの立ち位置視点で、Elasticsearchのモニタリング全般やテーブル構造(テーブルではありませんが...、たとえ話として)、インデックスに抱えているデータをマシンルームのような制限がある場所で(※そのような状況が良いかは別に置いてお…

Text datatypeとKeyword datatypeの公式Rでの設定項目を一覧比較して理解を深める(Elasticsearch)

はじめに Elasticsearchのデータタイプのうち文字列系のtextとkeywordについて、それぞれを選択した場合の詳細Mapping設定での設定可能プロパティを表にして、これらの違いから、textとkeywordのデータタイプ自体の理解を深めることにしました。 文字列系デ…

検索練習用のサンプルデータのインポート@Elasticsearch:住所マスタを使おう

はじめに Elasticsearchの検索やヒットの仕方をいろいろためしてみたいという時に、そもそものデータをどう用意するかというところは地味ながら悩ましいです。 というのも、bulk APIはあるものの、Elasticsearchは良くも悪くもJSONの世界観ですし、試したり…

ドキュメンテーションのコツのラスト1マイル

はじめに ドキュメンテーションやドキュメントを元にした合意形成や他者への動機付けのアプローチについてご高説をたれてみます。 最近はドキュメンテーションのテクニックや手法は数多く有効な方法が提唱されていると思いますが、あともう一声言ってほしい…

検索サイトのUX検討の道しるべ(考えてみた): Elasticsearchの活用視点

はじめにのはじめに この記事では、検索サイトをインスタントに検討するときに、こんな形でサバきかたをしたらほどよく効率的・効果的なのではないかというところの自説をつらづらと書き綴ってみました。 (前置きが長いです。) はじめに: Elasticsearchの…

Full text queries と Term level queries一覧見比べ(Elasticsearch)

Elasticsearchのmatch系のクエリとterm系のクエリを、一覧にして比較してみました。 一覧にすることで、似たようなクエリで、あれ? これどっちだったけというところで振り返りやすくなると思いました。 検索フィールド指定と検索語で、それぞれ単複どう指定…

Processor@IngestNodeについての一覧(Elasticsearch)

はじめに ElasticsearchのIngestNodeでのProcessorについて、現在のバージョン6.xで提供されている各編集機能を一覧にして逆引きしやすいようにしてみました。 寄り道の補足1 IngestNodeはインフラや非機能要件的にはポイントとなるお話があるとは思いますが…

Suggestersのシンタックス雰囲気まとめ (Elasticsearch)

はじめに Elasticsearchには、Suggestersといういわゆる検索BOXのオートコンプリート等に使える問い合わせのAPIがあるようです。 先人が様々なカタチで利用方法やTIPS等をまとめていただいています。 ただし、Suggerstersに限らないものの、製品がどんどん発…