Webクライアント側の例外処理のテストやそもそも挙動確認等で、サーバ側に多少奇妙な挙動、例えばHTTPヘッダーのある1項目を規定外のものにする、といったことをさせたいことはありませんか。 ただし、残りの99%部分は普通に動いて（いるようにみせかけて）…

はじめに PandasのEDAに便利な部分を、データチェックに見立てて利用すると、目的外使用かもしれないけど、便利かも？ という視点でのPandasのイディオムの寄せ集めです。 （よって、そう思って見なければ、Pandasの中途半端な入門例未満の断片集だったりし…

はじめに Elasticsearch(6.4)、PythonおよびPandas関連のやってみた系の記事です。あと、ElasticsearchのPythonクライアントを使ってみたという内容も含んでいます。ElasticsearchのANALYZERの話もあまり詳しくは解説していませんが、うっすらそれとなく含ま…

はじめに 行政が公開している「街区レベル位置参照情報」というデータを使って、↓こんな感じで、ある市区町村を囲むような4角形の矩形をあぶりだせないか試してみました。 ... という体裁をとった、PandasとLeafletのサンプルプログラムを動かしてみた・やっ…

はじめに Elasticsearchには、JavaScript版の公式クライアントライブラリがあるのですが、ブラウザでも動作するようなので、それで主に検索中心に少し遊んでみました。 といっても、ここ↓にある例のまんまです。 www.elastic.co ただし、さすがに上記のもの…

はじめに 具体的にどうという話ではないのですが、一部の界隈では、貧弱な環境でgrepコマンドのみで様々なテキスト調査、下手をすれば人間をAIに見立てたNLPを実施しなければならんということが無いでしょうか。 貧弱な環境の解決にはなりませんが、もし近く…

Elasticsearchには、本分である検索もさることながらドキュメント(テキスト)に関する調査も可能です。 調査も...というか、Elasticsearchのような検索エンジンはテキストマイニングの情報技術の結集かと思いますので、テキストマイニングで出てくるような話…

検索アプリエンジニアの立ち位置視点で、Elasticsearchのモニタリング全般やテーブル構造(テーブルではありませんが...、たとえ話として）、インデックスに抱えているデータをマシンルームのような制限がある場所で（※そのような状況が良いかは別に置いてお…

はじめに Elasticsearchの検索やヒットの仕方をいろいろためしてみたいという時に、そもそものデータをどう用意するかというところは地味ながら悩ましいです。 というのも、bulk APIはあるものの、Elasticsearchは良くも悪くもJSONの世界観ですし、試したり…

はじめに CMSを変更したり、おおよそ保持するテキストは変えないもののデザイン（htmlマーキングを含む意味）を変更した際に、現行の内容を移行漏れしていないことをざっくりテストしたいということはないだろうか。 この手のざっくり移行テストをするという…

ストレスツールといえば、ab、jmeter、gatlingなどといろいろあるようだが、例えば既存サイトのアクセスログ一式があるとして、このアクセス負荷を再現する＆できるだけ深く考えたくない＆実際どのような負荷がかかっているか・サーバが応答したのかをトレー…

タイトルに書いただけでも間抜けな匂いがするが、そんなことをしたいなーというシチュエーションがあった。 特別素晴らしい技術というわけでもないし、ニーズがないからなのか、それほど難しくないからなのかはわからないが、ググってもほど良いものがなかっ…

手作りしたJSONファイルのフォーマットがJSON形式として間違っていないかを、そんなことをせざるを得ないような環境で、できるだけ単純に確認する方法を編み出さねばならん状況。 広い宇宙の中の地球のこの世界の片隅でしか発生しないシチュエーション。 結…

Webサイトの新旧比較 Webサイトの足回りの移行をしたが、サイトコンテンツ自体の変更はないため、新旧で見栄えが変わっていないことを比較したいという時の話。 いろいろあるが、ここでは、イビデンス取得もかねて画面キャプチャを保存しつつ問題があれば個…