Tobiko Data, qui agit comme un convertisseur pour les bases de données SQL, est là pour soutenir les développeurs dans la gestion et la distribution des données dans un environnement de production, qui est également accompagné d’une version virtuelle.

Tobiko Data, entreprise spécialisée dans le développement de logiciels open source, a fait connaître son produit vedette SQL mesh, lors d’un récent IT Press Tour dans la Silicon Valley, comme l’a révélé Tobias Mao, cofondateur et CTO de la société. SQLMesh est une plateforme qui donne aux data scientists et aux administrateurs la possibilité de créer des pipelines de données efficaces et adaptés. Tobias Mao souligne que dans le monde actuel des données, il existe un désordre considérable, avec de nombreuses données non fiables ou carrément erronées, ce qui pose problème pour alimenter les applications. Il ajoute que le manque de contrôles et d’équilibres autour des données entraîne des problèmes d’exactitude et de nombreuses pannes de données, ce qui nuit à l’efficacité.

SQLMesh a donc été conçu pour aider les développeurs à créer des pipelines de données fiables, en fournissant des outils pour transformer les données, effectuer des tests et favoriser la collaboration. Grâce à la bibliothèque d’analyse SQLGlot, créée par Tobias Mao lorsqu’il était chez Airbnb, SQLMesh est capable de comprendre le langage SQL, au lieu de le traiter comme un simple texte. Cette capacité de comprendre le SQL ouvre de nouvelles possibilités, accélère le développement et améliore la productivité de l’ingénierie. Tobiko Data peut ainsi vérifier la syntaxe des requêtes SQL avant leur exécution, suivre toutes les modifications apportées par les développeurs et les avertir en cas d’incompatibilité avec d’autres ensembles de données. « Notre outil ne livre jamais de mauvaises données, car nous comprenons ce que signifie le SQL, ce que le SQL a calculé et quelles données doivent être lues », assure le CTO.

Tobiko Data offre aux entreprises la possibilité de créer des environnements de données virtuels que les développeurs peuvent utiliser pendant la phase de développement et réutiliser pour d’autres projets voire même en production.

Un environnement virtuel pour booster les projets

L’une des principales caractéristiques de SQLMesh est sa capacité à gérer des environnements de données virtuels. SQLMesh fonctionne de la manière suivante : il dispose de deux couches, une couche physique où sont stockées toutes les tables réelles et une couche virtuelle où les utilisateurs interagissent réellement avec les données. Lorsqu’un environnement de développement est créé, SQLMesh reconnaît qu’il s’agit d’un clone exact de la production et crée donc des vues pointant vers les mêmes tables physiques. Les outils traditionnels utilisés par la plupart des développeurs ne font pas cela, mais doublent le stockage en ayant une production et un développement séparés. En réponse à une question sur la concurrence des datastores tels que Snowflake ou Databricks, Tobias Mao précise que SQLMesh est plus un complément qu’un concurrent pour ces plateformes. « SQLMesh permet de comprendre ce qui se passe avant de lancer des requêtes, ce qui évite des erreurs coûteuses avec les plateformes cloud », explique-t-il.

Créée il y a 18 mois, Tobiko Data bénéficie de l’expérience de ses fondateurs qui ont travaillé dans des entreprises comme Apple, Airbnb, Google et Netflix. Parmi les clients de la société, on compte un studio de jeux vidéo, une société de données, une institution financière, un éditeur de logiciels… « Notre cible principale est l’ingénieur en données », indique Tobias Mao. SQLMesh est disponible en open source et peut donc être utilisé gratuitement, mais l’éditeur a également lancé SQLMesh Enterprise, une version payante avec support et une plateforme d’observabilité complète. Cette version ne se contente pas d’indiquer aux développeurs que quelque chose s’est mal passé avec leurs données, mais elle leur explique également pourquoi. Pour finir, Tobiko Data a récemment levé 21,8 millions de dollars pour financer son développement.